Ну так что, что делать мне?

Ничего не делать. Принять, как данность. Вас пугает, что у Вас пропадают чувства к своему ребёнку. Конечно. Потому что потеряна связь. Это так же необходимо прожить(пережить). Нельзя никого заставить любить или разлюбить....

Если бы Вы стремились сохранить эту связь, то Вас бы не выматывали поездки по 5 часов. И Вы бы нашли возможность через суд или по договорённости установить время общения с ребёнком или его проживания частично с Вами и частично с матерью. Но вот нет у Вас такого стремления. И не надо себя насиловать. Примите это, как часть Вас - Вашего внутреннего мира. Ребёнку уж точно лучше не будет, если Вы будите стараться поддерживать с ним связь, потому что так надо, не испытывая в этом со своей стороны особой потребности. Будьте честны и с собой и со своим ребёнком.

И успокойтесь. Это не делает Вас автоматически плохим человеком. Плохим отцом, может быть... Но все мы разные. И всем нам свойственно ошибаться.