Муж ваш не пьёт, не бьет, не гуляет ( только с ребёнком), ходит часто к отцу. К отцу ходит скорее всего так дома ему с вами стресс, он садится на диван и вы начинаете выносить мозг.
Изменить его вам не получится, можете развестись.

Но по мне это настолько неадекватная причина, что стыдно перед детьми будет.

Вообще вас скорее всего собственная жизнь не устраивает, кажется что вас не любят, не уважают, муж ничего вам интересного не предлагает. Даже если он будет не у отца, а дома, вас бесить будет что он на диване лежит и ничего не делает.

Вам нужно попробовать зайти с другой стороны, со своей, это единсивенная сторона на которую вам можно повлиять.
Муж с ребёнком к отцу?
Прекрасно, соберитесь в фитнес, сауну, с подружкой встретится можно, устройте себе сама интересную жизнь.

Исходите из того, что если вы разведетесь, будете сама себя развлекать и обустраивать.

Вот и попробуйте.

Если от брака вашего плюшки есть, муж вас содержит, дом у вас общий, будте ему за это благодарны и оставте его просто в покое. Хочет к папе, пусть идёт.
Хочет на диван, пусть лежит.

Замутите со старшими что-нибудь, в кино сходите, но даже взглядом не показывайте разочарование что муж с вами не хочет.

Уважайте его желание.
Почему я, спросите вы, почему не он должен уважать моё?

Потому как запрос от вас, вы недовольны и хотите что-то поменять. От кого запрос, тому больше нужно.

Бесился бы он, что вы где-то ходите, ему значит больше надо.

Вот и будте интереснее и более независимой.
Не скрипите и с кислой физиономией не бродите по дому. Столько интересного вокруг, почему непременно мужа под боком иметь надо.