Может быть просто дайте ему то, что он хочет? Разлюбил, пусть идет, потом же будет сам себе кусать локти , что поторопился. Потому что семья - это святое, 300 раз подумать надо прежде чем ее ломать. Хочет ломать - его право. Только дайте ему понять, что если захочет вернуться, то может быть уже будет поздно, потому что у Вас тоже есть своя гордость и Вы не будете терпеть поведение "туда/сюда" - когда захотел, тогда ушел/пришел.
Все люди с опытом говорят одно и то же : "в семье самое главное - это иметь возможность говорить друг с другом". Можете ли Вы с ним просто сесть и все хорошо обсудить? Все взвесить и обоюдно решить, стоит ли все ломать или может быть стоит поработать над какими-то прорехами в отношениях? Тем более, что есть ребенок...
Ну а если не захочет, то что переживать о таком человеке? Тут, к сожалению, надо просто переболеть... потом будет легче. Зато себя будете уважать за то, что не позволили с собой обращаться непонятно как.