У вас с мужем только одна проблема. Вы не умеете общаться. Всякие наезды на "если бы с моей мамой..." или "надолго приехала..." не играют никакой роли. Есть люди, которые у себя дома не могут долго переносить чужих людей. И это нормально. Ненормална только реакция на это.
С вашей стороны

Это звиздец. Это надо реально лечить. Вы не сможете общаться с другими людьми, которые (поскольку это тоже люди) могут быть неправы или говорят то, что вам не нравится. Вы кого-нибудь прибьете. Это не шутка. Умение строить беседу даже с дебилами без скандала и вести ее к своей цели - основа семейной жизни. Не можете - не будет семьи. Какую цель вы хотели достичь дракой?
Со стороны мужа

Если это правда (а вы за скандалами и драками даже не удосужились это выяснить), то он нарушил основную заповедь семейной пары - все сплетни и разговоры остаются в семье. И не выносятся из избы.
Варианты
Даже если вы разведетесь, ваши проблемы останутся при вас. И вылезут при следующем браке. Вам не мягче надо быть, а прежде чем открыть рот, подумать, для какой цели служат слова, которые вы готовы произнести. И контролировать свое поведение во время семейных разборок.
Имхо