Родственники его, но дом-то вроде ваш общий?
Вот и сообщите другу, что вы в одном доме с этими родственниками находиться просто чисто физически не можете.
То есть если он их хочет обязательно у себя в доме принимать, то пусть заранее с вами обговаривает время, когда это возможно сделать, а вы перед их приходом куда-нибудь по своим делам на пару часов из дома сваливать будете - в косметический салон, на фитнес или просто по парку прогуляться.
Если погода плохая или вам просто идти никуда не хочется, а родственники в гости набиваются - ну что ж, значит, им в этот раз не повезло, и придётся мужу их по кафешкам выгуливать или самому к ним в гости ехать.
И кроме дежурного "здравствуйте - до свидания" больше никаких разговоров с ними не поддерживайте, раз вам от этого аж плохо становится. Так и скажите: "Извините, мне неприятно с вами разговаривать. До свидания". Поворачиваетесь, спокойно собираете вещи и уходите по своим делам. Всё!