Не знаю. Наверное, принято так, что папы в трусах по квартире ходить могут. Трусы семейные подразумеваются Оттого их, возможно, и назвали так, что в них в семье ходят.
Отец в присутствии дочери, мать в присутствии сына - отрицательно. Вообще в трусах по дому ходить мужику.. Самое мерзкое, когда мужик садицца за стол с голым торсом.. ничего отвратнее быть не может.