Еще как, без статуса постоянного резидента гражданин ЕС обязан, грубо говоря, работать, иначе его пребывание в Германии по сути незаконно. И его родственников - тоже. Так как есть у европейцев право на свободное передвижение по ЕС, санкций практически за это незаконное пребывание нет, пока АБХ не установит, что гражданин ЕС и его родственники пребывают в Германии незаконно (причем задним числом они это сделать не могут, кроме небольшого периода после въезда гражданина ЕС в Германию). Единственное, что они могут сделать задним числом - не засчитать незаконное пребывание в срок пребывания для получения постоянного статуса.

Если Ваш муж имеет постоянный статус, он может проживать в Германии без всяких условий (по крайней мере до потери этого статуса через 2 года отсутствия), и, соответственно, Вы с ним тоже можете.

Если муж по факту жить в Германии сейчас не хочет, то по закону и Вы тоже не должны жить в Германии. Однако, гораздо легче сделать вид, что он в Германии живет, поскольку границ нет, отследить его нахождение тяжело, работать он тоже не обязан. В общем, проявляйте фантазию. Вот выписываться было крайне глупо. Если бы не этот шаг, я бы не видел никаких проблем в принципе.