Моя "неверная" информация из университета. Я учусь на политологической специальности и специализируюсь, в частности, на ЕС. Темой неграждан Прибалтийских государств занимаюсь не первый год. Не имеют они права свободного перемещения по ЕС с паспортами неграждан. Да, это недемократично, нарушает все мыслимые и немыслимые нормы ЕС, и ЕС много лет безуспешно пытается решить эту проблему меньшинств. Но Латвию с Эстонией это не особо волнует.
Вашу ссылку читать не буду, потому что про неграждан данных государств, уверена, там ничего нет (не про лиц без гражданства, а именно про особую категорию лиц - неграждан Латвии или Эстонии).
Т.к. неграждане Латвии не имеют проездных документов, позволяющим им въезд в страны ЕС, они не могут находиться в других странах, даже в качестве супругов. Для въезда в этом статусе, повторяю, лицо должно иметь действующий проездной документ.
Для ТС: ваша единственная возможность - мужу вернуться в Латвию и пройти процесс вступления в гражданство этой страны.