Лет 5 - это в лучшем случае. Т.е. если повезёт и если вы сами подсуетитесь. Советую срочно выяснить бехёрде, кто Вас обвиняет, конкретно. Связаться с бехёрде, выяснить точно, в чём Вас обвиняют (всё чтобы на бумаге было) и если шпера, то на какой срок. Если срок не указывают - срочно поставить антраг на ограничение срока шперы. Иначе будет бессрочный. Тогда никакое ВНЖ в Латвии и где-то ещё в Европе уже не спасёт: век компьютеров сейчас. Попасть в компьютер легко, выйти из него очень сложно.
А то будете с латвийским ВНЖ с полицаями в догонялки играть, когда они на автобане контроль устроят и ссаживать начнут. Вам скажут, что это незаконно? Что Европа и т.д.? Ну может и незаконно, может и Европа. Но Вам это не поможет: ссадят и депортируют.
Чтобы до такого не доводить, нужно решать проблемы там, где они возникают, и не пытаться ловчить. Вам надо проблему с немцами решать, коль Вы в Германии накосячили.
P.S. если Вы намерены в Латвии сидеть и в Германию ездить не собираетесь - то можете с немцами ничего не решать, тут латвийский ВНЖ будет ОК. Дети тогда к Вам в гости в Латвию ездить будут. Тоже вариант. Им проще без визы, без лишней границы.