Выходит я могу туда идти сразу с теми документами что указаны на сайте и подавать.

Конечно.

и оттуда выписываться, чтоб потом не возвращаться для этого из Германию в Украину

Совершенно абсолютно. Только не "а пока", а это все общая процедура оформления документов для выезда на постоянное проживание за границей Украины.

И как называется документ который нужно взять в военкомате и налоговой? Разрешение на выезд?

Никак не называется. Не заморачивайтесь раньше времени военкоматом и налоговой. В военкомате надо сняться с воинского учета тем, кто на нем пребывает. Но Вас это не касается, поскольку не пребываете. В налоговую инспекцию надо подать декларацию о доходах, если таковые были. И даже если не были, то тоже подать, понаписывав в ней везде нули.

Когда получите штамп "ПМП Німеччина" в свои загранпаспорта, это и будут ваши "разрешения на выезд". Больше никаких "разрешений" не требуется, не считая действительных загранпаспортов, ну и, если не своим ходом будете переезжать, билетов на какой-нить подходящий вид транспорта.