Он иностранец без вида на жительство пока.

Это лишь пока. И так может продолжаться аж целых полгода. На полном законном основании. Потом вас вынудят, угрозами штрафом и т.п. мерами административного воздействия, оформить ему национальный загранпаспорт, если вы не сделаете этого добровольно раньше. И только лишь аж потом, с его национальным райзэпассом в зубах, вы сможете обратиться в АВН по поводу оформления ВНЖ для него.

Den
betroffenen Ausländern ist entsprechend der Aufnahmezusage eine Aufenthaltserlaubnis
oder Niederlassungserlaubnis zu erteilen. Die Niederlassungserlaubnis kann mit einer wohnsitzbeschränkenden
Auflage versehen werden.

Ничего из этого к вашему второму, родившемуся в Германии, ребенку не относится. Он у вас хоть и Ауслэндэр, но ни разу не дэн бэтрофэнэнный. И ограничения Вонзитца, отмеченного в АЕ или в Цузатцблатте к ней, у него тоже не будет. Даром, что его родители пока что прожженные "социальщики".

Нужно списаться с Ausländerbehörde какой формуляр заполнять Aufenthaltserlaubnis
oder Niederlassungserlaubnis

Хоть списывайтесь, хоть созванивайтесь, вариант у вас только один - он получит АЕ по § 33 AufenthG. И будет АВН продлевать срок ее действия до тех пор, пока вы будете обладателями своих NE, AE. До его 16-ти летия, если вы раньше не сподобитесь огражданиться немецким гражданством.