Но я читал, что нужно еще получить справку из налоговой, что нет задолженности, при этом налоговый номер типа забирают.

Не читайте там больше. Та справка нужна тем, кто оформляет в Украине выезд из Украины на ПМЖ за ее границей. Ваш налоговый номер и нахрен никому не нужен. Его могут иметь как граждане Украины, независимо от места их постоянного проживания, так и иностранцы. А справка о нем может понадобиться вам, например при выходе из гражданства Украины. Такшта, пока она там, запасайтесь.

Кроме того, в справке из консульства ничего не пишут насчёт снятия с учёта в военкомате для меня

Проблемы индейцев не ипутволнуют шерифа (с). Вам нужно сняться с регистрационного учета в Украине, а для этого нужно сняться с воинского учета. Это ваша проблема, то бишь, совершенно не консульский вопрос.

Когда это нужно делать?

Тогда, когда будете сниматься с регистрационного учета в Украине.

И когда и где ставят штамп о выезде на ПМЖ

В консульстве, после предоставления им справки о снятии с регистрационного учета в Украине.

где забирают внутренний паспорт?

Уже несколько лет как нигде.