Почта доставляется по smtp. В MX-записи DNS указан только хост (mail exchanger). Порт там указать нельзя. Поэтому message transfer agents (MTAs) коммуницируют только по 25 порту. MTA принимает почту только для "своих" доменов (см. кофиг-файл). Отправляет же на хост, указанный в MX-записи домена, стоящего после @-символа в адресе почты.

Ну и начитался, что 25 порт давно в прошлом нужно 587 или на худой конец 465 пользовать.

То, что ты имеешь в виду, называется message submission agent (MSA). Часто (и в твоем случае) эта функция реализована как часть (модуль) MTA. Для ретрансляции сообщений от почтовой программы (MUA) почти всегда необходима аутентификация. Публичных ретрансляторов без аутентификации сегодня, наверное, уже нет. Как раз из-за возможности рассылать спам. MUA соединяется с MSA по любому заранее сконфигурированному порту (25, 587 - стандартные порты, но никто не мешает повесить MSA на другой). Протокол - тот же smtp. MSA принимает почту от MUA для любых доменов и перенаправляет на соответствующий MTA, найденный в MX-записи.

Так получается и пароль нельзя установить?

Mожно и нужно. Но аутентификация необходима только для ретрансляции (сообщения для "чужого" домена). Если сообщения для "своего" домена, то аутентификация не нужна (в противном случае нужно было бы всем доменам в интернете пароль сообщить для твоего почтового сервера )

Если я, ничего не разбираясь, смог на шару отправить письмо "вручную" из моего сервера, то какого спаммеры не могут это делать? В том числе и из других серверов.

Так они и делают как ты. Арендуют VPS и вперед. Для борьбы существуют технологии, с smtp непосредственно не связанные. Ну, вот несколько:

1. Сообщения от MTA, у которого динамический IP, не принимаются.

2. Имя в HELO-команде (smtp) должно совпадать с PTR-записью при реверсивном просмотре DNS.

3. SPF, DKIM

4. Black list

5. Спам-фильтры.