http://www.qmail.org/
Раньше вроде другой нашел, от автора, где еще премию дают за его взлом, но сейчас не находится.

SMTP authentication?

Это мне тоже пришло, но смущает что на клиенте включено, значит и сервер должен поддерживать. Может настройки не совсем правильные. Там еще ИМАР сервер крутится, так у него в настройках опрос пароля был отключен, но там всего один файл конфигурации.
Есть простой способ проверить, что почта по стандарту с паролем на СМТП? Пока программку писать некогда.

Вообще говоря нет (зависит от настроек).
СМТП может работать (упрощённо) в двух ролях одновременно -
1. приём сообщений для "этой" машины (
2. приём сообщений от авторизованных клиентов и передача их дальше (режим прокси).
Насколько я понимаю у тебя не так работает авторизация по 2-ой роли.

можешь вот так потестировать (хотя я бы на это не полагался)
http://www.thomas-fahle.de/pub/perl/Mail_and_News/Telnet_SMTP.html#telnet

Раз нету, значит бум программку тестовую делать на пхп должно вроде пару строчек занять.
Я думал может еще какой то плагин есть для защиты.

Точно. Вижу по процессам и логам, что кто-то почту посылает, но логоут строк нету, а от меня есть. Хотя это могут быть мои логи и на прием. Еще не разбирался. Сейчас лазю по коду пхп с включенными предупреждениями локально на апаче. Уже ошибок валом понаходил. Нашел также строку с которой взломали сайт, работает классно. В коде было типа
select .... $var sort by...
Уже больше нету . Есть еще пару идей по простой превентивной защите. Пошел дальше кропать...