данные mailhost.comcor.ru я указал в опции Settings/General Settings/SMTP Server Setup. если убираю, то сообщения от fail2ban не уходят. Значит эта опция нужна. Только трикс не хочет подхватывать...За направление в платный супорт спасибо.

Нет не нужна.
От fail2ban ничего и не должно уходить. Он блокирует попытки доступа к вам, а не от вас. Думаю, что он у вас неверно настроен.
Для теста остановите
service iptables stop

в fail2ban при настройке параметров в jail.conf
[ssh-iptables]

enabled = true
filter = sshd
action = iptables[name=SSH, port=ssh, protocol=tcp]
sendmail-whois[name=SSH, dest=s.trewq@mail.ru, sender=fail2ban@mail.com]
logpath = /var/log/secure
maxretry = 2
bantime = 300

параметр dest= указывает куда слать сообщения при каких либо действиях этого контекста. этим я проверил работу постфикса.

alex2512, установите ssmtp, ёмаё!

zepps, хочется стандартными средствами трикса запустить. ведь наверняка эта опция работает, раз она включена в состав дистрибутивчика.

Aug 5 14:44:53 trixbox1 postfix/smtp[19983]: 17CD7B9134A: to=<s.trewq@mail.ru>, relay=mailhost.comcor.ru[212.45.6.252]:25, delay=4.4, delays=0.06/0.01/0.03/4.3, dsn=2.0.0, status=sent (250 Ok: queued as 66E4E76226C)

мыльце уехало, потом в недрах mailhost.comcor.ru происходит отлуп, о чем mailhost.comcor.ru честно и извещает на from=<asterisk@trixbox1.localdomain>

Нету у человеков понятиев как устроен мир!
Даже в малой части его - как устроена SMTP часть мира.
Если sent (250 Ok: queued as 66E4E76226C) - то нет никакого отлупа, отлуп был бы
sent (550 rejected:Recipient address rejected )

ded smtp ни при чем, он честно отработал и письмо доставил. письмо в ящик не разложилось. куда делось?

решил проверить на VM с установленным триксом и fail2ban.
выкладываю логи. логи одинаковы а картина та же....
лог от fail2ban:
Aug 5 17:24:00 trixbox1 postfix/pickup[3460]: 450B43264A5: uid=0 from=<fail2ban@example.org>
Aug 5 17:24:00 trixbox1 postfix/cleanup[4182]: 450B43264A5: message-id=<20100805132400.450B43264A5@trixbox1.localdomain>
Aug 5 17:24:00 trixbox1 postfix/qmgr[3461]: 450B43264A5: from=<fail2ban@example.org>, size=395, nrcpt=1 (queue active)
Aug 5 17:24:06 trixbox1 postfix/smtp[4184]: 450B43264A5: to=<s.trewq@mail.ru>, relay=mailhost.comcor.ru[212.45.6.252]:25, delay=6.5, delays=0.03/0.01/0.03/6.4, dsn=2.0.0, status=sent (250 Ok: queued as C518175BCAB)
Aug 5 17:24:06 trixbox1 postfix/qmgr[3461]: 450B43264A5: removed

лог от трикса (астериска)
Aug 5 17:20:21 trixbox1 postfix/pickup[3460]: DBABD3264A5: uid=100 from=<asterisk>
Aug 5 17:20:21 trixbox1 postfix/cleanup[4152]: DBABD3264A5: message-id=<Asterisk-2-1420105248-50000-3151@trixbox1.localdomain>
Aug 5 17:20:21 trixbox1 postfix/qmgr[3461]: DBABD3264A5: from=<asterisk@trixbox1.localdomain>, size=25669, nrcpt=1 (queue active)
Aug 5 17:20:24 trixbox1 postfix/smtp[4155]: DBABD3264A5: to=<s.trewq@mail.ru>, relay=mailhost.comcor.ru[212.45.6.252]:25, delay=2.5, delays=0.07/0.02/0.03/2.4, dsn=2.0.0, status=sent (250 Ok: queued as 6FB2775ABA2)
Aug 5 17:20:24 trixbox1 postfix/qmgr[3461]: DBABD3264A5: removed

от fail2ban приходят сообщения, от трикса - нет.

Снимите розовые очки. А лучше попытайтесь понять, как работает SMTP и что делается в мире для защиты от спама. Даже если у вас и заработает встроенный MTA, то в один прекрасный день все может обломиться и почта перестанет ходить. Уже сто раз проходили.