Т.е. делали так:

forcejitterbuffer=yes
jitterbuffer=yes

с обоих сторон?

Попробуйте указать параметры:

maxjitterbuffer=500
maxjitterinterps=10
resyncthreshold=1000

Если не поможет, то попробуйте "поиграть" с джиттером в файле chan_dahdi.conf.
Только тогда на IAX-канале (на сервере, где стоит карта) нужно будет убрать, как минимум - forcejitterbuffer=yes

ok , попробую.

еще такой момент - когда идет голосовой трафик с сервера1 на сервер2, всё отлично.
когда в обратную сторону, с сервера2 на сервер1, то звук запинается... как с jitterbuffer так и без, тестил даже на 2х серверах с разными версиями *. Чую что тут дело не в астериске, а в самом канале =)

завернул даже так, сип клиент->(сервер)<-сип->(сервер в той же подсети)<-IAX2->(удаленный сервер)
качество ок)
а если в начале цепочки заменить сип клиента на входящий звонок с города, то рвётся звук...
при этом если звонок с города -> (сервер)<-сип->(сервер в той же подсети), всё замечательно.

всё же еще попоробую поставить свежую версию dahdi и wanrouter =)
или включить буфер в dahdi

Проблема, в общем, разрешилась.
Включил джиттербуфер на dahdi, стало заметно лучше. Причем он работает только dahdi<->sip, dahdi<->iax2 - хрен там.
Будем решать вопрос с VPN, канал узкий, и с каким-то кривым шейпингом =)