Нет, я поставил CentOS а потом на него PBX in a Flash. И так как использую только SIP и IAX(для факсов) то дахти не изучал, т.к. думал, что он мне не понадобится.

... и вот понадобился.
fax*CLI> dahdi show
cadences channel channels status version

Ну до таких команд бы я догадался, в консоли астериска их нет, похоже DAHDI вообще отсутствует.
Но зато есть zaptel.

centos-t*CLI> zap show status
Description Alarms IRQ bpviol CRC4
ZTDUMMY/1 (source: Linux26) 1 UNCONFIGUR 0 0 0

Странно, отключил заптел, IVR перестали заикатся

Ради интереса, можно заменить zaptel на dahdi и провести новую серию тестов. Хотя возможно проблема связана с тем, что xen не передал доступ к источнику синхры в гостевую ОС.