ну это вам хорошо говорить.
Я сейчас на этапе "все настроил, все работает, но было бы неплохо сделать...."
В общем - вам неинтересно, а мне наоборот )

Мне тоже интересно.
Кроме всего прочего, это помогло бы расследовать инциденты, в которых участвуют элементы системы вне твоей зоны ответственности (например, трассировка потока помогает ткнуть провайдера носом в ЕГО косяк, а не выслушивать, что у тебя что-то не так настроено).

- новые настройки тестируются вечером, когда нагрузки нет.. можно и в рабочее время - лучше пройдет процесс запоминания решений:)
- многие проблемы помогает локализовать софтфон с возможностью логирования (если проблемы с одним плечом)
- снифер помогает напрямую увидеть сигнализацию и быть уверенным, что все стороны работают правильно
- большинство проблем имеют характерные признаки и их можно начать решать даже без просмотра логов..
- хорошим тоном будет научиться писать краткие но емкие шпаргалки, они и помогут решать большинство задач быстро и качественно

Это все ясно, но все равно запись логов/трассировок в удобном виде мне бы точно пригодилась.

awk в помощь, если уж так хочется постоянно капаться в логах, а не обходится более высокоуровневыми средствами диагностики..

я бы сделал веб морду для анализа логов.
врукопашную трудно

Логи - это запись того, что было РАНЬШЕ.
"Более высокоуровневые средства диагностики" показывают то, что происходит В ДАННЫЙ МОМЕНТ.
Иногда требуется именно посмотреть историю.
Понятно, что разные средства должны дополнять друг друга, а не исключать.

Давайте вместе сообразим, что же нужно уметь этому инструменту.
В моем понимании (что сейчас пытаюсь сделать):
-Возможность задавать дату и диапазон времени для анализа нужного нам куска. При этом "сегодняшняя дата" смотрится в актуальном full, любые другие в <дата>full
-ограниченный временным интервалом кусок парсится, разбивается по столбцам
-на выхлопе получаем excel файл с разбитыми по столбцам данными. Фильтруя ID процесса - наблюдаем.
Это - самый простой пример реализации, по-моему
Что-то еще?

ексель - не айс, даже рассматривать не стоит
надо по-нормальному делать
и, главное, отслеживать отдельные звонки в общей массе.

давайте сообразим, как часто нужно разбирать логи за прошедшее время.. лично я один раз полез и зарекся..