Вот я сделал дистриб, trixbox embedded. Мне важно, чтоб он был надежным.
Одну из проблем - повреждение файловой системы я как бы решил.
Но прежде чем ставить потребителям, нужно всесторонне тестировать.
Пока я тестирую просто: sipp создает кучу одновременных звонков, 20..40 при cps=2, при этом отрабатываются все обычные agi и ходит rtp.
Все вроде бы нормально. Но вот попробовал поставить клиенту и появились проблемы. К примеру - зависания на ровном месте через день, хотя загрузка меньше на порядок. При многодневном тестировании таких проблем небыло.
Вопрос такой:
Как тестировать систему, чтоб быть уверенным на 96.5%?

1. Постоянная ошибка создателей надежных систем - недооценка способностей клинических идиотов.. (с)

2. влияние аномалий. физического плана - электрические помехи в сети, в линии, в помещении, некачественное железо, банальный перегрев; нефизического - плохая аура клиента..

А железо то же? Если нет, то, если по-хорошему, надо тестировать на разном железе в разных сочетаниях, составлять списки совместимости.

железо - тоже
Вопрос в тестировании. Как простестировать так, чтобы быть уверенным?
Ведь если даже работает нормально месяц, два, есть вероятность сбоя. Как ее уменьшить?
Про аномалии уже готов поверить ;)

Во-первых, на ровном месте даже мухи не виснут :)
Во-вторых, в идеале, для предпродажного тестирования генерируется нагрузка идентичная реальной. Т.е. не просто сделать столько-то вызовов и столько-то кликов по морде, а замерять всесторонне использование реальной системы (скажем предыдущей версии) и максимально точно повторить ее (с учетом сделанных изменений) на новой системе.

Как вариант, можно использовать в добавок заведомо слабое железо, чтобы выявить неявные проблемы (ИМХО).

Это если теоретически.
В реальности большая часть продуктов программных тестируется уже в процессе эксплуатации :)

т.е. предпродажное тестирование с максимально похожими условиями должно продлиться минимум месяц?

Можно одному клиенту снизить плату за инсталляцию неоттестированного решения. Этот клиент и будет бета-тестером.

это-то понятно
но интересует именно методика в лабораторных условиях
на каждую новую версию клиентов не напасешься

Glukino, а репутация компании? У клиентов должна быть уверенность в непогрешимости продукта!

switch, it depends

енто шо значит?