Обработка отказов

Даже в самых надежных компьютеризированных системах существует реальный риск аппаратного отказа. Например, попадание высокоэнергетической частицы ионизирующего излучения, пробившейся из космоса через атмосферу земли, на кристалл интегральной схемы памяти, может изменить значение бита информации, а её попадание в процессор может изменить ход выполнения операции. Ни одна система в мире не имеет полной защиты от подобных событий. 

Система GMP мониторинга, как и любое оборудование / компьютеризированная система, также может давать сбои. Для снижения рисков и своевременной идентификации / устранения сбоев должен быть предусмотрен мониторинг собственной работоспособности – подобие службы внутренней безопасности.

Архитектура, организованная по принципу независимых модулей, позволяет продублировать функцию мониторинга работоспособности в разных модулях, чтобы они следили за работой друг друга. В этом случае, даже после сбоя, в системе останется "живой" модуль, способный взять на себя восстановление работоспособности системы в автоматическом режиме. 

Система GMP мониторинга Tarqvara

В системе GMP мониторинга Tarqvara реализовано распределенное наблюдение за работоспособностью модулей системы. Модули следят за работой друг друга, и модуль, в котором произошел сбой, принудительно перезапускается первым "исправным" модулем, обнаружившим это событие. Система автоматически восстанавливает полную работоспособность в течение 10-20 секунд. При этом также генерируется и регистрируется в журнале соответствующее сообщение об ошибке.

Уничтоженный экземпляр процесса, оставшийся от остановленного модуля, ненадолго задерживается в оперативной памяти: "сборщик мусора" (Garbage Collector) операционной системы освобождает занимаемое им место. Тестирование на предмет возможной утечки оперативной памяти подтвердило её отсутствие. Система показала свою работоспособность 24/7 в течение нескольких лет без перезапуска.

см. также:
Системы GMP мониторинга
Система мониторинга Tarqvara
Руководство по эксплуатации типовой системы Tarqvara
IT-решения / GAMP / Целостность данных
Валидация компьютеризированных систем (CSV)