Робот в отделе продаж ломается тихо. Служба упала, внешний сервис перестал отвечать - а в карточках всё как обычно: лиды двигаются, дела создаются, отчёты приходят. Поломку замечают через неделю, когда часть заявок уже прошла без робота, и доверие к автоматизации просело.
Мы сделали сторожа-пульс, который стоит над роботами и следит, что они работают. Работу за роботов он не делает. Появилась проблема - пишет в Телеграм. Ушла - пишет, что ушла. Всё остальное время молчит. Сторож ставится над роботами отдела продаж в Битрикс24 или другой CRM.
Что было до
У автоматизации без присмотра есть слепая зона: робот может отчитаться об успехе и ничего не сделать. Служба роботов падает - об этом узнают, только когда клиент жалуется на тишину. Внешний сервис отвечает кодом "всё хорошо", но за ним пусто. Сервер забивает диск - и роботы встают один за другим.
Каждый такой случай ловится вручную и с опозданием. Чем дольше поломка живёт незамеченной, тем сильнее ощущение, что на роботов нельзя положиться.
Как это работает
Сторож проверяет четыре группы. Живы ли службы самих роботов. Отвечают ли внешние сервисы, на которых они держатся, - Битрикс, Метрика, Телеграм. Свежи ли отметки работы, по которым видно, что робот реально отработал. В порядке ли сервер: хватает ли диска и памяти.
Пока всё хорошо, сторож молчит и не шумит в чате. Появилась проблема - короткое сообщение в Телеграм. Проблема ушла - сообщение, что ушла. Раз в сутки приходит сигнал "пульс жив": подтверждение, что сам сторож на месте. Нет суточного сообщения - значит упал уже сторож, и это видно по его отсутствию.
Сторож только наблюдает. В CRM он ничего не пишет, роботов не перезапускает, сервисы не трогает. Его задача - вовремя сказать человеку, где сломалось. Решение, что делать, остаётся за человеком.
Техническая сторона
- →Без ИИ. Сторож работает на чтении состояния и токены не тратит. Четыре группы проверок: службы, внешние сервисы, свежесть отметок, состояние сервера. Каждая группа изолирована - зависшая проверка одной не валит весь пульс.
- →Службы роботов. Сторож опрашивает состояние служб на сервере: упала, слетел запуск по расписанию, давно не срабатывала. Это видно по системным отметкам, без обращения к самим роботам.
- →"Зелёный, но мёртвый". Самый коварный случай: робот рапортует успех, а сервис под ним лёг. Сторож проверяет внешние сервисы напрямую - пингует Битрикс, Метрику и Телеграм без генерации, просто на отклик. Так ловится разрыв между "робот сказал ок" и "сервис на деле работает".
- →Свежесть отметок. Для проверки берутся только отметки, которые обновляются по расписанию даже в выходной, - тогда тишина в нерабочий день не читается как поломка. Отметки, что обновляются лишь при работе, для свежести не подходят: спокойный выходной дал бы ложную тревогу.
- →Сигнал без дубля. Сторож пишет один раз - при появлении проблемы и при её уходе, без повторов на каждом цикле проверки. Если отправка в Телеграм не прошла, неотправленный сигнал повторяется на следующем круге; уже отправленный - нет.
- →Только наблюдение. Сторож не пишет в CRM и не перезапускает службы. Он отделён от роботов, за которыми следит, - поэтому его сбой не маскируется под их работу.
Что это даёт
О сбое известно в день, когда он случился. Роботы отдела продаж перестают быть чёрным ящиком: если что-то встало, человек узнаёт об этом первым, до клиента.
Доверие к автоматизации держится на том, что её есть кому сторожить. Типичная находка первого запуска такого сторожа - защита от перебора паролей, которая молча не работает неделю, и никто этого не видит.
