Что нельзя автоматизировать с ИИ: 5 границ для бизнеса
Не стоит передавать ИИ окончательное действие, если процесс не определён, факт нужно подтвердить по учётной системе, изменение затрагивает работающие сервисы, решение уже принимает сотрудник или результат некому проверить. В этих случаях полезно сначала ограничить полномочия и отделить подготовку от исполнения. Сбор сведений, поиск и черновики часто можно автоматизировать раньше.
Эта статья для основателя или руководителя продукта, который решает, что нельзя автоматизировать с ИИ в своём процессе. Речь о генеративных моделях и агентах, которым доступны инструменты. Эти пять условий помогают определить, какое полномочие можно передать системе в конкретном процессе. Для расчёта по установленным правилам может подойти обычный код; для спорного решения сначала понадобится владелец.
| Участок процесса | Где проходит граница | Что можно поручить системе |
|---|---|---|
| Неопределённый процесс | Нет согласованного результата или ответственного | Собрать варианты и вопросы для согласования |
| Платёж и доступ | Нужен подтверждённый факт из учётной системы | Получить статус и передать его проверяющему коду |
| Изменение работающего сервиса | Действие расширяет затронутые системы | Подготовить план и проверки в разрешённом объёме |
| Диалог, который ведёт сотрудник | Человек уже отвечает за следующий шаг | Сохранить контекст и помогать сотруднику отдельно |
| Решение на неполных данных | Нет источника или способа проверить вывод | Показать пробел и запросить недостающие сведения |
1. Можно ли автоматизировать процесс, о котором команда не договорилась?
Сначала нужно определить сам процесс. Если сотрудники по-разному понимают, когда заявка закрыта или кто может сделать исключение, модель получит несколько несовместимых правил. Красивый ответ не разрешит этот спор.
Я бы зафиксировал событие запуска, входные сведения и ожидаемое действие. Затем попросил владельца процесса разобрать обычный случай, отказ и исключение. Для каждого случая должно быть понятно, кто принимает решение и где остаётся запись. Если договориться не удалось, следующим шагом будет согласование, а не подключение дополнительных инструментов.
Для неоднозначной или значимой работы заранее определите состояние, в котором исполнение остановится и будет ждать уточнения или подтверждения человека. Проверьте эту границу в конкретном сценарии: само требование не гарантирует, что система распознает каждое исключение.
Помощь ИИ здесь может состоять в разборе документов, поиске противоречий и подготовке списка исключений. Полномочие утвердить новую политику остаётся у владельца. До разработки полезно ограничить первый рабочий сценарий, чтобы одна команда могла проверить его от начала до конца.
В руководстве Anthropic по построению агентов также предлагается начинать с простейшего подходящего решения. Дополнительная автономность имеет смысл, когда её польза оправдывает сложность, стоимость и задержку.
2. Стоит ли поручать модели подтверждение платежа и выдачу доступа?
Платёжный статус, баланс и право доступа должны опираться на авторитетный источник и проверяемые правила. Фраза клиента «я оплатил» может запустить проверку. Она не должна сама менять состояние оплаты.
Статус платежа следует получать из платёжной системы или другого авторитетного источника. ИИ может помочь найти операцию, но прикладная логика должна проверить её идентификатор и актуальный статус до изменения доступа. Если источник недоступен или данные противоречат друг другу, состояние остаётся неопределённым до проверки.
Для выдачи административных прав граница похожая: решение должно проверяться на стороне системы доступа. Например, AWS рекомендует выдавать минимально необходимые разрешения. Это принцип проектирования доступа, а не подтверждение того, что конкретная интеграция уже ему соответствует.
3. Можно ли доверить агенту изменения работающих сервисов?
Только в заранее определённом объёме, с понятными проверками и восстановлением. Разрешение изменить один параметр не должно незаметно превращаться в право перезапустить все связанные сервисы.
Для руководителя продукта из этого следует вопрос о полномочиях исполнителя. До запуска нужно знать, какие компоненты разрешено менять, что потребует нового решения и по какому признаку работа будет остановлена. План восстановления должен быть выполним с имеющимися зависимостями и доступами.
Я бы начинал такой сценарий с чтения состояния и подготовки точного изменения. Подтверждение должно показывать затронутые компоненты и ожидаемый эффект. Если план расширился, прежнее согласование нужно пересмотреть. Ограничения полезно обеспечивать самими инструментами и правами доступа.
OWASP описывает избыточную автономность и разрешения как риск Excessive Agency. В рекомендациях есть проверка полномочий в целевой системе и человеческое подтверждение действий с существенными последствиями.
4. Что нельзя автоматизировать в диалоге, который уже ведёт сотрудник?
Не стоит оставлять боту самостоятельное ведение разговора после того, как ответственность перешла к человеку. Иначе два исполнителя могут отвечать на один запрос и создавать разные ожидания.
После подключения оператора автоматические ответы клиенту должны останавливаться. Пока обращение ждёт, ассистент может подтвердить получение, не создавая впечатления, что вопрос решён. Проверьте эти состояния, включая задержку уведомления и повторное событие, в рабочем сценарии.
Внутри команды ИИ по-прежнему может готовить сводку переписки или находить материалы. Отправку ответа клиенту в этот момент контролирует сотрудник. Возврат к автоматическому режиму стоит делать отдельным переходом, который видно в системе.
При проверке сценария я бы посмотрел и на сбои: сотрудник не подключился, уведомление не пришло, разговор открыли повторно. Подробнее эти условия разобраны в статье о передаче диалога оператору. Граница нужна именно в рабочем поведении системы, а не только в инструкции модели.
5. Можно ли автоматизировать решение, если исходных данных недостаточно?
До появления проверяемого основания окончательное решение лучше отложить. Модель может помочь обнаружить пробел, но уверенность формулировки не восполняет отсутствующие сведения.
Это относится, например, к обещанию срока поставки без актуального статуса заказа или к выводу об эффективности процесса без записанных событий. Это иллюстрации выбора границы, не описания измеренных клиентских результатов. Для каждого вывода нужен источник, допустимая давность и способ проверки.
NIST рассматривает уверенно сформулированные ложные ответы как отдельный риск генеративного ИИ. В проектировании я бы предусмотрел явное состояние «данных недостаточно» и маршрут запроса уточнений. Процент уверенности, который модель сама себе присвоила, не заменяет подтверждения.
Проверяющему сотруднику нужны исходные сведения и полномочие отклонить действие. Если он видит только итоговый текст и кнопку согласования, независимой проверки может не получиться. Для потока обращений полезно сначала наладить сохранение заявки, контекста и следующего действия, а затем расширять роль модели.
Как проверить границу до разработки?
Возьмите одну операцию и запишите: входные данные, источник факта, предлагаемое действие, затронутые системы и ответственного за решение. Добавьте условия остановки и критерий завершения. Такая запись показывает, на каком шаге заканчивается обработка информации и начинается полномочие изменить состояние бизнеса.
Для пилота проверьте обычный запрос, отсутствие данных, повтор события, отказ источника и попытку выйти за разрешённый объём. Это предложенная программа проверки, а не отчёт о пройденных испытаниях упомянутых проектов. После неё можно решить, какой шаг автоматизировать полностью, где оставить подготовку и что пока перенести в ручной разбор.
Частые вопросы
Значит ли это, что платежи вообще нельзя автоматизировать?
Платёжный процесс можно автоматизировать с проверяемыми правилами, состояниями провайдера и контролем повторов. Здесь ограничение касается права языковой модели объявить факт оплаты по тексту или предположению. Модель может подготовить запрос, а подтверждение и разрешённое действие должны проверяться в соответствующих системах. Надёжность всего маршрута требует отдельной проверки.
Достаточно ли добавить кнопку подтверждения человеком?
Кнопка полезна, если сотрудник понимает точное действие, видит исходные сведения и может его отклонить. Если после подтверждения изменились сумма, получатель или затронутый сервис, согласование нужно пересмотреть. Сама кнопка не обеспечивает качество данных и не доказывает, что у проверяющего есть нужное полномочие.
Нужно ли согласовывать с человеком каждый шаг?
Не обязательно. Простые обратимые действия с понятными правилами могут выполняться автоматически в разрешённых пределах. Человеческое решение имеет смысл ставить там, где меняются полномочия, появляются существенные последствия или не хватает основания для вывода. Бесконечная очередь одинаковых подтверждений тоже может мешать осмысленной проверке.
С чего начать, если автоматизация уже работает?
Выберите один маршрут и проверьте его фактические права, источники данных и поведение при ошибке. Сопоставьте их с тем, что разрешил владелец процесса. Сначала разберите конкретное расхождение и возможность ограничить затронутое действие, затем планируйте изменения. Работающий интерфейс сам по себе не подтверждает готовность всего процесса.