Какую работу вы называете помощью
Под ИИ-ассистентом в этой статье я понимаю программу с языковой моделью и явно заданным поручением. Это рабочее определение для разбора задачи. Состав программы нужно уточнять отдельно: доступ к вашим документам, календарю или телефону нельзя считать частью услуги только потому, что в названии есть слово «ассистент». Попросите показать каждую нужную функцию на выбранном примере.
В инженерном разборе Anthropic различаются заранее заданные последовательности работы и агенты, у которых модель выбирает ход выполнения и инструменты. Авторы советуют начинать с простого решения и учитывать стоимость и задержки. Это описание подходов; оно не подтверждает возможности любого конкретного помощника.
Для первого задания я предлагаю разделить подготовку и действие. Подготовка — найти сведения, составить черновик, показать основание ответа. Действие — отправить сообщение, создать запись, поменять статус. Решите, что вы готовы проверять сами, а какой переход разрешаете программе. Название продукта оставьте за скобками, пока не определены эти границы.
Если нужен неизменный ответ на один и тот же вопрос, внесите в список вариантов обычный шаблон. Затем сравните его с предложением на основе модели. Я бы не требовал ИИ там, где задача уже описана точным правилом: в испытании нужен ответ на вашу задачу, а не обязательная демонстрация новой технологии.
Черновик ответа: сначала найдите основание
Возьмём условный вопрос о режиме работы мастерской в праздник. Для пробы передайте помощнику утверждённую памятку с датой и сам вопрос без лишних сведений о покупателе. Попросите подготовить черновик и указать место в памятке, на которое он опирается. Отправку пока оставьте человеку. В этом примере оценивается поиск подтверждённых условий, а не красота приветствия.
Добавьте к пробе обращение, на которое в памятке нет ответа. Например, вопрос о возможности срочного ремонта незнакомого прибора. В условиях приёмки можно записать: помощник должен передать вопрос сотруднику и не придумывать срок. Сохраните рядом исходное обращение, полученный черновик и решение проверяющего. Так у вас останется конкретный материал для обсуждения.
Я предлагаю отдельно проверять цитату и вывод. Если памятка разрешает приём заявок до вечера, это ещё не ваше разрешение обещать завершение работы в тот же день. Для испытания прямо запретите добавлять сроки и условия, которых нет в утверждённых сведениях. Любое такое дополнение верните на разбор, даже если сообщение выглядит убедительно.
Не задавайте успех как «написал ответ». Для выбранной пробы перечислите содержание, которое должно совпасть с памяткой, допустимые уточнения и причины передачи человеку. Если сотрудник изменил исходные условия после подготовки черновика, отметьте версию документа. Иначе при разборе вы будете спорить об ответах, составленных по разным основаниям.
Сводка: оставьте путь к исходному сообщению
Другая условная задача — собрать обращения за день в сводку. Я бы начал с небольшой обезличенной подборки и попросил указать для каждого пункта исходное сообщение. Задайте, какие сведения переносить: тему, незакрытый вопрос и ответственного, если он уже назван. Предполагаемую причину жалобы оставьте отдельным полем, которое требует подтверждения человеком.
Для проверки возьмите пару обращений с похожими формулировками, но разными условиями. Например, в одном покупатель просит изменить дату, в другом лишь спрашивает, возможно ли это. В пробной сводке я бы требовал сохранить эту разницу и не записывать оба сообщения как согласованный перенос. Конкретные примеры выберите из разрешённых к использованию материалов.
Если исходное сообщение нельзя открыть, не принимайте пункт сводки как проверенный. В предложенном порядке он остаётся помеченным для ручного просмотра. То же касается имени ответственного: если его не назначали, поле должно остаться пустым или содержать явную отметку об отсутствии решения. Не поручайте помощнику угадывать распределение полномочий.
Сравнивать такую сводку я предлагаю по отдельным пунктам: что пропущено, что перенесено верно, что добавлено без основания. Сохраните замечания проверяющего рядом с нужной строкой. Общая оценка «мне понравилось» может остаться личным впечатлением, но для следующей версии задания понадобятся конкретные причины принятия и возврата.
Действия через телефон требуют своей проверки
Теперь представим условное поручение: открыть группу, прочитать правила и подготовить публикацию. Разделите его на переходы. Сначала помощник должен показать, что открыл нужную группу; затем — найти действующий способ подачи материала. Если правила требуют обращения к администратору, в плане должен быть именно этот путь, а не отправка текста в первое видимое поле.
Перед разрешением отправки я бы потребовал показать адресата, текст и основание выбора канала. Для закрытой группы предусмотрите ожидание решения по заявке. Для экрана, который отличается от ожидаемого, — остановку и передачу человеку. Эти состояния внесите в задание заранее; отсутствие результата при таком ожидании не следует выдавать за завершённую публикацию.
Установите для пробы предел числа действий и времени. После его достижения помощник должен сохранить уже сделанное и сообщить, где остановился. Значения выбирайте под конкретное поручение. Я бы проверил этот переход на безопасном участке: например, открытии нужной страницы без нажатия кнопки отправки, оплаты или удаления.
Доступ к устройству оформите отдельным решением. Запишите, какие приложения входят в поручение, какие сведения запрещено читать и кто может расширить разрешения. Не включайте в рабочую пробу банковские приложения, коды подтверждения и чужие переписки. Такой список — условие выбранного процесса; он сам по себе не доказывает защищённость программы.
Что попросить показать до рабочего запуска
Попросите исполнителя пройти удачный пример, пример с нехваткой данных и пример с ошибкой внешнего сервиса. В последнем случае проверьте, что получилось с заданием: осталось ли оно в ожидании, сохранён ли черновик, не отправлено ли повторное сообщение. Для приёмки я бы записал ожидаемое поведение в каждом из этих случаев.
Прочитайте журнал действий вместе с проверяющим. В нём должны различаться подготовленный ответ, разрешённая отправка и подтверждённая доставка, если именно доставку вы принимаете как итог. Договоритесь, какое свидетельство считается достаточным для вашей площадки. Я бы не принимал отметку «успех» без возможности связать её с конкретным действием и результатом.
Расходы покажите отдельно от демонстрации функций. Запишите настройку, использование сервисов, ручную проверку и обслуживание. Если вам называют экономию, попросите исходную выборку, способ измерения и учёт исправлений. До этого оставьте цифру предложением исполнителя, а не доказанным свойством помощника. Для своей пробы сохраните и удачные, и неудачные примеры.
Место запуска и обращения с данными тоже включите в вопросы приёмки: какие сведения передаются сервисам, где они хранятся, кто имеет доступ. Ответ «модель локальная» я бы не считал достаточным ответом на весь этот список. Запрашивайте описание конкретной схемы; правовые требования к ней проверяйте отдельно с подходящим специалистом.
Как выбрать следующее поручение
Если первая задача проходит вашу проверку, расширяйте её отдельной записью. Например, после черновиков о графике можно испытать ответы по ещё одному разделу памятки. Не переносите старое разрешение автоматически на другой адресат или действие. Для нового участка понадобятся свои примеры, причины остановки и человек, который примет работу.
Начните с обращения, которое сейчас лежит перед вами. Запишите, что помощник должен найти, что показать вам и чего не делать без разрешения. Мой критерий выбора прост: я хочу видеть задачу, которую можно проверить по исходным сведениям. Если пока невозможно договориться об ответе, сначала стоит дописать условия, а уже затем выбирать исполнителя.