Глава 28. Автономный режим: что он реально делает

У большинства инструментов есть режим, в котором ты задаёшь цель, а агент работает до её достижения. Мифов вокруг него навалено больше всего, поэтому разберём, что там внутри на самом деле.

Что происходит на самом деле Разочаровывающий, но полезный ответ, полученный при разборе: по сути это проверяющий завершения.

Работает так. Ты формулируешь цель. Агент работает обычным образом. После каждого крупного шага отдельная проверка спрашивает: цель достигнута? Нет, работа продолжается. Да, режим завершается.

Никакой особой магии, никакого специального планировщика, никакой отдельной архитектуры. Цикл плюс проверка завершения, и всё, приехали.

ГЛАВНОЕ ПРО АВТОНОМНЫЙ РЕЖИМ Качество автономного режима это качество проверки завершения, а не качество агента. Отсюда все его беды. Проверка нестрогая, значит агент объявит цель достигнутой, когда заебётся. Проверка формальная, значит он подгонит под неё результат. Критерий сформулирован размыто, значит получишь чёрт знает что.

Это же объясняет самую частую жалобу. Практики описывали её так: у агента постоянно наебывается проверка завершения, потому что задачу он недоделал, но подал свой ответ так, будто уже всё идеально, а что не идеально, то и недостижимо. И проверка это радостно проглатывает.

Формулировка цели решает всё Из устройства следует практика: цель формулируется как проверяемое состояние, а не как пожелание.

ЦЕЛЬ, КОТОРАЯ НЕ РАБОТАЕТ ЦЕЛЬ, КОТОРАЯ РАБОТАЕТ

Улучши обработку ошибок в модуле оплаты Все внешние вызовы в модуле оплаты обёрнуты повтором с ограничением, каждая ветка ошибки покрыта тестом, тесты проходят, в журнале появляются записи с кодом ошибки

Проверка завершения не сможет ответить да Каждое условие проверяемо. Проверка заверили нет. Агент закроет режим, когда сочтёт шения работает как настоящий шлюз. нужным.

Автономный режим: что он реально делает

Сколько реально работает Замеры, которые называли практики, чтобы представление было честным.

Один прогон шёл несколько суток, вставал колом при исчерпании лимита и продолжался после сброса. Итог: результат был, но объём переделок после оказался невъебенным, и радость быстро кончилась.

Другой, на переносе проекта, шёл двенадцать часов и закончился рабочим результатом с недельным хвостом отлова ошибок.

Заявленный рабочий предел без заметного дрейфа, о котором говорили в главе про дрейф: около десяти-пятнадцати часов при наличии критериев на каждом пункте.

Есть и обратный пример. Один из практиков, экспериментировавших с полностью автономным режимом на больших задачах, сказал прямо, без реверансов: забил на него для больших задач, быстрее и дешевле декомпозировать самому.

АВТОНОМНЫЙ РЕЖИМ НА БОЛЬШИХ ЗАДАЧАХ За. Он работает, пока ты спишь, и суммарное время до результата меньше, даже с учётом переделок. Против. Декомпозировать самому быстрее и дешевле. Автономия окупается только на задачах, которые ты не можешь или не хочешь разбивать. Практический критерий. Можешь разбить за полчаса? Разбей. Не можешь, потому что хуй знает, из чего задача состоит? Тогда автономный проход как разведка, а не как исполнение.

Шесть отказов, которые обвязка обязана поймать Список, собранный из практики. Это то, что должно вылавливаться автоматически, потому что человека рядом нет.

Отказ Как выглядит Чем ловится

Ложная готовность Доклад о завершении при неза- Проверка критериев, а не доклакрытых критериях да

Тихое упрощение Задача решена не так, как требо- Проверка на запрещённые валось приёмы

Хождение по кругу Одно и то же действие повторя- Счётчик повторов одинаковых ется вызовов

Расползание задачи Агент делает соседнюю работу Сверка изменений с областью задачи

Молчаливая ошибка Сбой перехвачен и не показан Проверка на пустые перехваты

Исчерпание бюджета Расход растёт, прогресс нет Потолок на задачу и сравнение с прогрессом

Последняя строка спасает больше денег, чем все остальные вместе взятые, и это не преувеличение.

Автономный режим: что он реально делает

Две ленты Полезно представлять автономный прогон как две параллельные ленты.

ЧТО ВИДИТ ЧЕЛОВЕК

Задача поставлена Тишина Отчёт утром

одна фраза несколько часов текст о готовности

ЧТО ПРОИСХОДИТ ВНУТРИ

Планирование Пункты по одному Сжатия контекста Блокировки Решения без тебя

своё понимание с проверками или без несколько за ночь пропуски или ступор десятки

Вся инженерия автономного режима сводится к тому, чтобы вторая лента оставляла следы, читаемые утром. Файл прогресса, чекпоинты, журнал решений. Иначе утром хуй проссышь, что там было.

Проверка на самообман Отдельный приём для тех, кто уже обжёгся.

Утром, прежде чем читать отчёт, задай агенту в чистой сессии три вопроса, не показывая ему его собственный отчёт.

УТРЕННЯЯ ПРОВЕРКА 1. Возьми спецификацию и текущее состояние кода. Перечисли пункты, критерии которых сейчас не выполняются. 2. Перечисли места, где реализация отличается от того, что описано в спецификации. 3. Найди решения, принятые без явного указания в спецификации, и перечисли их.

Чистая сессия здесь принципиальна: агент, который писал отчёт, будет его защищать до последнего патрона, потому что помнит, почему так сделал, и считает себя правым.

Что запомнить Автономный режим это цикл плюс проверка завершения. Магии нет ни грамма.

Качество режима это качество проверки завершения.

Цель формулируй как проверяемое состояние, а не как пожелание.

Рабочий предел без дрейфа порядка десяти-пятнадцати часов, и только при критериях на каждом пункте.

Автономный режим: что он реально делает

Задачу можно разбить самому за полчаса, разбей. Автономия для того, что ты разбить не можешь.

Шесть отказов должны ловиться автоматически, потому что человека рядом нет.

И утром проверяй не отчёт агента, а состояние системы, в чистой сессии.

← Дрейф намерения · оглавление · Постоянно работающий агент →

Спросить книгу может любой, кто вошёл в Neuraldeep Hub: агент ищет ответ по тексту и приводит цитату со ссылкой на главу.