Глава 26. Ночной прогон

Самая соблазнительная картинка в этой области: даёшь агенту задачу вечером, ложишься спать, утром смотришь результат.

Картинка рабочая, без пизды. Но ночной прогон это не команда, а результат целого дня подготовки, и вот как этот день выглядит.

Полная методика Разбор, который один из практиков описал по шагам на своей настоящей задаче.

Шаг первый: ревью. Днём прогоняется ревью текущего состояния сильной моделью. Получено тридцать замечаний, три критичных, остальные мелочь. Все записаны в файл.

Шаг второй: оптимизация. Отдельно прорабатывается расход: по каждому шагу агента обсуждается, что сделать, чтобы контекст не пух и токены не жглись впустую. Тоже в файл.

Шаг третий: перенос схемы. Обсуждается, как отработанную схему одного режима работы перетащить на остальные. Шаги переиспользуются, встраиваются в другие процессы. Схемы записаны.

Шаг четвёртый: свод. К вечеру в двух файлах на тысячу и полторы тысячи строк накопились три заготовки: починка ошибок, оптимизация основного режима, план на остальные.

Шаг пятый: план. Модель просят разложить это в план с подробностями, что и как чинить. Получается ещё полторы тысячи строк. Итого около четырёх тысяч строк рабочих материалов.

Шаг шестой: запрос. Модель просят написать подробный запрос на реализацию. Что учесть, какие документы перечитывать в любом случае, как себя вести без человека.

Шаг седьмой: запуск. Всё это отдаётся агенту, человек уходит спать.

ДЕНЬ ПЕРЕД ПРОГОНОМ

Свод в Ревью Оптимизация Схемы План Запрос Запуск файлы

30 замечаний по шагам переносимые 2500 строк ещё 1500 что учесть и спать

Что обязательно сказать в запросе Самая ценная часть главы, потому что перечисленное почти никогда не приходит в голову с первого раза.

Ночной прогон

ЗАПРОС НА АВТОНОМНЫЙ ПРОГОН Работай по плану, который лежит в файле такого-то. Меня нет за компьютером. Ничего не спрашивай, решения принимай сам, но записывай их. Веди прогресс прямо в плане: отмечай выполненное, помечай то, что заблокировано, и пропускай такие пункты, а не останавливайся на них. Иди в том порядке, который задан планом, до конца списка. Перед каждым пунктом перечитывай спецификацию и файл с решениями, независимо от того, помнишь ты их или нет. Если пункт не закрывается по критериям после трёх попыток, помечай его как заблокированный, записывай причину и переходи к следующему. В конце оставь отчёт: что сделано, что заблокировано и почему, что осталось.

Пункт про блокировку критичен до предела. Без него агент упрётся рогом в первую же непроходимую задачу и будет коноёбиться с ней до самого утра, а остальное так и останется нетронутым.

Пункт про перечитывание тоже: после сжатия контекста агент забудет спецификацию, а прогон почти наверняка переживёт несколько сжатий.

Более дисциплинированная схема Есть альтернатива, которая даёт меньше свободы и меньше сюрпризов.

Вместо того чтобы вывалить план целиком, агенту говорят: возьми спецификацию, перед выполнением составь план ровно на один пункт, напиши тесты, потом код. Критерии успешности лежат в спецификации в разделе готовности. Пока критерии не закрыты, к следующему пункту не суйся.

Практик, перешедший на эту схему, отметил побочный эффект: она заодно лечит тягу к переусложнению. Когда горизонт один пункт, городить архитектуру на вырост негде.

ВЕСЬ ПЛАН ИЛИ ПО ОДНОМУ ПУНКТУ Весь план. Агент видит картину целиком, может переставить порядок, если так разумнее, и не тратит ходы на планирование каждого шага. По одному пункту. Меньше свободы уехать, меньше переусложнения, легче разбираться утром, потому что каждый пункт закрыт или явно заблокирован. Практический признак. Обнаруживаешь утром сделанным не то, что просил, переходи на схему по одному пункту.

Чекпоинты Дополнение, которое сильно повышает предсказуемость: чекпоинты прямо в спецификации, на каждом шаге.

Чекпоинт это проверяемое состояние: после третьего пункта в системе должно быть вот это, проверяется вот так. Агент, дойдя до чекпоинта, проверяет и записывает результат.

Ночной прогон

Утром ты читаешь не код, а список чекпоинтов и сразу видишь, где всё пошло по пизде.

Что происходит при исчерпании лимита Практическая деталь, о которой узнают в первую же ночь.

Прогон встаёт колом посреди работы. Хорошая новость: есть файл прогресса, значит продолжение возможно. Плохая: жило состояние только в контексте, значит проебано всё до последней запятой.

Отсюда правило: файл прогресса на диске это не удобство, а страховка. Он переживает и сжатие, и обрыв, и исчерпание лимита.

Сколько это стоит Чтобы представление было честным, вот замер с реального переноса проекта на строгую типизацию.

Двенадцать часов исполнения плюс полтора часа подготовки и планирования. По счётчикам: около восьми миллионов токенов на двух машинах, в среднем триста тридцать тысяч токенов в час, суммарное машинное время почти шестнадцать часов. Эквивалент по прейскуранту около ста восьмидесяти пяти долларов.

И честная приписка автора: теперь неделю ловить баги там, где их отродясь не было. Вот тебе и сэкономил ночь.

ГЛАВНОЕ ПРО НОЧНЫЕ ПРОГОНЫ Ночной прогон твою работу не экономит, он её сдвигает. Вместо того чтобы работать днём с агентом, ты работаешь днём над постановкой, а агент работает ночью. Суммарно времени тратится не меньше. Тратится оно иначе: на подготовку и на разбор, а не на ожидание ответа.

Когда не стоит Три случая, когда ночной прогон принесёт больше вреда, чем пользы.

Архитектура не устоялась. Ночью агент примет десятки решений за тебя. Фундамент ещё едет, значит утром получишь здание на хуй знает каком фундаменте.

Нет способа проверить. Без проверок утром ты получишь бодрый доклад о готовности и не сможешь оценить его ни хуя.

Полные права в незнакомой системе. Крайний случай из практики: человек оставил агента на ночь с полными правами и утром получил совсем другой, блядь, проект.

Что запомнить Ночной прогон это результат дня подготовки, а не команда.

Ночной прогон

В запросе обязательно: человека нет, писать прогресс в план, помечать заблокированное и пропускать, идти по порядку, перечитывать спецификацию перед каждым пунктом.

Схема по одному пункту даёт меньше сюрпризов и лечит переусложнение.

Чекпоинты в спецификации позволяют утром читать не код, а список состояний.

Файл прогресса на диске это страховка от сжатия, обрыва и лимита.

И закладывай время на разбор после. Работа никуда не девается, она просто сдвигается, и хуй ты её обманешь.

← Сколько полировать · оглавление · Дрейф намерения →

Спросить книгу может любой, кто вошёл в Neuraldeep Hub: агент ищет ответ по тексту и приводит цитату со ссылкой на главу.