Глава 27. Дрейф намерения

Ты поставил задачу. Агент начал правильно. Через час он делает не то. Через три часа он занят каким-то своим ебанутым проектом, формально даже разумным.

Это называется дрейфом, и это главная причина, по которой длинные автономные прогоны разочаровывают.

Намерение распадается нелинейно Есть исследование, посвящённое именно этому, и его выводы стоит знать точно.

Проверяли, насколько агент удерживает исходное намерение по мере роста двух величин: числа ограничений в задаче и длины сессии.

Главный результат: намерение распадается нелинейно. До какого-то момента всё держится, а потом качество разом идёт по пизде. Добавление ограничений распад ускоряет: чем больше условий ты навесил, тем раньше начнётся дрейф.

ГЛАВНОЕ ПРО ДРЕЙФ Чем больше ограничений ты навесил, тем быстрее агент от них уедет. Это переворачивает интуицию с ног на голову. Кажется, что подробная инструкция удержит его лучше. На деле каждое дополнительное условие увеличивает нагрузку на удержание, и в какой-то момент всё наебывается разом. Вывод практический: лучше три условия, которые проверяются автоматически, чем пятнадцать, которые проверять нечем.

Парадокс уточнения Второй результат того же исследования, ещё более хуёвый.

Когда агент оказывался в ситуации неопределённости, где правильным действием был уточняющий вопрос, подавляющее большинство агентов предпочитали рискованное действие вопросу.

Логика понятная. Агент обучен закрывать задачи. Уточняющий вопрос это остановка, а действие это движение к цели. Вот он и прёт напролом, будь что будет.

Следствие для практики: хочешь, чтобы агент спрашивал, мало разрешить ему спрашивать. Надо сделать вопрос обязательным в конкретных ситуациях, желательно проверкой, а не просьбой.

Формулировка, которая лечит половину случаев Самая практичная находка во всём корпусе, и она в одну строку.

Дрейф намерения

СТРОКА, КОТОРУЮ СТОИТ ВСТАВИТЬ В КАЖДЫЙ ЗАПРОС Работаем по документации и фактам, а не по памяти. Перед любым выводом опираемся и ссылаемся на источник.

Человек, который это придумал, описывал результат так: восемь часов непрерывной работы, собран целиком рабочий процесс из тринадцати шагов, и после первого же запуска всё завелось. Охуенно для одной строки.

Почему это работает, понятно из механики модели. Требование сослаться на источник заставляет её лезть в файлы, а не в собственные воспоминания. А дрейф чаще всего начинается ровно там, где агент решил, что он и так, блядь, всё помнит.

Более ранняя версия той же формулировки звучала проще: работаем по фактам, а не по предположениям. Тоже помогает, но слабее, потому что не требует ссылки.

Как выглядит начало дрейфа Полезно уметь ловить его рано, пока правка дешёвая.

Признак Что происходит

Появились слова вероятно, скорее всего, обычно Агент перешёл на память вместо источников

Пересказ задачи стал короче исходного Часть условий выпала

Начал решать соседнюю задачу Исходная показалась ему решённой

Ссылается на своё же предыдущее решение как на Ошибка закрепилась данность

Отчёты стали общими Конкретика ушла, потому что её нет

Последний признак самый надёжный. Как только отчёты стали обтекаемыми, всё, работа уехала в сторону, и глубоко.

Две позиции о том, насколько это лечится Спор шёл долго, и оба участника правы в своих условиях.

Скептик. Деградация после сжатия контекста копится. Пример из практики: проект, где агент сам поднимал окружение всю неделю, вдруг заявляет, что окружения нет и надо поднять его руками, а после напоминания соглашается и поднимает. Вывод: оставил на ночь и получил готовый продукт это пиздёж. Оно может работать, но сделано мимо спецификации, и придётся переделывать.

Практик. Это работает как постепенное проявление. Прогон за прогоном из ничего возникает осмысленное, потом подключаешься и добавляешь детали, которые не были очевидны ни тебе, ни модели. Заявленный рабочий предел на момент разговора: около десяти-пятнадцати часов автономной работы по спецификации без заметного дрейфа.

Дрейф намерения

КТО ИЗ НИХ ПРАВ Оба, и различает их одно: наличие спецификации с проверками. Скептик описывает прогон, где спецификация есть, а автоматических проверок нет. Там дрейф обнаруживается постфактум. Практик описывает прогон, где на каждом пункте есть критерии готовности. Там дрейф обнаруживается в момент возникновения. Разница не в моделях и не в везении, а в том, есть ли у агента способ узнать, что он уехал.

Что удерживает на самом деле Сводка приёмов по убыванию эффективности.

Проверки на каждом пункте. Самое сильное. Агент не может уехать дальше пункта, критерии которого не закрыл.

Требование ссылаться на источник. Одна строка, лечит половину случаев.

Короткий горизонт. План на один пункт вместо всего плана.

Файл прогресса. Не удерживает, но позволяет обнаружить и вернуть.

Хук на перечитывание после сжатия. Восстанавливает то, что потерялось.

Периодическая перепроверка в чистой сессии. Ловит то, что просочилось.

ЧТО ПРОИСХОДИТ БЕЗ УДЕРЖАНИЯ

Работа над своей Правильный старт Первое упрощение Ссылка на своё решение задачей

как просили никто не заметил стало данностью формально разумно

Что повторилось трижды, паковать в скилл Отдельный приём, снижающий дрейф на длинной дистанции.

Всё, что тебе пришлось объяснять агенту больше трёх раз, надо оформить в скилл. Тогда даже на невъебенно длинных контекстах он не забывает важные вещи, потому что скилл подгружается заново, а не гниёт в истории.

Простой способ вынести знание из тающего контекста в постоянное хранилище.

Что запомнить Намерение распадается нелинейно, и лишние ограничения распад ускоряют.

Агенты предпочитают рискованное действие уточняющему вопросу. Хочешь вопросов, делай их обязательными.

Одна строка про работу по документации и ссылки на источник лечит половину случаев.

Дрейф намерения

Лови ранние признаки: слова про вероятно, укоротившийся пересказ, обтекаемые отчёты.

Разница между разочарованием и рабочей автономией это наличие критериев готовности на каждом пункте.

И то, что объяснил трижды, выноси в скилл.

← Ночной прогон · оглавление · Автономный режим: что он реально делает →

Спросить книгу может любой, кто вошёл в Neuraldeep Hub: агент ищет ответ по тексту и приводит цитату со ссылкой на главу.