Глава 12. Скиллы: механика и жизненный цикл

Скилл это отдельный файл с инструкцией, которую агент подгружает, когда сочтёт нужным. Сущность появилась недавно, за полгода вокруг неё выросла целая культура, и почти сразу полезли проблемы, о которых лучше знать заранее, чем потом разгребать.

Как это устроено на самом деле Механика простая, и понимание её сразу снимает половину вопросов.

В контексте агента постоянно висят только заголовки и описания всех доступных скиллов. Не тела, только описания, обычно одна-две строки каждое. Приходит задача, модель смотрит на этот список и решает, стоит ли подгружать какой-то скилл целиком.

ЧТО ПРОИСХОДИТ СО СКИЛЛОМ

Список описаний Задача Решение модели Загрузка тела Применение

всегда в контексте пришла от тебя подходит или нет только выбранного как обычная инструкция

Из этой механики следуют все остальные свойства.

Скиллы платные, даже когда не используются. Заголовки висят всегда, и сотня скиллов это сотня строк на каждом ходу.

Описание работает, а тело нет. Описание сформулировано хуёво, значит тело не загрузится никогда, и качество инструкции внутри уже не имеет никакого значения.

Модель решает сама. Загрузкой ты напрямую не управляешь, влияешь только текстом описания.

Описание решает всё Самая практичная часть главы.

Хорошее описание делает две вещи: перечисляет ситуации, в которых скилл применим, и явно называет ситуации, в которых он нахуй не нужен. Второе важнее первого, потому что именно оно спасает от ложных срабатываний.

Скиллы: механика и жизненный цикл

ОПИСАНИЕ, КОТОРОЕ НЕ РАБОТАЕТ ОПИСАНИЕ, КОТОРОЕ РАБОТАЕТ

Помогает проектировать агентов Использовать при проектировании, реализации, ревью, отладке или оценке агента: инженерия контекста, интерфейсы инструментов, надёжность обвязки, память, оценка, координация нескольких агентов. Не использовать для обычного неагентного кода приложения.

Слишком общо: модель не понимает, когда Перечислены ситуации и явно отсечены неименно это про неё, и либо не загрузит нико- подходящие. Загружается тогда, когда нужно, гда, либо будет грузить постоянно. и молчит в остальное время.

Практики, у которых скиллы срабатывают стабильно, описывают это так: не люблю вызывать скиллы руками, подбешивает, когда скилл сам не вызывается. Стабильный автовызов это признак хорошего описания, а не везения.

Скилл со скриптом или без Спор, в котором правы обе стороны, и понимать стоит обе.

Позиция первая: скилл без скрипта бесполезен. Аргумент конкретный. Промпты живые, от проекта к проекту улучшаются. Лежали бы они в скиллах, пришлось бы каждый раз обновлять и синхронизировать между всеми машинами, а это ебля на ровном месте. Проще держать текст там, где его удобно править, а в скилл класть то, что меняться не собирается либо меняется централизованно.

Позиция вторая: скилл это методичка. А со скриптом она или без, дело десятое. Интерактивность хороша, но не везде реальна и не везде нужна. Смысл скилла в том, чтобы не повторять одно и то же десять раз с мелкими вариациями, а обратиться по названию.

КАК РЕШИТЬ У СЕБЯ Клади в скилл то, что стабильно. Процедура, которая не меняется от проекта к проекту, знание о внутренней системе, порядок действий с чужим интерфейсом. Не клади то, что дорабатываешь каждую неделю. Оно будет разъезжаться между машинами, и ты заебёшься синхронизировать. Отдельный случай, где скилл незаменим. Знания, которых нет ни в репозитории, ни в обучающих данных: внутренние соглашения компании, вендорский функционал, не описанный в коде. Иначе агент про них не узнает никогда.

Пять типовых форм Скиллы, которые встречаются в живых проектах, укладываются в несколько форм.

Форма Что внутри Когда нужна

Процедура Пошаговый порядок действий Повторяющаяся операция со стабильным ходом

Скиллы: механика и жизненный цикл

Форма Что внутри Когда нужна

Справочник Знание о системе или интерфей- Того, чего нет в коде и в обучаюсе щих данных

Обёртка над утилитой Как вызывать инструмент и что Внешние интерфейсы, где сборка делать с ответом запросов на лету даёт выдумки

Роль Взгляд, с которым надо посмот- Ревью, критика, оценка с реть на задачу определённой позиции

Мета-скилл Как делать другие скиллы или Когда скиллов развелось до хуя проверять их

Последняя форма появляется поздно и означает ровно одно: пора наводить порядок.

Гигиена: три правила Держи только инфраструктурные. Заголовки висят в контексте постоянно, поэтому каждый лишний скилл это налог на каждый ход. Практики, наводившие порядок, оставляли те, что описывают работу с системами, и выкидывали те, что описывают пожелания к стилю.

Считай срок годности неделями. Формулировка резкая, но проверенная: скилл, собранный генератором скиллов, наебнётся через пару недель. Меняются инструменты, меняется поведение модели, меняется проект.

Ревьюй как код. Даже аккуратный скилл после правок агентом требует проверки, и не для галочки. Люди, выкладывавшие свои скиллы, регулярно получали замечания вида хороший скилл, чистый, но агенты в него насрали.

Версии и устаревание Проблема, у которой в экосистеме общего решения нет: как человек узнаёт, что вышла новая версия скилла. Честный ответ авторов популярных скиллов: никак, только через ленту изменений.

Два обхода, придуманные практиками.

Предполётная проверка внутри скилла. Раз в сессию агент сверяет файл скилла с источником и, если версии разошлись, одной строкой сообщает, что вышло обновление и как обновиться. Не разошлись, молчит в тряпочку.

Проверка на уровне хранилища. В корпоративном варианте лучше не зашивать проверку в каждый скилл, а повесить её на инфраструктуру: человек ставит, заливает или ищет очередной скилл, и запускается проход по всем установленным.

Скиллы: механика и жизненный цикл

ПРИЗНАКИ, ЧТО СКИЛЛ ПОРА УДАЛИТЬ 1. Ты не помнишь, что он делает, и в описании этого тоже хуй поймёшь. 2. За месяц он ни разу не загрузился сам, а ты про него ни разу не вспомнил. 3. Он дублирует то, что модель делает и без него. Проверяется отключением. 4. Он лезет в задачи, к которым не относится. Описание слишком широкое. 5. Внутри он описывает интерфейс, который с тех пор поменялся.

Экономика скилла Отрезвляющий пример, который стоит помнить перед тем, как автоматизировать очередную мелочь.

Человек хотел подписать один документ. Через готовый онлайн-редактор это заняло бы полминуты. Он попросил агента захуячить скилл для этой операции, потратил на сборку и настройку около четверти часа, а по счётчику вышло больше пяти долларов за один заход. Дальнейшие подписания стали дешёвыми, но окупаемость надо было прикидывать до, а не после.

ГЛАВНОЕ ПРО СКИЛЛЫ Скилл окупается только на повторяющемся. Считай окупаемость до создания: сколько раз в месяц это происходит и сколько стоит один ручной проход. И помни, что стоимость скилла сборкой не заканчивается. Он занимает место в контексте, протухает, требует ревью и однажды начинает мешать. Скилл это не разовое вложение, а подписка.

Когда любимый скилл начинает мешать Наблюдение, которое звучит комично, но описывает реальную проблему: иногда любимый скилл начинает лезть туда, где он нахуй не сдался.

Причина всегда одна: слишком широкое описание. Лечится дописыванием строки о том, где скилл не применяется.

Отдельно стоит знать, что скилл, который пытается бороться со склонностью модели, добавляя новую яркую инструкцию, обычно усиливает перекос вместо того, чтобы его убрать. Тушишь пожар бензином. Работают не уговоры, а детерминированная проверка с ответом да или нет.

Что запомнить В контексте висят только описания. Тело загружается по решению модели.

Описание важнее содержимого: перечисли ситуации и явно отсеки неподходящие.

В скилл клади стабильное. Живой текст держи там, где его удобно править.

Настоящая ниша скилла это знания, которых нет ни в коде, ни в обучающих данных.

Скиллы: механика и жизненный цикл

Срок годности измеряется неделями. Ревьюй как код и удаляй без соплей.

И считай окупаемость до сборки: скилл это подписка, а не разовая покупка.

← Правила, которые работают · оглавление · Хуки и детерминированные гарантии →

Спросить книгу может любой, кто вошёл в Neuraldeep Hub: агент ищет ответ по тексту и приводит цитату со ссылкой на главу.