Глава 4. Как устроена модель: минимум механики

Эта глава про внутренности, и её легко пролистать. Не надо. Половина рабочих приёмов из следующих модулей выглядит как шаманство с бубном, пока не поймёшь, откуда они растут. А когда поймёшь, начинаешь придумывать свои.

Механики здесь ровно столько, сколько нужно, и ни строчкой больше.

Системный запрос не имеет особого статуса Первое открытие, которое переворачивает картину мира у большинства новичков.

Живёт убеждение, что системные инструкции модель воспринимает как-то иначе: серьёзнее, приоритетнее, обязательнее. Отсюда попытки написать их капсом, налепить слова обязательно и критически важно, продублировать трижды для верности. Ебля чистой воды.

Внутри модели никакого особого канала нет ни хуя. Системный запрос это такой же текст, падающий в тот же поток. Разница только в том, что он стоит в начале и обычно повторяется каждый круг.

ЧТО МОДЕЛЬ ВООБЩЕ ДЕЛАЕТ С ТЕКСТОМ Модель предсказывает продолжение. Она получает всю ленту текста и прикидывает, какой кусок должен идти дальше, опираясь на то, что видела при обучении. Никакого исполнения команд там нет. Есть текст, который делает одни продолжения вероятнее других. Инструкция работает не потому, что это приказ, а потому что после такой инструкции в обучающих данных чаще шло соответствующее поведение.

Отсюда сразу два практических правила, разобранных дальше подробно.

Объяснение работает лучше запрета. Голый запрет это короткая строка, которая на вероятности влияет слабо. Запрет с причиной разворачивается в рассуждении и тянет за собой поведение даже там, где формально не нарушен.

Повторение не усиливает ни хуя. Оно просто занимает место. А место платное.

Три границы знаний Второе открытие. У модели не одна дата, после которой она ничего не знает, а целых три.

Граница предобучения. Когда собрали основной массив текстов. Новые модели далеко не всегда получают новый массив: часто это дообучение прежнего, и тогда фактическая осведомлённость стоит на месте.

Граница инструктивного набора. Когда собрали примеры того, как отвечать. Здесь закладывается стиль, форматы и привычки.

Границы сред дообучения. Когда собрали задачи, на которых модель тренировали действовать. И вот тут начинается самое хуёвое.

Как устроена модель: минимум механики

ГЛАВНОЕ ПРО ЗНАНИЯ МОДЕЛИ Дообучение с подкреплением ломает то, что не попало в его среды. Знание не просто устаревает, оно искажается, а уверенность при этом остаётся прежней. Практическое следствие: модель уверенно порет чушь про новые версии библиотек и свежие интерфейсы. Не потому что не знает, а потому что помнит по-старому. Уточняющим вопросом это не лечится, лечится подсунутой документацией.

Отсюда простой приём, который окупается почти всегда: перед задачей на незнакомой библиотеке скорми модели выжимку из актуальной документации. Дешевле, чем потом разгребать последствия.

Начало и конец ленты работают лучше середины Третье. Внимание распределяется неравномерно. Последние куски текста модель использует хорошо, начало тоже нехуёво, а середина проседает.

Практических следствий три.

Важное клади ближе к концу запроса, а не в середину невъебенной простыни.

Чем больше ты положил, тем меньше внимания достаётся каждой части. Это не значит, что экономить надо всегда: если материалы друг другу не противоречат, чуть больше лучше, чем чуть меньше, потому что дочитывать дороже. А вот если противоречат, лишнее вреднее нехватки.

И самое хуёвое: длинный файл модель целиком не читает. Один и тот же эксперимент гоняли дважды с интервалом в несколько месяцев, и результат поменялся: то, что раньше читалось полностью, потом читаться перестало. Значит, проверять надо у себя и сейчас, а не полагаться на чужой прошлогодний результат.

Рассуждения тебе не покажут Четвёртое, и оно про наблюдаемость.

Раньше был приём: попросить модель проговорить ход мыслей вслух, и качество ответа росло. Потом это назвали рассуждением, встроили внутрь и закрыли. Сегодня внутренние рассуждения в большинстве продуктов зашифрованы и недоступны.

Отсюда две ловушки.

Как устроена модель: минимум механики

КАК УЗНАТЬ, ПОЧЕМУ АГЕНТ ТАК РЕШИЛ

Вопрос: почему модель вызвала этот инструмент

Спросить у неё самой Смотреть трассировки снаружи

объяснение задним числом, верить нельзя что реально произошло

Первая ловушка: модель может выдумать объяснение. Оно будет складным и правдоподобным, потому что складность это ровно то, что она умеет лучше всего.

Вторая тоньше и важнее. Сама просьба объяснить меняет решение. Ты спрашиваешь, почему она поступила так, а она в процессе ответа заново проходит рассуждение и приходит иногда к другому выводу. Ты измеряешь не то, что было, а то, что получилось в момент измерения.

Вывод для практики: наблюдаемость строится снаружи, через трассировки и экспорт сессий. Самоотчёт агента это материал для размышления, а не доказательство.

Оптимизация под измеримое Пятое, и самое хуёвое для тех, кто выбирает модель по таблицам.

Модели учат так, чтобы они хорошо решали задачи, которые можно проверить автоматически. Это работает, и прогресс на таких задачах настоящий, без пизды. Но у этого есть цена: то, что на проверяемую задачу не похоже, улучшается медленнее, а иногда деградирует.

Формулировка, ходившая в разговорах: там, где не оптимизируют под измерение, всё сломано.

КАК ОТНОСИТЬСЯ К ТАБЛИЦАМ С РЕЗУЛЬТАТАМИ Скептик. Рекорд всегда показывают в самом проработанном направлении, у самой неурезанной версии, на самом удачном наборе. На твою задачу это не переносится. Прагматик. Таблица показывает не качество, а направление вложений поставщика. Не вкладывался он в твою область, ты это почувствуешь. Что делать в обоих случаях. Собрать десяток своих задач и мерить на них. Это единственная таблица, которая имеет к тебе отношение.

Отдельно стоит знать, что качество плавает и внутри одного дня. В пиковые часы поставщики врубают приёмы экономии, и поведение модели заметно едет по пизде. Люди составляют себе личные памятки, в какое время лучше работать, и памятки эти у всех разные. Уже одно это говорит, что мерить надо у себя.

Пять заблуждений

Как устроена модель: минимум механики

Заблуждение Что на самом деле

Системная инструкция важнее остального текста Особого канала нет, это такой же текст

Повторить трижды значит убедить Повтор занимает место и почти не влияет

Модель знает всё до своей даты Границ три, и дообучение искажает знания

Можно спросить, почему она так решила Ответ может быть выдуман, а сам вопрос меняет решение

Модель одинакова в любой час Поведение плавает, в том числе по времени суток

Что запомнить Модель предсказывает продолжение. Всё, что ты делаешь с инструкциями, ты делаешь с вероятностями, а не с приказами.

Границ знаний три, и уверенность модели никак не связана со свежестью того, о чём она вещает.

Внимание неравномерно: начало и конец работают лучше середины, а объём отбирает внимание у каждой части.

Рассуждения недоступны, самоотчёт ненадёжен, наблюдаемость строится снаружи.

И главное: меряй на своих задачах. Всё остальное чужая статистика.

← Харнесс: слово без одного значения · оглавление · Маршрут новичка →

Спросить книгу может любой, кто вошёл в Neuraldeep Hub: агент ищет ответ по тексту и приводит цитату со ссылкой на главу.