Глава 37. Приватность и утечки

Тема, о которой вспоминают позже всего, обычно когда уже полный пиздец случился. Разберём заранее.

Куда попадают данные Полезно один раз проследить путь.

ПУТЬ ТВОИХ ДАННЫХ

Контекст Запрос Твой файл Ответ Память Журналы агента поставщику

локально собран обвязкой ушёл наружу вернулся сохранён остались следы

Каждая стрелка это место, где данные могут задержаться дольше, чем ты рассчитывал.

Файл ты читал для одной задачи, а он остался висеть в контексте до конца разговора. Запрос ушёл поставщику и, в зависимости от условий, мог быть сохранён. Ответ попал в память и будет всплывать в будущих разговорах. А журналы обвязки хранят всё это добро в открытом виде прямо на диске.

ГЛАВНОЕ ПРО ПРИВАТНОСТЬ Данные попадают в память случайно, а удаляются оттуда намеренно. Нет намерения, значит остаются. Отсюда правило: решать, что не должно попасть в память, надо до того, как оно туда попало. Постфактум это уже расследование, а не настройка.

Групповая память переживает уход Самый неочевидный случай, и он вовсе не гипотетический.

Схема простая как три копейки: агент в общем чате пишет последние сообщения в базу, сам выцепляет из них полезное и кладёт в память.

Следствия, которые автор такой системы назвал прямо и без прикрас: общение в одной группе оказывается доступно в личном разговоре с ботом. И даже когда человек уйдёт из группы, бот там останется и продолжит спокойно собирать о нём сведения, если его будут упоминать. Приятного мало.

Это не злой умысел, а естественное поведение групповой памяти. Именно поэтому такое решается архитектурой, а не обещаниями.

Приватность и утечки

ВОПРОСЫ, НА КОТОРЫЕ НАДО ОТВЕТИТЬ ДО ЗАПУСКА ГРУППОВОГО АГЕНТА 1. Что происходит с памятью о человеке, когда он покидает пространство? 2. Может ли содержимое одного пространства всплыть в другом? 3. Кто может попросить сводку о конкретном участнике и что он получит? 4. Хранится ли переписка целиком или только выводы из неё? 5. Как участники узнают, что агент их записывает?

Третий вопрос стоит обдумать отдельно. На живом эксперименте участники не раз пытались вытрясти из бота досье на конкретных людей, в том числе обходными формулировками: собери всё, что человек писал; напомни, о чём он говорил; расскажи самое интересное про него.

Агент отказывался, и его объяснение оказалось точным: суммировать высказывания по теме это работа с перепиской, а собирать портрет человека по кускам это уже другое, даже если все куски он выложил сам.

Граница тонкая, как волос. Правило, которое из этого выводится: суммирование по теме допустимо, агрегация по человеку нет. И запрос человека о собственных сообщениях отличается от запроса третьего лица о чужих.

Персональные данные и договоры Практический слой, о котором думают в компаниях.

Данные попадают под ограничения на передачу, и вопрос о том, какая модель лучше, просто не возникает: сначала выясняется, что вообще можно отправлять наружу.

Наблюдение, которое стоит запомнить: юридические ограничения определяют выбор модели раньше, чем качество модели.

Отдельный случай, который встречался и попортил людям немало крови: лицензионное соглашение на программный продукт прямо запрещает передавать его исходники третьим лицам. Значит, коммерческая работа с этим продуктом требует моделей, развёрнутых внутри, и похуй, насколько они хуже.

Промежуточные решения Полный переход на внутренние модели дорог, поэтому чаще встречаются промежуточные схемы.

Шлюз. Все обращения к моделям идут через одну точку внутри контура. Там ведётся журнал, применяются правила, вырезается лишнее и подставляются ключи. Заодно решается вопрос учёта расхода.

Разделение по чувствительности. Общие задачи уходят наружу, чувствительные обрабатываются локально. Требует классификации данных, которая обычно и так должна быть.

Обезличивание перед отправкой. Замена персональных данных на метки перед запросом и обратная подстановка после. Работает не для всех задач, но для многих хватает.

Приватность и утечки

Ответственность за то, что сказала модель Отдельный сюжет, который стоит знать всем, кто ставит агента перед клиентами.

Известен случай, когда суд признал компанию ответственной за информацию, которую высрал её собственный чат-бот. Аргумент о том, что это сказала модель, а не компания, не приняли ни хуя.

Практический вывод: агент, разговаривающий с клиентом, это твоё публичное заявление. Всё, что применимо к тексту на сайте, применимо и к его ответам.

Отсюда обычные меры: ограничение тем, обязательная опора на источники, явное указание, что информация требует подтверждения, и журнал всех разговоров.

Как выдумка попадает в модель История, которая объясняет механику лучше любых объяснений и заодно показывает, что след остаётся надолго.

Одна речевая модель регулярно дописывала в конец русскоязычных расшифровок имя человека, который делал субтитры к роликам. К содержанию это не имело ни малейшего отношения, чистая хуйня какая-то.

Настоящая история оказалась такой. У игрового канала автор нанимал подписчиков писать субтитры за деньги, и один из них подписывал результат в конце. Модель обучали на сотнях тысяч часов аудио вместе с текстами. Если в конце ролика человек уже молчит, играет музыка, а в субтитрах стоит подпись, модель могла выучить связь: конец русскоязычного видео плюс тишина ведёт к упоминанию автора субтитров.

ГЛАВНОЕ ИЗ ЭТОЙ ИСТОРИИ Всё, что ты публикуешь, может стать частью обучающих данных, и связи, которые из этого возникнут, ты не контролируешь ни хуя. Человек просто подписал свою работу. Модель запомнила его подпись лучше, чем человеческую речь.

Бонусом та же история показывает, как рождается ложная биография. Интернет успел насочинять этому человеку подробную легенду, а крупная публикация утверждала, что он делал субтитры семнадцать лет. Проверка показала, что эти семнадцать лет были границами поискового фильтра в адресе страницы, которые кто-то прочитал как период работы, а остальные бодро переписали друг у друга. Вот тебе и журналистика.

Что запомнить Данные попадают в память случайно, а удаляются намеренно. Решай до, а не после.

Групповая память переживает уход человека из пространства. Это архитектурный вопрос.

Суммирование по теме допустимо, агрегация по человеку нет. Запрос о себе отличается от запроса о другом.

Юридические ограничения определяют выбор модели раньше качества.

Приватность и утечки

Ответ агента клиенту это твоё публичное заявление, со всеми последствиями.

И всё опубликованное может стать обучающими данными, а связи, которые из этого возникнут, ты не контролируешь.

Модуль 10. Экономика и практика Пять глав про деньги и про первые проекты.

Из чего складывается счёт и на что ты влияешь, что будет с ценами дальше, и три практических сборки: личный агент, агент в групповом чате и работа с документами и интерфейсами.

Последний модуль читается в любой момент, когда захочется что-нибудь захуячить своими руками.

← Почему правила не удерживают агента · оглавление · Токеномика →

Спросить книгу может любой, кто вошёл в Neuraldeep Hub: агент ищет ответ по тексту и приводит цитату со ссылкой на главу.