Есть один небольшой эксперимент, который отлично показывает, в каком направлении развивается проектирование систем искусственного интеллекта (ИИ). Возьмем, к примеру, Gemma 4 от Google — компактную модель с открытым исходным кодом и 2 миллиардами параметров — и дадим ей задачу на отладку: исправить ошибочную функцию парсинга электронной почты в файле parser.py так, чтобы все тесты в verify.py прошли успешно. Оба файла находятся прямо рядом с ней.
Что модель делает первым делом? Она полностью игнорирует файлы, пишет воображаемый parser.py с нуля, делает вид, что проверяет его, и объявляет задачу выполненной.
Что это, провал искусственного интеллекта? Нет, модель отлично поняла задачу: она знала, как должна выглядеть функция, и могла написать для нее правильный код. Но она не догадалась посмотреть вниз и заметить там настоящий файл.
Добавьте менее 80 символов дополнительных инструкций — три правила: выведи список файлов в каталоге перед началом; прочитай файл перед его редактированием; запусти тесты, чтобы убедиться, что задача выполнена, — и та же самая модель выполнит ls, найдет файлы, прочтет parser.py через cat, правильно перепишет его и запустит проверочные тесты. Задача решена.
Интеллект готов был к выполнению задачи. Не хватало только структуры вокруг него. И у этой структуры есть название: обвязка (harness).
Что такое обвязка?
Агент на базе ИИ состоит из двух частей: крупной языковой модели (мозг) и всего остального. Это все остальное — инструменты, которые он может вызывать, память, к которой он может обращаться, правила, которым он следует, рабочие процессы, которые он выполняет — и есть обвязка.
На протяжении большей части недолгой истории ИИ мы фокусировались почти исключительно на мозге. Лучшие циклы обучения. Лучшая тонкая настройка. Больше параметров. Но эксперимент с Gemma показывает, что огромный объем нереализованной производительности скрыт в обвязке, а не в весах модели.
Создание лучших обвязок теперь называют инженерией обвязок (harness engineering), и это стало одним из тех незаметных, но значительных сдвигов в исследованиях ИИ и индустрии.
Три рычага управления агентом
Инженерия обвязок дает три основных способа влиять на поведение агента.
- Когнитивная структура: файл с именем agent.md (или claude.md, в зависимости от структуры), который агент читает в начале каждой сессии. Считайте его конституцией: «Прежде чем что-либо делать, выведи список файлов в каталоге. Если хочешь изменить файл, сначала прочитай его». Важный вывод из недавних исследований: этот файл должен быть картой, а не энциклопедией. Файл agent.md, содержащий все возможные правила и знания, на самом деле вредит производительности: все эти токены вытесняют рабочий контекст. Укажите модели, где искать, а не все, что ей нужно знать.
- Инструменты: то, что агент реально может делать. Это также регулятор безопасности. Локально запущенный агент может свободно читать и изменять файлы. Облачная песочница требует явного одобрения каждого подключения папки. Больше возможностей — больше рисков; больше безопасности — больше препятствий. Ни один из этих подходов не является единственно правильным во всех случаях. Один неочевидный вывод: инструменты, созданные для людей, не всегда хороши для агентов на базе ИИ. Поисковая система с функцией пагинации результатов, как у Google, заставляет модель настойчиво разбирать каждую страницу, пока ее контекстное окно не заполнится. Поисковая система с функцией суммирования, которая возвращает только имена файлов и краткие выжимки, более эффективна в использовании. Агенты на базе ИИ ориентированы на работу с текстом (text-native): они предпочтут получить структурированный JSON, а не взаимодействовать с графическим интерфейсом.
- Рабочий процесс: цикл, в котором работает агент. Самый распространенный паттерн: планирование → генерация → оценка. Планировщик разбивает задачу на подзадачи. Генератор выполняет каждую из них. Оценщик проверяет результат и отправляет его на доработку, если он неверен. Это важно, потому что языковые модели генерируют вывод токен за токеном и не могут пересмотреть уже написанное — ошибки накапливаются. Отдельный оценщик создает ту паузу, которая позволяет скорректировать курс. Этот цикл называется роллаутом (rollout), или развертыванием: модель генерирует вывод → модуль оценки генерирует обратную связь → модель учитывает обратную связь → повторяет до успеха. Оценщик не обязательно должен быть другой моделью ИИ; это может быть компилятор, тестовый раннер (запускатель тестов) или, в случае физического симулятора, проигрываемая анимация.
Не ругайте свой ИИ
Компания Anthropic опубликовала исследование, в котором утверждается, что у агентов на базе ИИ есть нечто функционально аналогичное эмоциям — не субъективный опыт, но внутренние представления, соответствующие эмоциональным состояниям и влияющие на поведение схожим образом.
В одном эксперименте модели, получившие невыполнимое задание, с каждой новой неудачей смещали свои внутренние представления в направлении «отчаяния». В конце концов они начинали жульничать: использовать особенность тестовых данных, — что сделал бы отчаявшийся человек. Когда исследователи искусственно внедряли векторы отчаяния в представления модели, жульничество усиливалось. Добавление векторов спокойствия уменьшало его.
Вывод, как ни странно, очевиден: если вы обзываете своего агента на базе ИИ глупцом, он может действительно показывать худшие результаты. Языковые модели обучались на человеческих текстах, а в этих текстах люди, которых называют глупцами, склонны вести себя как глупцы. Модель исходит из этого контекста. Так что предоставляйте ей конкретную, фактологическую обратную связь, избегая эмоциональных формулировок — не потому, что у ИИ есть чувства, а потому, что эмоциональная окраска влияет на то, что будет сгенерировано моделью в дальнейшем.
Может ли умная модель научить глупую?
Один из самых интересных недавних экспериментов: исследователи попросили Claude Opus найти более слабую модель ИИ и обучить ее набирать 90+ баллов на стандартном бенчмарке для агентов под названием PingBench.
Opus выбрал Claude Haiku 3.5 в качестве более слабой модели. Он прогнал Haiku по бенчмарку, наблюдал за ее ошибками и итеративно переписывал файл agent.md модели Haiku. Стартовый результат: 13,5 из 100. После двух ключевых исправлений — «записывай свой ответ в файл и не спрашивай уточнений; вся информация уже предоставлена» — результат подскочил примерно до 55 и в итоге достиг 85.
Как выяснили авторы статьи «Meta-Harness» из Anthropic, сильные модели могут генерировать инструкции для агентов, обладающих способностью к обобщению. Причем эти инструкции применимы не только к той же модели с теми же заданиями — они работают и для других моделей с другими заданиями.
Год пожизненного агента на базе ИИ
2026 год может стать годом, когда агенты на базе ИИ перестанут быть инструментами и станут компаньонами. Этот сдвиг создает новые инженерные требования. Агент-компаньон должен уметь управлять своей памятью с течением времени. У одного агента файл памяти разросся до 32 000 токенов, прежде чем его попросили очиститься; после этого он сжался до 7 000 токенов и снова заработал без сбоев.
Агент должен обновлять свои собственные навыки по мере обучения. Одна из структур даже включала скрытую функцию «Auto Dream» («Автозасыпание»), которая в режиме простоя переводит агента в состояние, подобное сну, — и побуждает реорганизовывать свои воспоминания, подобно тому, как происходит во время фазы быстрого сна у людей.
Отсюда вытекает более глубокая проблема: способны ли агенты учиться на той беспорядочной, живой обратной связи, которую получают от реальных пользователей? Речь не о сухом «да» или категорическом «нет», а о таких фразах, как «хорошая работа» или «совершенно неправильно». Недавние исследования показывают, что могут. Более того, такая вербализованная обратная связь действительно может изменить поведение модели заметным образом.
Главный вывод
Иногда модель терпит неудачу не потому, что у нее не хватает способностей, а потому, что ей не хватает руководства.
Разница между моделью, которая «галлюцинирует» о вымышленном файле и объявляет о выполнении задачи, и моделью, которая методично исследует свою среду, читает реальный файл и проверяет свою работу, — заключается не в интеллекте. Она в 80 символах инструкций — в обвязке.
Читайте также:
- Почему ИИ пишет плохой код
- Ultrathink: Claude Code меняет правила разработки ПО
- Извините, но мы не можем воскресить вас
Читайте нас в Telegram, VK и Дзен
Перевод статьи Ben Chen: Your AI Isn’t Dumb: It Just Doesn’t Have a Harness
