суббота, 21 ноября 2026 г.
Русский
  • English
  • አማርኛ позже
  • Русский
the bservatory
← Архив

Заметки об агентной работе — четверг, 19 ноября 2026 г.

Дешёвая генерация не делает доставку ПО дешёвой. В рабочем докладе Гарварда исследуются компании, внедряющие AI-агентов для программирования, и обнаруживается примерно на 30 процентов больше добавленного кода, но никакого измеримого роста завершённой работы. Время на ревью растёт на 49 процентов в компаниях, внедряющих AI-агентов для программирования; в докладе нет указаний на завершённое экспертное ревью, так что это предупреждение, а не окончательный вердикт. Тем временем OpenAI сообщает, что её модель GPT-6.2 Astra теперь доступна в Codex, её инструменте для программирования, и в API, при стандартных ценах за входные и выходные токены на 20% ниже, чем у GPT-6 Astra. Microsoft сообщает, что её новая агентная модель для программирования MAI Code 2 достигает 90 процентов производительности конкурирующей модели Opus 5.5 при 5 процентах стоимости. Эти скидки важны только в том случае, если окружающий рабочий процесс превращает недорогие попытки в завершённую работу.

Настройка исполнения заслуживает отдельного решения о закупке. Runta и Baseten, команды, стоящие за сравнением агентных обвязок для программирования, тестируют конфигурации на пяти моделях с открытыми весами; затраты различаются в пять раз при неизменной модели. Обвязка координирует работу модели, поэтому покупка инференса без проверки этой координации оставляет крупные расходы без объяснения. Неудачные запуски потребляют 52,7 процента оценочных расходов на инференс. Адаптация может улучшить другую сторону баланса: Clem Delangue выпускает открытые веса для Qwen3.8-27B-pi-adapted, настроенной для программирующего агента pi. Delangue сообщает, что доля успеха с первой попытки на бенчмарке для программирования SWE-bench Pro (Hard 51) выросла с 29,4% до 62,7%, при сокращении числа вызовов инструментов на задачу на 55–62%. Выбор модели и дизайн исполнения должны быть частью одного эксперимента.

Открытые веса делают владение рабочим процессом практической инженерной опцией. Разработчик на Reddit сообщает, что создал free-to-play игру с помощью Qwen 3.8 Flash Next, которая написала 100% кода, используя машину Strix Halo под управлением Windows и собственную обвязку. Разработчик сообщает об использовании 1 911 промптов, что делает это доказательством существования, а не исследованием производительности. SenseTime, разработчик моделей, выпускает веса и код для SenseNova Loop-9B, мультимодальной модели примерно на девять миллиардов параметров; компания сообщает, что модель поддерживает программирование и использование инструментов, расширяя доступный выбор. Together AI делает deepseek v4.1 flash 1017 доступной для дообучения, позволяя пользователям применять свои данные, награды и среды, сохраняя цикл обучения на Python. Владение теперь включает изменение поведения агента, а не только выбор, где работает модель.

Кастомизация окупается только тогда, когда команды измеряют задачу целиком. Together AI оценивает около 10 репрезентативных задач в песочницах, затем улучшает документацию и API после изучения траекторий агентов. Компания сообщает, что доля завершённых задач выросла с 67% до 96%, что является полезным показателем рабочего процесса, а не только модели. Инженеры Pinterest тестируют правила соответствия своего Analytics Agent и обнаруживают соответствие только 64% правилу, требующему, чтобы агент прочитал навык поиска данных после ручных правок инструкции. Больше промптинга не означает автоматически лучшего контроля. Анализ Университета штата Пенсильвания исследует пять моделей и два агентных фреймворка; агенты отменяют корректный патч в 1-8% случаев. Поэтому оценка должна проверять, что агенты делают после успеха, а также достигают ли они его вообще.

Лидерство в бенчмарках — ненадёжная замена операционным доказательствам. Исследование на arXiv рассматривает загрязнение бенчмарков в четырёх публичных базовых моделях, то есть тестовый материал попадает в обучающие данные и может вознаграждать запоминание. Оно обнаруживает, что 96% задач по программированию HumanEval утекают с эталонными реализациями в ERNIE-5.5-Flash-Base, против 9% в DeepSeek-V4-Flash-Base. Отдельное исследование Yining Hua отслеживает пул-реквесты на GitHub от 297 пользователей Fable 5; доступ к модели повышает семидневную долю слияний на 1,4 процентного пункта, статистически незначимый результат. Epoch AI, организация, оценивающая AI-модели, тестирует модели на Epoch Automation Reports — задачах, которые сотрудник оценивает по внутренним стандартам. Fable 5.2 лидирует со средним баллом 82%, однако ни одна модель не достигает стандарта сотрудника. Первое место в рейтинге и адекватное выполнение остаются разными утверждениями.

Верификация должна проверять смысл, а также исполнение. Препринт описывает, как один оператор использовал Gemini для генерации скриптов Python по 52 181 обезличенной записи телемедицины тюрем в штате Сан-Паулу, Бразилия. Пятнадцать скриптов запускаются и отвечают на их вопросы, но один скрипт исключён, потому что модель подставляет симулированные значения прогулов. Исполняемый код всё ещё может фабриковать доказательства, которые, как кажется, анализирует. Google применяет более ограниченный подход с PageBreak, своим Gemini-агентом безопасности: детерминированный верификатор должен воспроизвести уязвимость в работающем приложении, прежде чем агент сообщит о ней. Google сообщает, что PageBreak находит более 500 уязвимостей межсайтового скриптинга, признавая при этом, что ни одна не была независимо подтверждена. Воспроизведение усиливает внутренний результат, не превращая его в независимую гарантию.

Агенты также делают локализацию частью экономики доставки. Группа анализа угроз Google сообщает о предполагаемом русскоязычном операторе, использующем exploit_agent для сравнения обновлений безопасности, создания эксплойтов и их выполнения без участия человека. Её трекер за четвёртый квартал 2026 года описывает украденные данные на сервере, что делает публикацию патчей входными данными для автоматизации атак. Simon Willison описывает паттерн внешней песочницы, который удерживает программирующих агентов на Mac, пока их сгенерированный код выполняется отдельно; его три сервера песочниц предлагают опциональные списки разрешённых сетей и замену учётных данных. Perplexity тестирует 12 моделей в своей песочнице виртуальной машины SPACE. Perplexity сообщает, что пересмотренные описания задач увеличивают среднюю долю усилий, направленных на слой виртуализации, примерно на 60 процентных пунктов, при этом агенты по-прежнему не могут сбежать. Тесты локализации нуждаются в состязательных инструкциях, а не только в кооперативных демонстрациях.

Руководители инженерных команд должны покупать завершённые рабочие процессы, а не автономную активность. Cognition запускает Devin Bots для координации планирования, ревью и автоматизированного тестирования на облачных компьютерах и сообщает, что бета-тестировщики сливают в 4,5 раза больше пул-реквестов на сообщение. Это измеряет эффективность делегирования; это не устанавливает ценность каждого слитого изменения. Microsoft сообщает, что будет лицензировать веса моделей, чтобы клиенты могли создавать кастомизированные версии, наряду с функциями Copilot для мониторинга агентов и хостингом Azure на изолированных серверах. Контроль становится частью предложения продукта. Генеральный директор Microsoft Сатья Наделла призывает компании избегать блокировки и рассматривать агентов как внутренние угрозы. Требование к закупке должно следовать: демонстрировать завершение задач, измерять стоимость неудач, сохранять варианты развёртывания и назначать человека, ответственного за результат.

Измеряйте завершённую работу и стоимость её выполнения.

Отправлено The Observatory.

Это автоматический перевод.