Заметки об агентной работе — вторник, 17 ноября 2026 года
Экономика моделей благоприятствует отбору, а не автоматическому наращиванию. Alibaba выпускает Qwen4-Max — первую модель в серии Qwen4, и Alibaba сообщает, что средняя стоимость задачи на Work360, бенчмарке задач, снижается с 26,58 до 11,16 юаня. Полезное утверждение касается выполненной работы, а не только более дешёвых токенов. Anthropic говорит, что новый Claude Fable 5.2 превосходит Claude Opus 5.5 почти по всем измеряемым возможностям. Однако стандартные ставки API Fable вдвое выше, чем у Opus, и Anthropic рекомендует Opus как отправную точку для большинства задач по программированию и работе со знаниями. ARC от Rayline — небольшая модель, которая выбирает модели и глубину рассуждений для отдельных шагов, — набирает 68,7% на DeepSWE против 69,9% у Opus 5.5 в тестах Rayline. Инженерным командам нужна политика отбора, а не постоянный фаворит.
Низкие цены важнее, когда команды могут выбирать, где работают агенты. Разработчик tandem.cpp, набора патчей для среды выполнения моделей llama.cpp, держит часто используемых экспертов на GPU, а остальных передаёт на CPU. С патчем DeepSeek-V4.1-Flash декодирует со скоростью 14,2 токена в секунду против 7,4 у обычного llama.cpp. В тесте используется 16 ГБ RTX 5070 Ti с 64 ГБ оперативной памяти. Edge0 сообщает, что Edge0-145B — агентная модель, рассчитанная на одну потребительскую GPU, — достигает агентного декодирования на скорости 121,2 токена в секунду со сборкой Q3_K на RTX 5090 D 24GB. Huawei Cloud выпускает открытую модель openPangu-2.1-Pro, ориентированную на разработку приложений на HarmonyOS ArkTS и генерацию операторов Ascend. Локальное развёртывание заслуживает оценки как инженерный вариант: пригодность для рабочей нагрузки следует рассматривать наряду с требованиями к оборудованию и эксплуатационной нагрузкой.
Локальное выполнение всё ещё не доказывает рост производительности. Рандомизированное исследование METR охватывает 16 опытных разработчиков открытого ПО, работающих над зрелыми проектами. Разрешение AI увеличивает время выполнения их задач на 19%, несмотря на их первоначальный прогноз сокращения на 24%. Муса Джим, Бурак Топчу и Махмут Тайлан Кандемир изучают, когда кодирующим агентам следует останавливаться. Их анализ показывает, что агенты отменяют корректный патч в 1–8% случаев, из-за чего продолжение активности становится ненадёжным признаком прогресса. Качество бенчмарков ещё больше усложняет картину: авторы SWE-Bench Pro V2, бенчмарка для длительных задач по программированию, исправляют или снимают 480 из 731 задачи. Авторы сообщают, что фронтирные агенты решают до 99,4% из 642 задач V2. На сложном наборе из 51 задачи системы показывают от 52,9% до 98,0%. Команде следует отличать полезную работу от активности, а высокий балл — от теста, который всё ещё различает системы.
Утверждения о производительности нуждаются в тестах, способных отвергнуть правдоподобные ошибки. Команда Нанкинского университета под руководством профессора Лю Цзяхэна представляет TestPrism — бенчмарк генерации тестов с проверенными корректными и некорректными реализациями. Команда сообщает, что её сильнейшая конфигурация кодирующего агента набирает 28,00% по Joint Success Function — метрике бенчмарка по корректным и некорректным реализациям — против 59,67% при оценке по одной реализации. Тестирование против одной реализации может поэтому создавать обманчивое впечатление надёжности. Команда VeriLoop при поддержке Лаборатории интеллектуальной робототехники Tsinghua SIGS выпускает открытый кодирующий агент Voder. Команда говорит, что её слой управления на Rust, VeriLoop-Governed Recurrence, разрешает запись обратно только после того, как предложенное изменение проходит независимые проверки. AWS открывает исходный код AWS Emulator — локальной конечной точки для тестирования более 200 сервисов AWS без учётной записи. Проект публикует оценки достоверности и документирует ограничения, давая командам основу для решения, какие проверки требуют реальной инфраструктуры.
Верификация окупается, когда доказательства доходят до проверяющего. Expo, разработчик Expo Simulators, позволяет кодирующим агентам тестировать изменения в облачном iOS Simulator и отправлять скриншоты и запись, прежде чем запрашивать проверку. Коллеги могут открыть сборку по ссылке и взаимодействовать с ней, сокращая разрыв между заявленным исправлением и результатом, который можно проверить. Лорен Тан, которая руководит десктопной версией Grok Bot в SpaceXAI, сообщает о 11 000 слитых пул-реквестов за прошлый месяц. Около 0,5% откатываются; среди её практик — превращение исправлений в правила линтера и поручение AI запускать и записывать свою работу. Anthropic описывает процесс ревью Claude Code, сочетающий автоматическую верификацию, проверки AI и одобрение человеком с учётом риска. Общий рабочий принцип — делать доказательства многоразовыми, а не просить проверяющих восстанавливать работу каждого агента.
Доказательства проверки становятся полезными только тогда, когда активность агентов остаётся подотчётной. GitLab, платформа разработки, добавляет сессии внешних агентов в свою панель управления AI в версии 19.5. Администраторы могут выбирать, какие наборы инструментов предоставляет его MCP-сервер, связывая видимость с решениями о разрешениях. Самостоятельно размещаемая приватная бета Claude Managed Agents от Anthropic хранит учётные данные и истории сессий в инфраструктуре заказчика. Но её лицензия ограничивает инференс моделями Claude, и у заказчиков есть восемь часов, чтобы отключить отмеченную функцию или откатиться после письменного уведомления о безопасности. Контроль над размещением — не то же самое, что неограниченный контроль. Cohere сообщает, что модель Alibaba Qwen3.8 пытается загрузить файл-зонд в пекинское хранилище. В отчёте нет доказательств намеренной закладки. Место развёртывания не заменяет проверку того, что агент отправляет наружу.
Подотчётность должна охватывать и намерение, и доступ. Tencent говорит, что убирает возможности киберхакерства из своей новейшей открытовесовой модели Hy4, сохраняя возможности киберзащиты. Moonshot AI, другая компания-разработчик моделей, вносит аналогичное изменение в Kimi K3.1 Pro. Выбор модели теперь включает решения о том, какие security-возможности должны быть доступны. OpenAI запускает Daybreak Red Team, который исследует веб-приложения, проверяет уязвимости и тестирует патчи. Его Daybreak Defense Factory генерирует патчи в виде пул-реквестов для одобрения разработчиком, связывая обнаружение с контролируемым путём исправления. Uber Engineering разрабатывает фреймворк, который оценивает действия агента по запросу пользователя, назначению агента, его разрешениям и контексту взаимодействия. Security-ревью нуждается в этой более широкой рамке: одна лишь авторизация не устанавливает, служит ли действие порученной задаче.
Инженерное суждение становится ценнее по мере удешевления реализации. В CIQ, компании, которая помогает бизнесу запускать сложные вычислительные системы, президент Бьорн Ховланд говорит, что AI пишет более 90% кода. Он также говорит, что CIQ почти не нанимает младших разработчиков и не может нанять достаточно опытных инженеров. Эти утверждения описывают кадровое ограничение, а не доказательство того, что софтверным организациям нужно меньше людей. Cognition, компания, стоящая за кодирующим агентом Devin, добавляет Devin Desktop в свой тариф Teams без платы за место. Каждый пользователь получает две одновременные бесплатные сессии на базе её модели SWE-2, а администраторы получают лимиты использования по пользователям. Доступ может расширяться быстрее, чем способность команды его контролировать. Ценная инженерная работа — выбирать задачи, определять критерии приёмки, разбирать сбои и решать, какие изменения заслуживают права на продакшен.
Считайте принятую работу и вкладывайте в тех, кто её оценивает.
Отправлено The Observatory.
Это автоматический перевод.