Внутри ставки Anthropic на агентов Claude, работающих пока ты спишь | Jess Yan

Коротко

Джесс Ян, продакт-лид Claude Managed Agents в Anthropic, рассказывает, как агенты за пару лет прошли путь от простых prompting loops до автономных, самовосстанавливающихся и долго живущих акторов с доступом к сторонним системам, памяти и правам доступа. Идея продукта простая: return on effort от постройки агента должен быть огромным. Поэтому Managed Agents дают готовый harness и инфраструктуру в облаке, чтобы делегировать работу, которая раньше занимала недели. В демо агент-аналитик сам гоняет многомиллионный файл продуктовых данных и за минуты выдаёт три HTML-отчёта, включая предиктивную модель возврата клиента. Внутри Anthropic агенты работают ночью, и к утру бэклог разгребён, баги прибиты, а сама Джесс признаётся: с Claude она разговаривает больше, чем с коллегами. Прогноз простой: предел возможностей теперь упирается не в личную ёмкость человека, а в то, сколько задач получится делегировать за раз. И vertical SaaS от этого дробится на всё более узкие ниши.

Главный тезис

Предел того, чего человек может достичь, всё больше упирается не в его личную ёмкость, а в то, сколько работы он способен делегировать агентам за один раз.

Ключевые идеи

• 1:11: раньше агент был prompting loop (вопрос-ответ по кругу), теперь это автономный, самораскрывающийся, долго живущий актор с доступом к чувствительным данным
• 1:27: новый уровень доступа к сторонним системам требует permissioning, observability и steering, чего в старой схеме «вопрос-ответ» не было
• 2:08: harness это каркас вокруг модели, который даёт ей запускать инструменты, звать память и понимать, когда нужен human-in-the-loop, а когда продолжать самой
• 2:38: выжать максимум из модели нельзя без связки model + harness; тестировать модель приходится всегда внутри конкретного harness
• 4:45: мотив продукта: отдача от постройки агента должна быть предельно высокой, поэтому дают stackable primitives и готовую инфраструктуру
• 9:18: агенты это рандомизированные акторы, поэтому при желании предсказуемого вывода нужно быть местами прескриптивным и дробить задачу на дискретные шаги
• 12:03: сдвиг к самовосстанавливающимся циклам: агент ловит ошибку, дебажит себя, возвращается на курс и держит тебя в курсе процесса
• 17:46: раньше задавали жёсткий structured output и склеивали JSON вручную; теперь целью стал сам исход, «мета-structured output», агент сразу строит богатый интерактивный артефакт
• 15:57: лучший вывод получается, когда агенты оценивают свою работу, желательно в отдельных context windows, чтобы избежать bias
• 16:34: суть skills это progressive disclosure; раннюю работу вели над тем, чтобы навык срабатывал в нужный момент сам, без ручного slash-триггера
• 19:58: для самой Джесс главный анлок это доступ к кодовой базе: трекать PR-ы, понимать продукт глубже, чем когда-либо
• 22:22: агент должен быть always on: его можно тегнуть где угодно, но он и сам проактивно всплывает через триггеры и cron, как настоящий коллега
• 31:41: правильная точка входа в enterprise не гигантский кросс-командный workflow, а прокачка отдельного сотрудника до «одночеловечьего стартапа»
• 34:06: vibe testing это самый важный первый шаг; evals включаешь позже, когда виб-сигналы уже нельзя агрегировать на масштабе
• 35:23: vertical SaaS дробится: общая доменная экспертиза уже в моделях, ценность уходит в гипер-специфичные ниши, а общим остаётся паттерн работы с контекстом и оркестрацией

Почему это важно

Это взгляд изнутри Anthropic на то, куда компания двигает продукт: от чата к автономным облачным агентам как к дефолтному способу работы. Выигрывают те, кто научится делегировать широко (Anthropic как раз продаёт под это Managed Agents и API), и отдельные сотрудники, получающие рычаг «одночеловечьего стартапа». Проигрывает классический vertical SaaS с широким доменным охватом: если общая экспертиза уже сидит в модели, продукт выживает только за счёт узости и присутствия там, где реально идёт работа, в Cloud Code и в чате. Упомянуты Anthropic, Cloud Code, MCP как стандарт доступа к внешним системам, и Vercel с их chat SDK, ставка которых в том, что «теперь всё это чат».

Идеи

• Толщина harness будет меняться со временем: чем умнее модель, тем тоньше нужный вокруг неё каркас.
• Каждая модель сегодня раздаётся через harness, поэтому и тестировать её нужно через harness, а не в вакууме.
• Managed Agents это не prompting loop, на который навесили фичи, а изначально спроектированный под автономность harness с готовой инфраструктурой.
• В демо весь интеллект держится на выборе модели, а система-промпт задаёт поведение, гардрейлы и общее понимание класса задач.
• Права на инструменты можно ставить либо «always allow», либо «request permission», встраивая человека в петлю точечно.
• Схему данных загружают в initial prompt заранее, чтобы front-load разведку, которую иначе агент делал бы сам.
• В Cloud Console есть отдельный debug-агент, который анализирует полную историю сессии и подсказывает, где агента можно улучшить.
• MCP даёт стандартизированный доступ и заодно authentication layer перед внешними сервисами.
• Сырой prompting loop высокосинхронен: одна оброненная или чуть неверная первая команда и вся интеграция сыпется без грациозного восстановления.
• Замена жёстких structured outputs на «исход как результат» перекладывает склейку промежуточных артефактов с человека на самокорректирующегося агента.
• Outcome-оптимизация особенно полезна там, где есть измеримая цель: например, гнать предиктивную модель, пока не выйдет на 90% точности.
• Evals эволюционируют: replays сложных мульти-строковых взаимодействий, A/B одинаковых цепочек пользовательских действий, встроенный eval-loop прямо внутри работы агента.
• Три типа evals у Anthropic: бинарный pass/fail, скоринг через LLM-as-judge (буквенные оценки), и триггерные (сработало ли нужное действие вообще).
• У Джесс есть scheduled runs, которые сами саммарят активность, но глубокие погружения она всё равно делает ad hoc под конкретный питч или разговор с клиентом.
• Агенты мониторят Slack-каналы с клиентами и саммарят тех, до кого руки не доходят лично.
• Claude используют как нейтрального судью: есть «API review Claude», которого тегают в тупике по дизайну API, чтобы он сказал, когда биасы берут верх.
• Джесс тратит «терапевтическое время» с Claude, разбираясь в новой теме, и приходит к коллегам уже с готовым мнением и базовым ресёрчем.
• Прототип агента живёт полчаса на постройку и пару недель работы, потом выбрасывается, продуктизировать его до блеска смысла нет.
• Пример одноразового агента: чистка waitlist на 4000 организаций от дублей и мусора плюс отбор тех, кто с наибольшей вероятностью конвертнётся в ценных тестеров.
• Managed Agents крутятся в облаке, а не на ноутбуке, поэтому не ограничены тем, включён ли твой лэптоп, и живут дольше.
• Индивиды массово автоматизируют личную жизнь: у знакомой Claude ведёт весь график младенца (кормления, tummy time) плюс агенты-мониторы холодильника и управления продуктами.
• Enterprise тянет сразу к автоматизации 20-командного монстра, хотя реальная ценность в том, чтобы отдельный человек перестал слать dependency requests.
• Хороший заход для команды: давать людям шаблоны агентов, чтобы снять writer's block, и отпускать итерировать свободно.
• Виб-сигналы нельзя агрегировать на масштабе, и это структурная граница, за которой начинаются evals.
• Разговоры Anthropic с клиентами апгрейднулись: вместо «задебажьте эту мелочь» теперь «как нам вместе построить эту футуристичную штуку за две недели».
• Вертикальные продукты выживают, если встречают юзера там, где он есть: в Cloud Code, в чате, с подключёнными личными контактами, а не на сайте с формами.
• «Все становятся инженерной командой», и для них рабочая среда всё чаще Cloud Code.
• Ставка Vercel chat SDK: всё теперь чат, потому что агенты лучше всего взаимодействуют в чате, а обмен с коллегами всё сильнее сжимается по времени.
• Мечта пользователя: привести своего персонального агента со всеми контактами и отправить его говорить с чужим accounting-агентом, «go, go, go figure it out».

Инсайты

• Автономность это не одна фича, а смена всей архитектуры вокруг модели: права, наблюдаемость, восстановление и проактивность становятся первоклассными требованиями, а не надстройкой.
• Модель и harness неразделимы, потому что метрика производительности определена только внутри конкретного каркаса, оценивать модель «саму по себе» бессмысленно.
• Чем способнее модель, тем меньше строительных лесов ей нужно; зрелость технологии измеряется тем, сколько внешней логики можно убрать.
• Сдвиг от structured output к outcome перекладывает когнитивную нагрузку по стыковке частей с человека на агента, и это возможно ровно потому, что агент теперь умеет самокорректироваться.
• Рандомность агента это не баг, а свойство, которым управляют прескриптивностью: предсказуемость покупается ценой явного дробления задачи.
• Оценка своей работы в изолированном контексте это способ структурно погасить самоподтверждающий bias, разделив «делателя» и «судью».
• Настоящий рычаг ИИ не в устранении процессов, а в том, что отдельный человек перестаёт быть узким местом и зависимостью для других.
• Виб-тестинг и evals это две разные фазы одного цикла: интуиция ведёт, пока мала выборка, метрики берут верх, когда сигнал перестаёт масштабироваться качественно.
• По мере роста интеллекта моделей ценность утекает из широкой доменной экспертизы в узкую специфику; общим капиталом становятся паттерны контекста и оркестрации, а не готовые вертикальные решения.
• Дистрибуция ИИ-продукта смещается из «места, куда юзер приходит» в «место, где юзер уже работает»: побеждает встроенность, а не отдельный интерфейс.
• Одноразовость перестаёт быть недостатком софта: когда постройка агента дешевле его сохранения, выбрасываемый инструмент под задачу момента становится нормой.
• Проактивность требует непрерывно свежего контекста: долго живущий агент бесполезен, если его данные отстают от твоих.

Фреймворки

Три типа evals в Anthropic:

• Binary pass/fail: прошёл или нет.
• Scoring через LLM-as-judge: буквенные/балльные оценки качества.
• Triggering evals: проверка, что нужное действие (например, срабатывание skill) вообще запустилось в принципе.

Порядок раскатки агентов в enterprise:

1. Прокачать отдельного сотрудника до «одночеловечьего стартапа», дать почувствовать творческую автономию.
2. Дать шаблоны, чтобы снять writer's block, и отпустить итерировать.
3. Только потом браться за мульти-командные мега-процессы.

Компоненты агента (из демо): модель → система-промпт (поведение, гардрейлы) → доступ к инструментам (always allow / request permission) → skills (опционально).

Цитаты

«We've really evolved from agents being prompting loops to agents being autonomous, self-discovering, and long-running actors.» - 0:00 Мы правда прошли путь от агентов-циклов промптинга до автономных, самораскрывающихся и долго живущих акторов.

«We set them tasks overnight and then we wake up and backlog is resolved and bugs are squashed.» - 0:07 Мы даём им задачи на ночь, а просыпаемся, и бэклог разгребён, баги прибиты.

«The limits of what we can achieve will really be based off of how much we can delegate at once, more so than what our personal capacities are.» - 0:29 Предел того, чего мы достигнем, будет определяться тем, сколько мы можем делегировать за раз, а не нашей личной ёмкостью.

«The return on effort for building an agent should be extremely, extremely high.» - 4:45 Отдача от усилий на постройку агента должна быть предельно, предельно высокой.

«The harness is really what elevates us from the sort of random sampling of just tokens in and tokens out to actual actionable products.» - 2:22 Именно harness поднимает нас от случайной выборки токенов на входе-выходе до реально работающих продуктов.

«It is impossible to get the maximum possible performance without tying together the harness and the model.» - 2:38 Невозможно выжать максимум производительности, не связав harness и модель воедино.

«These agents are, you know, randomized actors.» - 9:18 Эти агенты, по сути, рандомизированные акторы.

«When you can have agents evaluating their own work, potentially in separate context windows to avoid bias, then you're always going to get a better output.» - 15:57 Когда агенты оценивают свою работу, желательно в отдельных окнах контекста ради непредвзятости, ты всегда получишь результат лучше.

«I feel like I talk to Claude more, I'll be honest.» - 23:32 Честно, мне кажется, я больше разговариваю с Claude.

«I find myself spending a ton of therapy time with Claude just trying to wrap my arms around a thornier concept.» - 23:50 Я ловлю себя на том, что провожу кучу «терапевтического» времени с Claude, пытаясь ухватить более колючую концепцию.

«It should be human. Like it should be proactive and not just reactive.» - 22:52 Он должен быть человечным. Проактивным, а не только реактивным.

«You have a bunch of one-person startups inside a large company basically.» - 33:20 По сути внутри большой компании у тебя куча одночеловечьих стартапов.

«The vibe testing is honestly the most important first step.» - 34:06 Виб-тестинг, честно, самый важный первый шаг.

«You can't really aggregate vibe signals at scale. And that's when you do evals.» - 34:11 Виб-сигналы толком не агрегируешь на масштабе. Вот тут и включаются evals.

«Everything is chat now because agents interact best in chat.» - 38:55 Теперь всё это чат, потому что агенты лучше всего взаимодействуют в чате.

«It's okay if I throw that agent away, like it doesn't have to be the most beautifully productized thing in the world.» - 26:49 Нормально выбросить этого агента, ему не обязательно быть самой красиво упакованной вещью на свете.

«I spend a lot of time bashing my own product by basically automating my own work.» - 26:55 Я много времени долблю собственный продукт, просто автоматизируя свою же работу.

«Broad domain expertise is sort of there, and so the real value add is like these incredibly specific and niche use cases.» - 35:59 Широкая доменная экспертиза уже как бы есть, поэтому реальная добавленная ценность в предельно узких, нишевых сценариях.

Факты

• Джесс Ян (Jess Yan): продакт-лид Anthropic по Claude Managed Agents; ведущий подкаста: Peter Yang.
• Демо-агент анализирует вымышленный продуктовый магазин Just in Time по многомиллионному файлу данных и выдаёт три HTML-отчёта: паттерны заказов, тепловые карты и radar-графики по покупателям, и предиктивную модель возврата клиента.
• Отчёты формируются за минуты, только на базовом промпте и доступе к Python-пакетам в окружении агента.
• В приведённом примере целевая точность предиктивной модели: 90%, агент итерировал, пока не вышел на неё.
• Waitlist на продвинутые фичи насчитывал ~4000 организаций, забитых невалидными записями и дублями; агент чистил его и отбирал кандидатов ежедневно, покрывая пару недель работы.
• На постройку одноразового агента у Джесс уходит около получаса; новый агент запускается «раз в пару недель».
• Anthropic использует MCP как стандартный способ подключать агентов к сторонним базам и системам, с authentication layer перед ними.
• Внутри Anthropic есть API review Claude, которого тегают в дизайн-тупиках API, чтобы указать на биасы.
• Джесс держит scheduled runs, саммарящие активность, и агентов, мониторящих Slack-каналы клиентов.
• Anthropic тестирует модели через связку с harness (Cloud Code / Claude Code), а также против open-source evals.
• По словам Джесс, доступ к продукту идёт через API-ключ; заметная доля пользователей: индивиды, автоматизирующие личную жизнь (она признаёт, что не имеет доступа к тому, что делают at scale, так как данные редактируются внутри).
• Документация лежит на platform.claude.com; Джесс в Twitter: double underscore yan (__yan).
• Пример из жизни (анекдотично, со слов Джесс): у знакомой-родителя Claude ведёт весь график младенца плюс агенты-мониторы холодильника и продуктов.

Источники

• Anthropic: компания-разработчик.
• Claude Managed Agents: продукт Джесс, облачные долго живущие агенты.
• Cloud Code / Claude Code: среда и harness для агентов.
• MCP (Model Context Protocol): стандарт доступа к внешним системам с аутентификацией.
• platform.claude.com: документация.
• Vercel chat SDK: пример ставки «всё теперь чат».
• Riverside (creators.riverside.com/PeterYan): рекламный сегмент, инструмент записи подкаста.
• Twitter Джесс: __yan.

Рекомендации

• Начинать с vibe testing, а не с evals: сначала дать агента бете-юзерам, метрики подключать, когда виб-сигналы перестают масштабироваться.
• В enterprise начинать с прокачки отдельного сотрудника, а не с автоматизации мульти-командных мега-процессов.
• Раздавать людям шаблоны агентов и отпускать итерировать, чтобы снять writer's block.
• Не бояться выбрасывать агентов: одноразовый инструмент под задачу момента это нормально.
• Для изучения продукта использовать skill в Cloud Code; для тех, кто всё ещё читает, есть «artisanal» документация на platform.claude.com.

Итог

Как только постройка агента становится дешевле его хранения, а самокоррекция снимает с человека склейку промежуточных шагов, потолком становится не твоя личная ёмкость, а ширина того, что ты готов делегировать за раз.