Дарио Амодеи — Мы близки к концу экспоненты

Коротко

Дарио утверждает: технология развивается ровно по кривой, которую он ждал ещё с 2017-го («Big Blob of Compute»), и мир проспал главное: экспонента близка к концу, «страна гениев в дата-центре» реальна в горизонте одного-двух лет с вероятностью около 90% на десятилетнем сроке. RL, по его словам, ничем не отличается от прдтренинга: это те же семь факторов, тот же переход от узкой выборки к генерализации, что был между GPT-1 и GPT-2. Диффузия в экономику быстрая, но не бесконечно быстрая, и именно этот лаг, а не потолок моделей, ограничивает выручку и диктует, сколько компьюта покупать: ошибся с прогнозом спроса на год - обанкротился. Прибыльность лаборатории он выводит из простой модели равновесия: половина компьюта на обучение, маржа на инференсе выше 50%, и главная боль это адский прогноз спроса на год вперёд. В политике он против федерального моратория на 10 лет при пустом федеральном плане, боится офенс-доминантного мира и авторитаризма, усиленного ИИ, и хочет, чтобы в момент установки «правил дороги» сильную руку держали демократии.

Главный тезис

Мы почти у конца экспоненты, «страна гениев в дата-центре» приходит через год-два (90-95% на горизонте десяти лет), а всё остальное - выручка, диффузия, регуляция, геополитика - это про то, насколько быстро, но не бесконечно быстро, этот факт прорастёт в реальный мир.

Ключевые идеи

• 0:53 - самое удивительное за три года это не сама технология, а слепота публики к близости конца экспоненты: люди спорят о старых политических темах, пока революция происходит рядом.
• 2:05 - гипотеза 2017 года держится: важны лишь семь вещей (компьют, объём данных, качество/ширина распределения, длительность обучения, масштабируемая целевая функция, нормализация/стабильность), а не хитрые методы. Rich Sutton позже сформулировал то же как «горький урок».
• 6:34 - RL это не отдельная магия, а тот же прдтренинг: сначала узкие задачи (матолимпиады), потом код, потом много задач, и генерализация приходит так же, как при переходе от фан-фикшна GPT-1 к общему скрейпу интернета GPT-2.
• 5:09 - качество на RL растёт лог-линейно от длительности обучения, ровно как масштабные законы прдтренинга; это видно не только на матконтестах, а на широком классе задач.
• 9:30 - прдтренинг это не человеческое обучение, а нечто между обучением и эволюцией: модель стартует из случайных весов, тогда как мозг несёт приоры эволюции; отсюда разница в sample efficiency.
• 13:51 - ключевой образ: «страна гениев в дата-центре», вероятность которой на 10 лет он ставит в 90%, а по хунчу - год-два.
• 15:00 - единственная фундаментальная неопределённость это неверифицируемые задачи (миссия на Марс, роман, фундаментальное открытие); но генерализация с верифицируемого на неверифицируемое уже наблюдается.
• 18:05 - предсказание «90% строк кода пишет ИИ» сбылось, но это слабый критерий: спектр идёт от 90% строк → 100% строк → 90% end-to-end SWE-задач → 100% → падение спроса на инженеров.
• 23:08 - реальность это две быстрых экспоненты: возможности модели и диффузия в экономику; вторая быстрее любой прошлой технологии, но упирается в change management, легал, безопасность.
• 48:41 - покупка дата-центров это ставка на прогноз спроса: промахнулся на год-два и никакой хедж не спасёт от банкротства, поэтому «ответственность» это не меньший объём, а посчитанная таблица рисков.
• 59:36 - прибыль и убыток это артефакты ошибки прогноза спроса, а не «фаза инвестирования»: недооценил спрос - прибылен, переоценил - убыточен, потому что компьют куплен заранее.
• 59:56 - модель равновесия отрасли: ~50% компьюта на обучение, маржа инференса >50% плюс точный прогноз спроса дают прибыль; лог-линейная отдача не даёт лить в обучение 95%.
• 1:13:49 - рынок ИИ будет как облако: три-четыре игрока из-за огромных барьеров входа, но модели дифференцированнее облака, поэтому маржа не схлопнется в ноль (равновесие Курно, не совершенная конкуренция).
• 23:45 - на «диффузия это отмазка» он возражает: диффузия реальна и не сводится к ограничениям моделей, но ИИ распространяется быстрее прошлых технологий, просто не мгновенно.
• 1:54:23 - в эпоху ИИ авторитаризм становится «граверней»: initial conditions решают, и он хочет, чтобы правила посталайного мира писались рукой демократий.

Почему это важно

Ставки прямые: если Дарио прав, то в горизонте одного-трёх лет появляется система уровня «страны гениев», и вопрос перемещается с «сможем ли» на «кто и как быстро снимет выручку и власть». Anthropic растёт по 10x в год (0→100M→1B→9-10B за 2023-2025) и покупает компьют под ставку, где ошибка на год равна банкротству, поэтому конкуренция с OpenAI и DeepMind идёт не за разовое лидерство, а за накопление снежного кома продуктивности (сейчас +15-20% к скорости разработки, полгода назад +5%). Выигрывают демократии и обычные люди, если рынок и регуляция не задушат медицинские и ментальные выгоды; проигрывают те, кто под авторитарным ИИ-государством или в развивающемся мире без работающих рынков. Отдельно маячат Тайвань с фабами, экспортный контроль на чипы в Китай и федеральный vs штатный клубок регуляции США.

Идеи

• Прогресс кода он «не предсказал по направлению», но общий марш моделей от школьника к студенту к PhD совпал с ожиданием.
• Плюс-минус год-два в обе стороны, и всё равно кривая та, что он рисовал в 2017-м.
• GPT-1 учили на фан-фикшне; генерализация появилась только на общем скрейпе интернета (Common Crawl, ссылки с Reddit).
• Модель на GPT-2 делала линейную регрессию по списку «цена дома / площадь», никогда не видев именно этого - «не блестяще, но делает».
• Миллион токенов контекста это дни-недели человеческого чтения, и внутри контекста реальное обучение происходит.
• Continual learning может вообще не оказаться барьером - решится генерализацией прдтренинга и RL.
• Возражение Саттона: настоящее ядро обучения не требовало бы миллиардов на bespoke RL-среды под Excel и PowerPoint.
• Дарио: цель RL-сред не научить каждому навыку, а как в прдтренинге - набрать данных ради генерализации.
• «Renaissance of software» пока не виден: люди стартуют кучу проектов на Claude Code, но взрыва новых фич в мире нет.
• METR-исследование: разработчики чувствовали +продуктивность, а по факту -20% к смёрдженному - субъективное расходится с объективным.
• Внутри Anthropic сомнений нет: инженеры, которые «раньше сами писали этот GPU-ядро, теперь просто просят Claude».
• «Familiarity with the codebase» и «модель не работала в компании год» - этого нет в топе жалоб на Claude Code.
• Код быстр отчасти из-за внешнего скаффолда памяти в самой кодовой базе - редкое преимущество перед другими профессиями.
• Amdahl's law: чтобы снежный ком катился, надо убрать всё, что мешает «замкнуть петлю».
• Диффузия: разработчик в крупном энтерпрайзе внедряет Claude Code на месяцы позже, чем стартап серии A с Twitter.
• Полиовакцине 50 лет, а полио всё ещё не искоренён в дальних углах Африки - предельный случай медленной диффузии.
• Модель как «эволюция→долгосрочное→краткосрочное→реакция»: LLM-фазы падают между человеческими режимами, не совпадая с ними.
• Разные модели хороши в разных типах кодинга и имеют разные «стили» - дифференциация тоньше, чем «Claude - код, GPT - математика».
• Не все токены равноценны: «перезагрузите Mac» стоит центы, «переставьте ароматическое кольцо в молекуле» - десятки миллионов.
• API-модель durable: экспонента постоянно рождает свежую «surface area» юзкейсов, где стартапы строят близко к «bare metal».
• Claude Code вырос изнутри: сначала Claude CLI для внутреннего ускорения ресёрча, увидели product-market fit на сотнях своих кодеров - запустили наружу.
• Профильность решает, почему запустили кодинг, а не фарм-компанию: у Anthropic нет ресурсов под фарму, хотя бэкграунд Дарио в биологии.
• Constitution через принципы, а не список do/don't: поведение консистентнее, легче покрыть краевые случаи.
• Модель «в основном corrigible со скин-сьютом», но с жёсткими гардрейлами (не делать биооружие).
• Три петли обновления конституции: внутри Anthropic, конкуренция конституций между компаниями, вход общества (Collective Intelligence Project).
• Видение «архипелага конституций» напоминает либертарианские чартерные города с отбором лучших элементов.
• Робототехника решится не обязательно через человекоподобное обучение - через симулированные среды, видеоигры-как-контроллеры или контекст.
• Профессиональный страх: критичное решение примут за две минуты между обедом - «не знаю, давай B» - и оно окажется самым важным.
• DVQ (Dario Vision Quest) - трёх-четырёхстраничный документ каждые две недели перед всей компанией; имя приклеилось, хотя звучит как «курил пейот».

Инсайты

• Обучение на human feedback и «субъективные награды» ставят RL в тот же класс, что и объективные (математика, код) - разница целевых функций, не природы.
• Барьеры в ML исторически растворяются в «большом блобе компьюта»: семантика, рассуждения, код - всё казалось невозможным и поддалось.
• Чувство продуктивности и реальная продуктивность разъезжаются, потому что субъективный сигнал предсказуемо смещён - нужна объективная метрика (запуски моделей раз в несколько месяцев).
• Технологический прогресс и экономическая диффузия это две независимые экспоненты, и путать их - значит либо переоценить мгновенность AGI, либо недооценить его неизбежность.
• Прибыльность в капиталоёмкой отрасли с закупкой мощностей вперёд - не сигнал зрелости, а функция точности прогноза спроса.
• В олигополии с высокими барьерами входа и дифференциацией продукта равновесие не сходится к нулевой марже - деньги остаются структурно.
• Диффузия быстрее у социально близких к Кремниевой долине - технология может усилить географическое неравенство, а не сгладить его.
• Регуляция плохо сдерживает то, на чём стоят большие деньги (пример: экспортный контроль на чипы, который «не случается»), значит рыночные выгоды ИИ задушить трудно, а вот распределение и свободу рынок сам не обеспечит.
• Формы правления устаревают под новые технологии (феодализм умер с индустриализацией), но вектор неопределён: под ИИ обсолетным может стать и авторитаризм, и демократия.
• Конфликт вероятнее, когда обе стороны считают, что победят с вероятностью 90% - неопределённость исхода ИИ-противостояния сама по себе дестабилизирует.
• Балансы сдержек либо работают и с людьми, и с ИИ, либо не работают ни с кем - ИИ не меняет саму логику, только скорость и ставки.
• Принципы генерализуют лучше правил, потому что несут понимание, а не список запретов - это верно и для выравнивания моделей, и для управления людьми.
• Инсайдерская невидимость: любое свершившееся событие в ретроспективе кажется неизбежным, и историки не смогут воспроизвести ставку, сделанную когда исход был 50/50.
• Скорость кризиса важнее его содержания: решения принимаются пачками, и нельзя заранее знать, какое окажется судьбоносным.

Фреймворки

• Семь факторов «Big Blob of Compute» (2017): (1) объём сырого компьюта; (2) количество данных; (3) качество и ширина распределения данных; (4) длительность обучения; (5) целевая функция, масштабируемая «до Луны»; (6-7) нормализация/кондиционирование ради численной стабильности («ламинарного» потока компьюта).
• Спектр автоматизации SWE: 90% строк кода → 100% строк → 90% end-to-end SWE-задач (компиляция, кластеры, тесты, мемо) → 100% сегодняшних задач → новые высокоуровневые роли → падение спроса на инженеров на 90%.
• Иерархия обучения: эволюция → долгосрочное обучение → краткосрочное обучение → реакция; прдтренинг/RL сидят между эволюцией и обучением, in-context learning - между долго- и краткосрочным, без точного соответствия человеческим режимам.
• Три петли обновления конституции модели: (1) внутри компании; (2) конкуренция конституций между лабораториями; (3) вход общества/представительной власти.
• Модель прибыльности отрасли: ~50% компьюта на обучение + маржа инференса выше 50% + точный прогноз спроса = прибыль; ошибка прогноза в любую сторону даёт убыток или дефицит компьюта под ресёрч.

Цитаты

«The most surprising thing has been the lack of public recognition of how close we are to the end of the exponential» - 0:50 Больше всего удивляет, как плохо публика осознаёт, насколько мы близки к концу экспоненты

«We're like near the end of the exponential» - 1:19 Мы почти у конца экспоненты

«All the cleverness, all the techniques... doesn't matter very much. There are only a few things that matter» - 2:52 Вся хитрость, все методы почти не важны. Важны лишь несколько вещей

«It's a red herring to say that RL is any different from pre-training in this matter» - 6:34 Говорить, что RL чем-то отличается от прдтренинга в этом вопросе, это отвлекающий манёвр

«I'm at like 90% on that. And it's hard to go much higher than 90% because the world is so unpredictable» - 14:01 Я где-то на 90%. Выше 90% трудно подняться, потому что мир слишком непредсказуем

«There's no way we will not be there in 10 years in terms of being able to do it end-to-end coding» - 14:55 Мы никак не можем не дойти за 10 лет до end-to-end кодинга

«Those things are worlds apart» - 18:31 Это вещи из совершенно разных миров

«There's like there is zero time for bullshit. There is zero time for feeling like we're productive when we're not» - 36:18 Нет ни секунды на чушь. Нет времени чувствовать себя продуктивным, когда это не так

«There's one fast exponential that's the capability of the model. And then there's another fast exponential... the diffusion of the model into the economy» - 23:08 Есть одна быстрая экспонента - возможности модели. И вторая быстрая экспонента - диффузия модели в экономику

«If you had the country of geniuses in a data center, we would know it» - 27:56 Если бы у тебя была страна гениев в дата-центре, мы бы это знали

«There's no force on earth. There's no hedge on earth that could stop me from going bankrupt if I buy that much compute» - 51:54 Нет силы на земле, нет хеджа на земле, который спас бы меня от банкротства, купи я столько компьюта

«I actually think profitability happens when you underestimated the amount of demand you were going to get» - 59:36 Прибыль на самом деле возникает, когда ты недооценил будущий спрос

«Growth and economic value will come very easily... What will not come easily is distribution of benefits, distribution of wealth, political freedom» - 2:03:18 Рост и экономическая ценность придут очень легко. Что не придёт легко - распределение благ, богатства, политическая свобода

«Autocracy is simply not a form of government that people can accept in the post powerful AI age» - 1:54:23 Автократия - просто не та форма правления, которую люди смогут принять в эпоху после мощного ИИ

«Anything that actually happened looks inevitable in retrospect» - 2:14:12 Всё, что реально случилось, в ретроспективе выглядит неизбежным

«Dario, you have two minutes... should we do A or B? And I'm like, I don't know, I have to eat lunch. Let's do B» - 2:16:05 Дарио, у тебя две минуты... делаем A или B? А я: не знаю, мне надо пообедать. Давай B

«It made it sound like I was like going off and smoking peyote or something» - 2:19:33 Звучало так, будто я ухожу курить пейот или вроде того

Факты

• Anthropic: выручка растёт ~10x в год - 2023: 0→100 млн, 2024: 100 млн→1 млрд, 2025: 1 млрд→9-10 млрд; в январе добавили ещё несколько миллиардов. Дарио допускает, что кривая «несколько согнётся» в этом году.
• Оценка вероятности «страны гениев в дата-центре»: ~90% на 10 лет, по редакциям разговора до 95-99%; хунч - 1-2 года, растягивает до 1-3 лет.
• «Машины любящей благодати» (Machines of Loving Grace): powerful AI - 2026, возможно 2027; ошибка на год-два не удивит.
• METR-исследование (прошлый год): опытные разработчики чувствовали прирост, а фактически -20% по смёрдженному коду.
• OS World benchmark по computer use: с ~15% (релиз ~год с четвертью назад) до 65-70%.
• Текущий вклад кодинговых моделей в скорость разработки - «может, 15-20%»; полгода назад - «может, 5%».
• Контекст: с 2020 по 2023 рост с ~2000 токенов (GPT-3) до 128K (GPT-4 Turbo); последние ~2 года «примерно тот же диапазон».
• Компьют индустрии: этот год ~10-15 ГВт, рост ~3x/год; 2028 - ~100 ГВт, 2029 - ~300 ГВт; каждый гигаватт ~10-15 млрд $/год.
• Мировые зарплаты людям - порядка 50 трлн $/год (как ориентир TAM).
• Anthropic: ~2500 человек; Дарио тратит треть-40% времени на культуру, выступает перед компанией каждые две недели ~час (DVQ).
• Anthropic заявила инвесторам о прибыльности начиная с 2028 года.
• Модель равновесия (стилизованные цифры): модель за 1 млрд обучения → 4 млрд выручки и 1 млрд инференса = 75% валовой маржи и «25% налога»; при этом на следующую модель тратят 10 млрд, поэтому компания в минусе, хотя каждая модель прибыльна.
• Законопроект Теннесси (26 декабря): предлагает сделать преступлением обучение ИИ давать эмоциональную поддержку через открытые диалоги; Дарио называет закон «dumb».
• Федеральный мораторий: запрет любой штатной регуляции ИИ на 10 лет без федерального плана - против чего выступает Anthropic.
• Экспонента выручки за январь: «добавили ещё несколько миллиардов» к annualized rate ~10 млрд на начало года.

Источники

• The Big Blob of Compute Hypothesis - внутренний документ Дарио 2017 года.
• The Bitter Lesson - эссе Rich Sutton (Ричард Саттон), интервью с ним у Dwarkesh годом ранее.
• Machines of Loving Grace («Машины любящей благодати») - эссе Дарио о powerful AI и болезнях.
• The Adolescence of Technology («Взросление технологии») - эссе Дарио о рисках, национальной безопасности, феодализме vs индустриализация.
• METR - исследование продуктивности разработчиков.
• Collective Intelligence Project - эксперимент по краудсорсингу конституции модели.
• Anthropic Claude Constitution, Claude Code, Cowork - продукты Anthropic.
• Модели/лаборатории: GPT-1, GPT-2, GPT-3, GPT-4 Turbo, AlphaGo, Dota (OpenAI), StarCraft/AlphaStar (DeepMind), Gemini.
• Alec Radford (автор GPT-1), Daniela Amodei (операционное управление Anthropic), Tyler Cowen (упомянут в шутку про «экономику»).
• Люди/структуры: Gates Foundation, Sidney Bing (как пример «странной психики» ИИ), Cournot equilibrium.
• Рекламные вставки (не позиция спикера): Labelbox, Jane Street, Mercury, OpenClaw.

Итог

Экспонента возможностей почти дописана: «страна гениев» стучится через год-два. Всё остальное это спор о том, с какой скоростью, но не мгновенно, этот факт превратится в выручку, лекарства и власть, и в чьих руках окажется перо, когда мир начнёт переписывать правила.