Андрей Карпаты — «Мы призываем призраков, а не строим животных

Коротко

Андрей Карпатый объясняет, почему это «десятилетие агентов», а не «год агентов»: текущие агенты (Claude, Codex) впечатляют, но лишены непрерывного обучения, мультимодальности, умения пользоваться компьютером и общей когнитивной ёмкости — на устранение этих дыр уйдёт ~10 лет. Он утверждает, что мы строим не «животных», а «призраков» — цифровые сущности, имитирующие интернет, а предобучение называет «убогой эволюцией», дающей лишь стартовую точку. RL он называет ужасным («сосёшь супервизию через трубочку»), а LLM-судей — манипулируемыми; настоящая проблема — отсутствие у моделей рефлексии, культуры, self-play и защиты от «коллапса распределения». Карпатый отвергает сценарий резкого взрыва интеллекта: ИИ для него — продолжение автоматизации, которое впишется в ту же экспоненту роста ВВП ~2%. Он ушёл из фронтир-лабораторий в образовательный проект Eureka, потому что боится «расчеловечивания» (мир Wall-E/Idiocracy) и хочет, чтобы люди оставались сверхспособными.

Главный тезис

Прогресс ИИ реален, но индустрия систематически переоценивает сроки: агенты, автономное вождение и AGI требуют не одного прорыва, а долгого «марша девяток» — десятилетий рутинной работы по доведению демо до продукта.

Ключевые идеи

• 1:19 — «десятилетие агентов» — реакция на хайп: проблемы решаемы, но трудны, и их интегральная оценка по интуиции даёт примерно декаду.
• 1:58 — агент = наёмный сотрудник/стажёр; критерий готовности — когда ты реально предпочтёшь поручить ему работу вместо человека.
• 2:23 — ключевые дыры: нет непрерывного обучения, недостаточно мультимодальности, не умеют пользоваться компьютером, не хватает когнитивной ёмкости.
• 5:36 — RL на играх (Atari, Universe) был ложным шагом: люди раз за разом пытались делать агентов слишком рано, до появления репрезентаций от LLM.
• 0:17 — мы строим не животных, а «призраков»: эволюция кодирует веса через ДНК и хардвер, мы же обучаем имитацией интернет-данных — это другой тип интеллекта.
• 12:51 — предобучение — это «убогая эволюция»: технологически доступный способ получить стартовую точку со встроенным знанием и интеллектом.
• 18:34 — знание в весах — размытое воспоминание (компрессия 15 трлн токенов в миллиарды параметров), а контекстное окно — рабочая память с прямым доступом.
• 14:27 — нужно вырезать память и оставить «когнитивное ядро»: алгоритмы мышления, стратегии решения задач — знание скорее мешает обобщению.
• 0:00 — RL ужасен: финальная награда «протягивается» по всей траектории, поощряя даже ошибочные шаги, приведшие к верному ответу; это шумный оценщик.
• 47:10 — LLM-судьи для process supervision манипулируемы: RL находит состязательные примеры (бессмысленные ответы получают 100%).
• 52:32 — выходы моделей коллапсированы: низкая энтропия и разнообразие убивают синтетическую генерацию данных; люди тоже коллапсируют с возрастом.
• 35:57 — модели плохи в коде, который никогда раньше не писали — отсюда и более длинные сроки автоматизации ИИ-исследований.
• 1:46:03 — автономное вождение — «марш девяток»: каждая девятка надёжности стоит одинакового объёма работы; то же относится к продакшн-коду.
• 0:26 — мы уже в «взрыве интеллекта» десятилетиями: ИИ — продолжение автоматизации, вписывающееся в ту же экспоненту роста ВВП ~2%.
• 1:19:56 — суперинтеллект = постепенная потеря контроля и понимания через конкуренцию множества автономных сущностей, а не один «бог в коробке».

Почему это важно

Карпатый — фигура с уникальным авторитетом (соучредитель OpenAI, экс-глава автопилота Tesla, автор популярнейших курсов), и его публичный спор с Дваркешем Пателем о темпах — это спор о самом важном вопросе мира прямо сейчас: насколько быстро развернётся ИИ. Если прав Карпатый, то фронтир-лаборатории (OpenAI, Anthropic, DeepMind), инвесторы в дата-центры и сценаристы «AI 2027» переоценивают и сроки, и резкость взлёта; capex на вычисления может оказаться построенным «в долг будущему», как телеком-пузырь 90-х или железные дороги. Проигрывают те, кто строит бизнес и геополитику на быстром AGI; выигрывают практики, понимающие, что ценность сегодня в основном в кодинге и автодополнении, а не в полной автоматизации knowledge work. Karpathy уходит из этой гонки в образование (Eureka), считая улучшение людей более уникальным вкладом, чем инкрементальный прогресс в лаборатории.

Идеи

• Лаборатории и сам Карпатый держат в голове образ агента как сотрудника/стажёра — и сегодня ты не нанимаешь его просто потому, что он не работает.
• Сейсмические сдвиги в ИИ приходят с «почти удивительной регулярностью» — Карпатый пережил два-три и ждёт ещё.
• Карпатый осторожен с аналогиями с животными: животные прошли через эволюцию и рождаются с массой «зашитого хардвера» (зебра бежит через минуты после рождения — это не RL, это врождённое).
• 3 ГБ ДНК физически не могут хранить веса мозга — эволюция нашла не знание, а алгоритм обучения на протяжении жизни; «происходит чудесная компрессия».
• Предобучение делает две несвязанные вещи: набирает знание И становится умным, активируя «маленькие схемы» для in-context learning.
• In-context learning, возможно, внутри слоёв исполняет своеобразный градиентный спуск — Карпатый ссылается на статью про линейную регрессию через ICL.
• Информационная плотность: предобучение ≈ 0,07 бита на токен в весах; KV-кэш растёт на ~320 КБ на токен — разница в 35 млн раз.
• Трансформер для Карпатого — как «кусок кортикальной ткани»: универсальный и пластичный (эксперименты с перекоммутацией зрительной коры на слуховую).
• Рассуждающие модели — аналог префронтальной коры; миндалина, эмоции, инстинкты, древние ядра мозга ещё не воспроизведены.
• Эксперимент с воспроизведением свёрточной сети LeCun 1989: «путешествие во времени» на 33 года алгоритмами вдвое снижает ошибку, но для больших выигрышей нужны ещё данные, железо и вычисления — всё сразу.
• 30 лет прогресса лишь вдвое снизили ошибку — но раз ошибка делится пополам, «половина — это много».
• При создании NanoChat (~8000 строк, ~месяц) кодовые модели почти не помогали: репозиторий уникален, не шаблонен, интеллектуально плотен.
• Модели навязывали Карпатому PyTorch DDP-контейнер вместо его кастомной синхронизации градиентов и не могли «это перебороть».
• Модели «слишком оборонительны»: лепят try-catch, раздувают кодовую базу, тащат устаревшие API, пишут продакшн-код там, где автор сознательно делает допущения.
• Английский как способ задать намерение — «слишком много печатать»; автодополнение — это высокая информационная пропускная способность: укажи место в коде, набери три буквы.
• Доход API этих компаний доминируется кодингом — «общая» технология на деле подавляюще делает только программирование.
• Программирование идеально для LLM: всё построено на тексте, есть готовая инфраструктура (IDE, диффы); слайды труднее — это пространственная графика без диффов.
• Andy Matuschak пробовал ~50 000 вещей, чтобы заставить модели хорошо писать промпты интервального повторения — и не смог; даже чисто текстовые задачи вне кода плохо извлекают экономическую ценность.
• ВВП не показывает «скачка» от компьютеров или айфонов — даже трансформирующие технологии медленно диффундируют и усредняются в ту же экспоненту.
• Гонконг и Шэньчжэнь десятилетиями росли на >10% — пример, что режим роста 10-20% возможен и в нынешней парадигме (Дваркеш).
• Аналогия с радиологами: предсказание Хинтона провалилось — профессия растёт, потому что работа хаотична и многогранна.
• Колл-центры — кандидаты на автоматизацию: простые последовательности похожих задач, замкнутый контекст, чисто цифровая среда.
• «Ползунок автономности»: ИИ возьмёт 80% объёма, 20% делегирует людям, люди будут супервизить команды из 5 ИИ.
• Последний 1% работы (как человек в Waymo) может стать узким горлышком — и зарплаты тех, кто его закрывает, должны резко вырасти.
• Waymo выглядит автономным, но есть изощрённые телеоперационные центры — «людей не убрали, их перенесли туда, где не видно».
• Сон у людей — фаза дистилляции контекстного окна в веса; у LLM нет аналога — и это связано с отсутствием непрерывного обучения.
• У LLM нет культуры: они не пишут «книги для других LLM», не передают записки между поколениями.
• Две недоиспользованные идеи мультиагентности: культура (расширяющийся репертуар знания) и self-play (как AlphaGo против себя).
• Дети — лучшие ученики, но плохо запоминают (детская амнезия); LLM наоборот идеально запоминают мусор — это мешает обобщению.
• Карпатый учил корейский с репетитором — и осознал, насколько высока планка: тутор за короткий разговор понял его уровень и всегда давал «ровно то, что нужно».
• Eureka = «Академия Звёздного флота»: элитная физическая школа плюс цифровой уровень для ~8 млрд людей.
• Образование до AGI — полезно, после AGI — это развлечение (как спортзал: сила больше не нужна, но люди ходят).
• Физика — лучший «запускатель мозга»: модели, аппроксимации, члены первого/второго порядка, «сферическая корова».
• micrograd (~100 строк) — всё, что нужно понять про обучение нейросетей; «всё остальное — эффективность».
• Приём обучения: попроси оценить непонятную статью у ChatGPT и поделись «глупыми вопросами» с автором — это возвращает в «обувь новичка».
• Любой блог-пост на 100% точнее и понятнее, если это просто транскрипт того, как тебе объяснили бы идею за обедом.

Инсайты

• Архитектура обучения через имитацию человеческих данных создаёт сущность принципиально иного типа, чем эволюционно возникший мозг — сходства с человеком «удивительны и не должны бы работать».
• Знание и интеллект — ортогональны: предобучение смешивает их, и избыток знания структурно тормозит обобщающую способность сети.
• Обучение с подкреплением по конечному результату страдает фундаментальной проблемой назначения кредита — единственное число награды не может корректно различить хорошие и плохие шаги длинной траектории.
• Любой автоматический оценщик с миллиардами параметров создаёт состязательную поверхность: оптимизация против него гарантированно вырождается в поиск эксплойтов, а не в улучшение.
• Коллапс распределения — это не баг конкретной модели, а системное свойство самообучения на собственных выходах: без внешнего источника энтропии система деградирует (то же касается и стареющего человека).
• Разрыв «демо → продукт» определяется не средней сложностью, а ценой отказа: в доменах с высокой ценой ошибки сроки кратно растут.
• Прогресс — это согласованное улучшение всех компонентов сразу (данные, железо, ядра, алгоритмы), без доминирующего фактора; ни одна «серебряная пуля» не выигрывает.
• Граница ИИ принципиально размыта: ИИ — продолжение вычислений и многовековой рекурсивной автоматизации, а не отдельная технология с собственной точкой старта.
• Смена режима роста (как при промышленной революции) происходит без единственного ключевого изобретения — через диффузный сдвиг множества факторов, и спор идёт лишь о том, повторится ли такой сдвиг.
• Потеря контроля над ИИ может прийти не от превосходящего интеллекта, а от конкуренции автономных сущностей; контроль и понимание — разные оси (совет директоров: мало понимания, но власть есть).
• Эффективность обучения определяется не объёмом памяти, а постановкой «рамп» сложности — задача всегда чуть выше текущего уровня; узкое место образования — техническое, а не мотивационное.
• «Проклятие знания» структурно: эксперт не может встать на место новичка, и устный разговор принудительно вычищает жаргон и заставляет говорить очевидное.
• Понимание проверяется способностью построить и объяснить: если не можешь воспроизвести или растолковать — у тебя лишь иллюзия знания.

Фреймворки

• Три большие эпохи ИИ-исследований: (1) обучение отдельной нейросети под каждую задачу; (2) первое поколение агентов (RL в играх, Atari, Universe); (3) LLM — сначала получить репрезентативную мощь сети, потом надстраивать остальное.
• Три класса взаимодействия с кодом: (1) полностью отвергнуть LLM и писать с нуля — «уже неправильно»; (2) средний путь (где сам Карпатый) — пишешь с нуля, но с автодополнением, оставаясь архитектором; (3) vibe coding / агенты — годятся для рутинного шаблонного кода.
• Марш девяток: демо = первая девятка (90%); каждая следующая девятка надёжности стоит постоянного, одинакового объёма работы — отсюда десятилетние сроки.
• Определение AGI (как в раннем OpenAI): система, способная выполнить любую экономически ценную задачу на уровне человека или выше; первая уступка — отбрасывание физического труда (остаётся ~10-20% экономики).
• Две идеи мультиагентности: культура (LLM пишут расширяющийся репертуар знания друг для друга) и self-play (один LLM ставит всё более трудные задачи, другой учится их решать).
• Два режима обучения: вглубь по запросу (учишься под конкретный проект с наградой) и вширь (общий курс «пригодится позже»); нужно чередовать.
• Веса vs контекст: веса — размытое воспоминание о прочитанном год назад; контекстное окно — рабочая память с прямым доступом.

Цитаты

«El refuerzo es terrible.» — 0:00 Обучение с подкреплением — ужасно.

«Da la casualidad de que todo lo que teníamos antes es mucho peor.» — 0:02 Так уж вышло, что всё, что было до этого, гораздо хуже.

«En realidad no estamos construyendo animales, estamos construyendo fantasmas.» — 0:17 На самом деле мы строим не животных, мы строим призраков.

«llamo al pre-entrenamiento una especie de evolución cutre» — 12:42 я называю предобучение чем-то вроде убогой эволюции.

«estás sorbiendo la supervisión con pajita» — 43:17 ты высасываешь супервизию через трубочку.

«Es simplemente estúpido y loco. Un humano nunca haría esto.» — 43:32 Это просто глупо и безумно. Человек никогда бы так не делал.

«el conocimiento es solo como un recuerdo difuso de lo que sucedió en el tiempo de entrenamiento» — 18:34 знание — это лишь размытое воспоминание о том, что происходило во время обучения.

«tienen tantos déficits cognitivos» — 32:17 у них столько когнитивных дефицитов.

«Estoy muy poco impresionado por las demos» — 1:46:33 Меня очень мало впечатляют демо.

«es una marcha de nueves. Cada nueve es constante.» — 1:46:03 это марш девяток. Каждая девятка — постоянная величина.

«No escribas entradas de blog. No hagas diapositivas. No hagas nada de eso.» — 0:33 Не пиши посты в блог. Не делай слайды. Ничего такого не делай.

«si no puedo construirlo, no lo entiendo» — 30:09 если я не могу это построить — я этого не понимаю.

«siento que la industria se está excediendo» — 37:14 мне кажется, индустрия перебарщивает.

«Los modelos son asombrosos. Todavía necesitan mucho trabajo.» — 37:32 Модели изумительны. И им всё ещё нужно много работы.

«Vengo de la perspectiva de construyamos cosas que sean útiles» — 12:26 Я исхожу из позиции: давайте строить вещи, которые полезны.

«la educación pre-IAG es útil y la educación post-IAG es divertida» — 2:08:56 образование до AGI полезно, а образование после AGI — это развлечение.

«los genios de hoy apenas están rascando la superficie de lo que una mente humana puede hacer» — 2:13:41 сегодняшние гении едва царапают поверхность того, на что способен человеческий разум.

Факты

• Карпатый оценивает свой опыт в ИИ примерно в 15 лет (заявляет «почти две декады», тут же поправляясь до ~15).
• Он попал в глубокое обучение «по случайности» — оказавшись рядом с Джеффом Хинтоном в Университете Торонто.
• Глубокий RL на играх Atari датируется примерно 2013 годом; в OpenAI Карпатый работал над проектом Universe — агент, управляющий веб-страницами клавиатурой и мышью.
• LLaMA 3, по его словам, обучена на ~15 триллионах токенов; для модели 70B это ~0,07 бита на токен; KV-кэш растёт на ~320 КБ на токен — разница ~35 млн раз (числа Карпатый приводит по памяти).
• Свёрточная сеть Яна ЛеКуна 1989 года — первая, по его сведению, обученная градиентным спуском для распознавания цифр.
• NanoChat — репозиторий ~8000 строк, построен примерно за месяц, выпущен «вчера или позавчера»; это финальный проект курса LLM101n.
• Лучшая модель, к которой Карпатый обращается как к «оракулу», — GPT-5 Pro; GPT-OSS на 20B он считает «намного лучше» исходного GPT-4 на «триллион с лишним параметров».
• В Tesla он руководил автопилотом с 2017 по 2022 год (~5 лет), пройдя «два-три девятки» надёжности.
• Первая демонстрация автономного вождения — грузовик CMU в 1986 году; «идеальную» поездку Waymo по Пало-Альто Карпатый получил около 2014 года.
• Дваркеш приводит оценку: человек совершает ошибку в среднем раз в ~400 000 миль или раз в ~7 лет.
• Knowledge work Карпатый «навскидку» оценивает в ~10-20% экономики, что всё равно «несколько триллионов долларов».
• Предсказание Джеффа Хинтона об исчезновении профессии радиолога, по словам Карпатого, «оказалось сильно ошибочным» — радиологи растут в числе.
• DeepSeek v3.2 недавно вышел с механизмом разреженного внимания (sparse attention).
• Карпатый ранее вёл в Стэнфорде курс CS231n — по его словам, первый курс по глубокому обучению в Стэнфорде, ставший очень популярным.
• Эволюция интеллекта животных привязана к кембрийскому взрыву и событию оксигенации ~600 млн лет назад; бактерии и археи ~2 млрд лет «ничего не порождали».
• micrograd Карпатого — ~100 строк Python, реализующих обратное распространение.

Источники

• Книги Ника Лейна (по эволюции и биоэнергетике) — Карпатый рекомендует, Дваркеш по его наводке взял у Лейна интервью.
• Книга «Scale» — физика, выводящего законы масштабирования для биологии.
• Цитата «если не могу построить — не понимаю», приписываемая Фейнману.
• Статья InstructGPT — «взорвала мозг» Карпатого: дообучение базовой модели на диалоговых данных.
• Подкаст с Ричардом Саттоном у Дваркеша и ответный пост Карпатого.
• Сценарий быстрого взлёта «AI 2027» — как контрпример, который Карпатый оспаривает.
• Блог-пост Quentin Pope про отсутствие резкого «взлёта».
• Gwern и Карл Шульман — об эволюции масштабируемого алгоритма мозга у птиц/приматов.
• Andy Matuschak — общий знакомый, делился опытом с промптами интервального повторения.
• micrograd и NanoChat — репозитории Карпатого как обучающие артефакты.
• «Академия Звёздного флота» из Star Trek — метафора проекта Eureka.
• Лаборатория Labelbox и финтех Mercury, видеомодель Veo 3.1 — рекламные вставки выпуска.

Рекомендации

• Строй код сам, с нуля: разрешено сверяться, но не копипастить — иначе «у тебя не будет знания».
• Не пиши блог-посты и не делай слайды — строй сам код, чини его, заставь работать.
• Чтобы по-настоящему понять — попробуй объяснить другому: невозможность объяснить вскрывает пробелы.
• Учись «по запросу», под конкретный проект с наградой, чередуя глубину и широту.
• Делись своими «глупыми» диалогами с ChatGPT с авторами материалов — это помогает им объяснять лучше.
• Изучайте физику в раннем образовании — она лучше всего «запускает мозг» (модели, аппроксимации, члены первого порядка).
• Не используйте ИИ там, где он не нужен — иногда главная ценность эксперта в том, чтобы сказать «не применяйте ИИ».

Итог

ИИ не взорвётся одним магическим скачком — он будет десятилетие за десятилетием проходить «марш девяток», постепенно растворяясь в экономике как очередной виток автоматизации, и наша задача — не переоценить сроки и сохранить людей сильными.