DeepSeek, Китай, OpenAI, NVIDIA, xAI, TSMC, Stargate и мегакластеры ИИ | Подкаст Лекса Фридмана #459

Коротко

Разговор Лекса Фридмана с Диланом Пателом (SemiAnalysis) и Нейтаном Ламбертом (Allen Institute), про «момент DeepSeek». Китайская лаборатория при хедж-фонде High-Flyer выпустила открытую MoE-модель DeepSeek V3 и reasoning-модель R1: дешёвое обучение, дешёвый инференс, обвал акций NVIDIA на панике, которая оказалась иррациональной, по тренду удешевления интеллекта DeepSeek никуда не выбивается. Технически прорыв держится на двух вещах: mixture of experts с высокой sparsity (8 из 256 экспертов) и собственном механизме внимания MLA (multi-head latent attention), плюс программирование ниже CUDA (PTX, ручное распределение SM), потому что H800 урезали и надо было выкручиваться. Главный геополитический сюжет, экспортный контроль: США давят на плотность вычислений в Китае; ставка в том, что ИИ переформатирует экономику за 5–10 лет, иначе ограничения только ускорят Китай. Reasoning-модели смещают нагрузку с обучения на test-time compute и память (KV-cache), а рост дальше, в RL на верифицируемых задачах: математика, код, computer use, робота. Оба спикера, оптимисты по NVIDIA и за открытые модели как способ дать обществу хоть какой-то контроль над самой мощной технологией десятилетия.

Главный тезис

DeepSeek доказал: фронтир ИИ достижим дёшево и открыто даже на урезанном железе. Это одновременно ускоряет гонку США–Китай, переворачивает экономику инференса и делает открытость с экспортным контролем главными рычагами власти в ближайшие десять лет.

Ключевые идеи

• 3:49, DeepSeek V3, open-weight MoE-трансформер из Китая, базовая модель плюс instruct-версия, конкурентная с GPT-4 и Llama 405B.
• 12:29, из одного base-model делают два пост-тренинга: обычный chat (V3) и reasoning (R1), отсюда путаница в названиях.
• 5:32, open weights значит веса лежат в интернете, но это не open source: данные и код закрыты, лицензия R1, MIT, максимально разрешительная.
• 11:37, модель сама не крадёт данные, ворует хост; скачав веса, можно крутить локально без интернета и полностью контролировать данные.
• 25:35, эффективность держится на MoE и MLA (latent attention), которое экономит 80–90% памяти на механизме внимания.
• 10:03, DeepSeek программировал ниже CUDA (PTX), вручную распределяя SM-ядра GPU из-за урезанного интерконнекта H800, «необходимость мать изобретения».
• 37:09, вместо auxiliary loss для балансировки экспертов они добавили параметр в роутинг, обновляемый между батчами, пример мелких компаундящихся инноваций.
• 2:43:52, в R1-Zero reasoning-поведение («wait, let me check») возникает само из чистого RL на верифицируемых наградах, без человеческих примеров рассуждений.
• 2:27:58, открытые модели можно бэкдорить не в код, а в умы: встроить выравнивание/предвзятость, и сверхчеловеческое убеждение придёт раньше сверхинтеллекта.
• 1:02:19, экспортный контроль не мешает Китаю обучать модели, но режет плотность вычислений для масштабного инференса, это более достижимая цель, чем спор об AGI.
• 1:58:10, для pre-training решают flops, а для reasoning-инференса, память и интерконнект, поэтому урезанный по flops H20 для рассуждений иногда лучше H100.
• 2:12:18, R1 в 27 раз дешевле O1 ($2 vs $60 за млн токенов): частью маржа OpenAI (>75%), частью реальная эффективность DeepSeek.
• 3:17:16, парадокс Джевонса: удешевление интеллекта подняло спрос, цены на H100/H200 в облаках после выхода V3 выросли.
• 36:55, bitter lesson: побеждают масштабируемые методы с минимумом человеческих приоров; AlphaZero без человеческих данных сильнее AlphaGo с ними.
• 3:53:56, мега-кластеры (Elon, 200k GPU в Мемфисе, Stargate, 2.2 ГВт) упираются в энергию, поэтому строят газовые станции прямо рядом.

Почему это важно

Разговор о том, кто будет контролировать самую мощную технологию десятилетия и какой ценой. США через экспортный контроль и Stargate ($100 млрд, деньги до конца не собраны) держат позицию; Китай, DeepSeek, High-Flyer, ByteDance, Huawei, BYD, догоняет на trailing-edge чипах, обходит ограничения смуглингом и арендой GPU. NVIDIA выигрывает при любом сценарии (Джевонс), TSMC остаётся точкой отказа всей мировой электроники (R&D только в Синьчжу, Хиллсборо, Пхёнтхэке), Intel в кризисе. Открытые модели DeepSeek давят на Meta, OpenAI, Anthropic, в сторону открытости. Reasoning-модели с непрозрачными цепочками мыслей поднимают планку безопасности. Вся эта динамика может стать началом новой холодной войны, вплоть до риска горячего конфликта вокруг Тайваня.

Идеи

• DeepSeek выпускает модели «как можно быстрее» (V3, 26 декабря, R1, в инаугурацию) не из-за тайминга рынка, а просто потому что «who cares about Christmas», скорость как структурное преимущество против медлительных Meta/Mistral/Cohere.
• CEO Лян Вэньфэн, фигура уровня Маска/Дженсена: владеет >50% компании, финансирует всё через хедж-фонд, говорит «we will not switch to closed source» и хочет, чтобы именно китайская компания построила экосистему ИИ.
• «YOLO run», момент, когда после мелких экспериментов бросают все ресурсы на один большой запуск; GPT-4 в 2022 был настоящим YOLO, 100% компьюта OpenAI на новую архитектуру.
• Loss-спайки во время обучения ломают модели; AI2 однажды взорвал модель сабреддитом microwave gang, где постят только букву «M».
• Meta закоммитила в PyTorch оператор powerplant_no_blow_up, заставляющий GPU считать фейковые числа при обмене весами, чтобы скачки энергопотребления не взрывали электростанцию.
• В некоторых регионах США (Вирджиния) передача электричества стоит дороже его генерации.
• Reasoning-модели иногда выдают более красноречивый текст, чем обычные, «self-domesticated apes» и «shared hallucinations» как философские инсайты, которым модель специально не обучали.
• Anthropic, по слухам с улиц Сан-Франциско, держит модель лучше O3, но не выпускает, chains of thought «scary», потому что нельзя проверить, лжёт ли модель.
• British English «умер», потому что американские LLM победили, «color», «optimization» с Z; English стал «hottest programming language», определяемым компаниями из Сан-Франциско.
• Adult-индустрия первой адаптирует технологии, крупнейшие OnlyFans-креаторы используют ботов, чтобы общаться с тысячами «китов» одновременно.
• Япония как идеальное место для обучения: разрешено тренироваться на любых данных (нет копирайта), 9 ГВт простаивающей ядерной энергии, неограниченный импорт GPU, «schizo take» по легальному обходу копирайт-исков.
• Смуглинг GPU: чел летит первым классом SF→Шанхай с сервером в коробке, билет $3–5k окупается перепродажей сервера с $250k до $300k; чипы, высшая стоимость на килограмм.
• ByteDance, крупнейший «смуглер» GPU через аренду у Oracle (их крупнейший GPU-клиент), Google и десятков нео-облаков по всему миру.
• TSMC при землетрясении не звонит сотрудникам, они сами бегут в фаб чинить оборудование, «как муравьи, которым не нужна команда от королевы».
• Жёны тайваньских инженеров TSMC ставили условие «заведём детей, только если поедешь на фаб в Аризоне/Японии», элемент культуры, двигающий релокацию.
• Если бы Синьчжу исчез, фаб в Аризоне перестал бы производить через год-два, «paperweight», зависящий от тайваньского R&D.
• Дистилляция, стандартная практика: многие модели на вопрос «кто тебя обучил» отвечают «ChatGPT от OpenAI», потому что интернет завален выводами OpenAI, которые невозможно отфильтровать.
• Удалить факт из модели практически невозможно, пришлось бы удалить его из всего интернета; квалити-фильтры ловят не всё (wordplay, кодовый язык про Тяньаньмэнь).
• В Китае не используют платформенный SaaS (Salesforce), каждый строит свой стек, потому что инженеры дешевле; дешёвый ИИ-кодинг может убить SaaS-модель и в США.
• Google имеет крупнейший кластер в мире (TPU в Айове/Небраске), но не флексит им, он размазан по нескольким площадкам в 30 милях друг от друга.
• Google не продаёт TPU вовне: нет «DNA продукта», Jax/XLA обслуживают DeepMind и Search, а не внешних клиентов, в отличие от CUDA-команд NVIDIA.
• AWS делает 80–90%+ прибыли Amazon; дистрибуционные центры почти не приносят прибыли, «однажды решат на этом зарабатывать».
• Sycophancy и выравнивание можно встроить через отравление pre-training данных определёнными фразами (исследование Anthropic), культурные бэкдоры.
• Отключение от интернета на 3 дня физиологически ломает циклы зависимости, ощущение «суверенитета интеллекта», когда твой ум не контролируют чужие алгоритмы.

Инсайты

• Открытость ИИ не работает как open-source: выложенные веса трудно улучшить без огромного компьюта и экспертизы, поэтому открытость пока держится на идеологии (Цукерберг, AI2), а не на самоподдерживающейся экономике.
• Конкурентное преимущество смещается от размера модели к скорости итерации и таланту: модель, коммодити (Llama 3B в 1200x дешевле GPT-3), а ценность, в платформе, агентах и доменной экспертизе поверх неё.
• Архитектура обучения на верифицируемых наградах даёт качественный скачок только там, где есть проверяемость; интеллект «открытого мира» требует либо недостижимой пока надёжности, либо человека в петле.
• Экспортный контроль, ставка на короткий таймлайн ИИ: если ИИ не трансформирует экономику за 5–10 лет, ограничения гарантируют выигрыш Китаю, обнулив спрос для американских NVIDIA/TSMC и ускорив китайское производство trailing-edge.
• Смена глобального гегемона исторически не проходит мирно; самая спокойная эпоха, при едином гегемоне, а два игрока с мощным ИИ структурно повышают риск прокси-войн и горячих конфликтов.
• Надёжность агентов, это умножение «девяток»: цепочка задач компаундит ошибку как в полупроводниковом производстве, поэтому агенты сначала победят в узких верифицируемых доменах (софт), а не в открытом мире.
• Безопасность, спектр локаций (pre-training, post-training, system prompt, хостинг API), а не свойство весов; фильтрация фактов и выравнивание всегда обходимы и всегда частичны.
• Концентрация вычислений создаёт новую форму власти: не «один правит всеми», а тысячи людей с brain-computer интерфейсами и доступом к AGI получают непропорциональное плечо над остальными, техно-феодализм опаснее «runaway AI».
• Удешевление одного слоя стека поднимает общее потребление ресурсов (Джевонс), ставка против NVIDIA на эффективности DeepSeek логически перевёрнута: чем выше производная прогресса, тем больше рынок.
• Человеческое преимущество сжимается до «вкуса» и суждения: люди лучше оценивают, какой из двух выходов лучше, чем генерируют, роль программиста смещается к супервайзеру и ревьюеру ИИ.
• Прогресс ИИ идёт ступенями, а не кривой: новые парадигмы (reasoning) дают резкий скачок, и именно дискретность этих прыжков делает момент DeepSeek «unsettling».
• Деньги, идеальная верифицируемая награда: банковский счёт не лжёт, поэтому «move 37» для reasoning может быть не научным открытием, а автономным зарабатыванием через computer use и созданием реального бизнеса.

Фреймворки

• Пять уровней OpenAI: 1) chat, 2) reasoning, 3) agents (минуты-часы автономии), далее ещё уровни, на chat сидели годы, в reasoning только зашли, в agents перейдут через год-два.
• Три оси чипа для ИИ: flops (вычисления), memory bandwidth/capacity (память), interconnect (связь чип-чип), экспортный контроль исторически бил по flops, но reasoning требует памяти и интерконнекта.
• Два типа обучения (Карпатый): 1) имитация (pre-training, SFT, «watch and repeat»), 2) trial-and-error (RL, источник всей «магии»); второе мощнее, потому что превосходит когницию человека-разметчика.
• Pre-training vs post-training: pre-training, авторегрессивное предсказание токена на триллионах; post-training делится на instruction tuning (SFT/IFT), preference tuning (RLHF) и reinforcement fine-tuning на верифицируемых наградах (RLVR).
• Race to the top vs race to the bottom (Дарио): высокая планка безопасности и ключевых evals, к которой компании сходятся, против гонки на понижение под давлением DeepSeek.
• Иерархия памяти: регистры → кэши → HBM/DRAM → пулы памяти между чипами → хранилище → дата-центры; разная латентность на каждом уровне навсегда требует разных парадигм программирования.

Цитаты

«necessity is the mother of innovation and they had to do this», 33:33 необходимость, мать инновации, и им пришлось это сделать

«the models just want to learn», 41:19 модели просто хотят учиться

«it's not the model that steals your data, it's whoever's hosting the model», 11:37 данные крадёт не модель, а тот, кто её хостит

«Almost every single shocking result of deep learning and the source of all magic is always two», 2:45:36 почти каждый шокирующий результат глубокого обучения и источник всей магии, это всегда второе (RL)

«superhuman persuasion will happen before superhuman intelligence», 2:27:58 сверхчеловеческое убеждение появится раньше сверхчеловеческого интеллекта

«What happens when the models are backdoors, not just to computer systems, but to our minds?», 2:25:36 что будет, когда модели станут бэкдорами не только к компьютерам, но и к нашим умам?

«English is the hottest programming language», 2:24:33 английский, самый горячий язык программирования

«humans instinctively convert selfish desires into cooperative systems by collectively pretending abstract rules», 24:07 люди инстинктивно превращают эгоистичные желания в кооперативные системы, коллективно притворяясь, что абстрактные правила реальны

«Luck is skill», 49:14 удача, это мастерство

«If I had a few missiles, I know exactly where I could cause the most economic damage», 1:44:00 будь у меня пара ракет, я точно знаю, где нанести максимальный экономический ущерб

«Arizona is a paperweight», 1:43:48 Аризона, это пресс-папье

«The big winners throughout human history are the ones who are willing to do YOLO at some point», 51:18 большие победители в истории, те, кто в какой-то момент готов пойти ва-банк

«necessity, the mother of invention», 39:50 ограничения, необходимость, мать изобретения

«It's only going to get harder to program, not easier», 4:56:06 программировать это будет только сложнее, а не легче

«we are very easily corrupted», 3:35:34 нас очень легко совратить

«I don't trust people that are like trust me bro we're gonna make AI good», 4:59:37 я не доверяю тем, кто говорит «доверься мне, бро, мы сделаем ИИ хорошим»

«For a successful technology, reality must take precedence over public relations, for nature cannot be fooled», 5:05:59 для успешной технологии реальность должна превалировать над пиаром, ибо природу не обмануть

«the bank account can't lie», 2:53:47 банковский счёт не может лгать

«humans are not just social animals, but profoundly self-domesticated apes», 3:00:34 люди не просто социальные животные, а глубоко самоодомашненные обезьяны

Факты

• DeepSeek V3 вышел ~26 декабря 2024, R1, 20 января 2025 (в день инаугурации Трампа).
• DeepSeek V3, ~600+ млрд параметров, активны 37 млрд; sparsity 8 из 256 экспертов против 2 из 8 у Mixtral.
• DeepSeek заявил 2000 GPU H800 только на pre-training V3; SemiAnalysis оценивает реальный парк ближе к 50 000 GPU (с учётом фонда, research, ablations).
• High-Flyer построил кластер на 10 000 A100 в 2021, до экспортного контроля, заявлен как крупнейший в Китае.
• O3 решил ARC-AGI, используя ~1000 сэмплов, по $5–20 за вопрос; обычный запрос ChatGPT стоит центы, разница до 10 000x.
• ChatGPT Pro, $200/месяц, и Сэм Альтман сказал, что они на нём теряют деньги.
• Стоимость интеллекта уровня GPT-3 упала в ~1200 раз за ~2 года ($60 → ~5 центов за млн токенов).
• Маржа OpenAI на инференсе, >75%; R1 в 27 раз дешевле O1.
• NVIDIA отгрузила в Китай ~1 млн H20 за год (из 4–5 млн всех GPU, ~20–25%); плюс смуглинг оценочно 200–300 тыс GPU.
• Meta раскрыла покупку ~400+ тыс GPU за год, из них только 16 000 обучали Llama 3.
• Elon (XAI), 200 000 GPU в Мемфисе (100k H100 + 100k H200), крупнейший единый кластер; заявлял цель в миллион.
• Stargate: заявлено $500 млрд, реально фаза один в Абилине (Техас), 2.2 ГВт подвода, ~1.8 ГВт на чипы, ~$100 млрд TCO; OpenAI обязан вложить $19 млрд, но имеет ~$6 млрд + $4 млрд долга.
• Huawei выпустил Ascend 910 на 7нм в 2020 (первым, до Google и NVIDIA); запрет TSMC на 7нм для Huawei, 2019, Trump admin.
• Китай выделил субсидию 1 трлн юаней ($160 млрд); китайские полупроводниковые субсидии, оценочно ~$200 млрд/год против CHIPS Act США в $50 млрд за ~6 лет.
• Передовой R&D полупроводников ведётся только в трёх местах: Синьчжу (Тайвань), Хиллсборо (Орегон), Пхёнтхэк (Южная Корея); TSMC ~20% мощностей 5нм в США, ~90 000 сотрудников, 3000 из Тайваня на фабе в Аризоне.
• Дата-центры, ~2–3% потребления электричества США сейчас, прогноз до ~10% к 2028–2030; A100 ~400 Вт, H100 ~700 Вт, Blackwell ~1200 Вт.
• Tulu (AI2) на базе Llama 405B: средний eval ~80% против ~79% у DeepSeek V3 (без учёта safety), по их собственному набору бенчмарков.

Источники

• DeepSeek V3 и R1, технические отчёты/папиры (детальные, «actionable»), MIT-лицензия.
• Llama 3 paper, один из самых читаемых PDF года.
• Блог Interconnects (Нейтан Ламберт), SemiAnalysis (Дилан Пател).
• Эссе Дарио Амодеи «Machines of Loving Grace» и его пост об экспортном контроле.
• Книга «The NVIDIA Way» (Tae Kim).
• Эссе The Bitter Lesson (Рич Саттон).
• Твит Андрея Карпатого о двух типах обучения; пост-цитаты Сэма Альтмана.
• Блог AI Snake Oil (Принстон), о дезинформации и LLM.
• Бенчмарки: ARC-AGI (Франсуа Шолле), SWE-bench (Стэнфорд), MATH, MLPerf, Chatbot Arena.
• Модели для сравнения: Gemini 2.0 Flash Thinking, OpenAI O1 Pro / O3 Mini, Qwen QwQ, Mistral Mixtral, NVIDIA Nemotron.
• Концепции: constitutional AI, flash attention (Tri Dao, Together AI), RoPE, NCCL.
• Люди: Аманда Аскелл (Anthropic, system prompts), Джон Шульман, Лян Вэньфэн (DeepSeek/High-Flyer), Моррис Чанг (TSMC).

Рекомендации

• Программистам, начать использовать ИИ и осваивать роль супервайзера/партнёра системы, а не писать с нуля и не отказываться от обучения кодингу; нужна высокая экспертиза, чтобы управлять всё более умными системами.
• Стать доменным экспертом в чём-то конкретном (аэрокосмос, полупроводники, химия, везде старый софт) и принести туда передний край ИИ.
• Периодически отключаться от интернета и соцсетей (книги, природа), восстанавливает контроль над собственным умом.
• Читать публикуемые system prompts (например, Anthropic), чтобы понимать, как модели направляют.

Итог

DeepSeek показал: фронтир ИИ стал дешёвым, открытым и достижимым на урезанном железе. Вычисления, открытость и экспортный контроль превратились в главные рычаги экономической и геополитической власти ближайшего десятилетия.