Как реально обучают и развёртывают GPT, Claude и Gemini – Reiner Pope

Коротко

Блэкборд-лекция Дворкеша Пателя с Райнером Поупом (CEO чип-стартапа Maddox, ранее архитектура TPU в Google) о том, как физика памяти и компьюта на кластере чипов определяет всё: цены API, размеры моделей, длину контекста и темп прогресса ИИ. Центральный инструмент, roofline-анализ: время инференса ≥ максимума из времени фетча памяти (веса + KV-cache) и времени компьюта (активные параметры × батч ÷ flops). Из этого вытекает, что оптимальный размер батча ≈ 300 × sparsity (≈2000 токенов на frontier-моделях), что MoE раскладывается expert-parallel ровно в один rack (all-to-all коммуникация = физтопология стойки), а pipeline-параллелизм по слоям позволяет шардить веса по стойкам, но от KV-cache не спасает. Поуп показывает, как из публичных цен API (×50% за длинный контекст, ×5 output vs input, ×10 за cache-hit) реверс-инжинирится архитектура: ~2 КБ/токен KV, memory-bandwidth-bound декод, кэш-тиры от HBM до spinning disk. Финал, обратный вывод: чтобы train+inference-компьют был минимален, число inference-токенов ≈ числу pretrain-токенов ≈ числу RL-токенов, и frontier-модели over-trained в ~100 раз относительно Chinchilla-оптимума.

Главный тезис

Как только понимаешь две простые величины, время на работу с весами и время на работу с контекстом (KV-cache), относительно memory bandwidth и flops чипа, почти всё в современном ИИ (цены, архитектуры, размеры, прогресс) выводится из первых принципов школьной алгеброй. Магия заканчивается.

Ключевые идеи

• 1:42, Главный рычаг latency↔cost в инференсе, batch size; без батчинга экономика хуже в ~1000 раз, чем с батчингом многих пользователей вместе.
• 3:02, Время инференса моделируется как max(время памяти, время компьюта), где компьют = batch × активные параметры ÷ flops, а внимание игнорируется как малое.
• 5:13, Память делится на два слагаемых: weight fetch (все total-параметры, константа по батчу) и KV-cache fetch (линейно растёт с батчем и контекстом).
• 10:16, Для данного железа есть нижняя граница latency: прочитать все параметры из памяти в чипы, быстрее физически нельзя.
• 13:14, Cost = T/B: при батче 1 стоимость почти бесконечна (веса не амортизированы), с ростом батча падает до compute-предела (гипербола weight-fetch + плато компьюта).
• 18:28, Точка баланса memory=compute даёт flops/bandwidth ≈ 300 (безразмерная константа, стабильна A100→H100→B100), откуда оптимальный батч ≈ 300 × sparsity.
• 20:28, Практический батч frontier-модели ≈ 2000 уникальных последовательностей, и зависит только от sparsity, не от размера модели.
• 22:15, Батч работает как расписание поезда: новый поезд каждые ~20 мс, кто готов, садится; worst-case queue latency ≈ 40 мс.
• 24:03, Магические 20 мс = capacity/bandwidth HBM, время полностью прочитать память; читать веса или KV дважды не хочется.
• 29:44, Sparsity (MoE) даёт слабую отдачу по качеству: нужно ×100 total-параметров ради эквивалента ×10 active; но системно это чистый выигрыш, пока есть пользователи для большого батча.
• 35:11, MoE требует all-to-all коммуникации, и это идеально ложится на один Blackwell-rack (72 GPU); выход за стойку, бутылочное горлышко (scale-out в ~8 раз медленнее).
• 36:27, Одна стойка ограничивает размер expert-слоя, это и двигало индустрию к большим interconnect-доменам (Hopper 8 → Blackwell 72 → Rubin ~500).
• 33:48 и 48:28, Из 4 осей нарезки модели прибыльны только expert-parallel (внутри стойки) и pipeline-parallel по слоям (между стойками); tensor-parallel умер из-за мелких экспертов.
• 1:01:16, Pipelining в инференсе нейтрален к latency, экономит лишь memory capacity весов, но P сокращается из KV-члена, KV-cache становится доминирующим и не шардится.
• 1:21:40, Чтобы минимизировать сумму train+inference компьюта, надо уравнять затраты: эвристически inference-токены ≈ pretrain-токены ≈ RL-токены.
• 1:32:10, Frontier-модели over-trained в ~100 раз относительно Chinchilla (≈200 трлн токенов vs ≈2 трлн оптимума).

Почему это важно

Лекция объясняет, почему ИИ устроен именно так, и кто на этом выигрывает. NVIDIA двигает rack-домены (72→500 GPU) не ради объёма памяти, а ради memory bandwidth, это главное бутылочное горлышко для длинного контекста и низкой latency. У Google раньше были крупные scale-up домены, что частично объясняет лидерство Gemini. По словам Dylan Patel, гиперскейлеры тратят ~50% capex (высокие сотни миллиардов) на память, отсюда дефицит и падение поставок смартфонов и ноутбуков. Лаборатории (OpenAI, Anthropic, DeepSeek) балансируют sparsity, over-training и RL-бюджеты, и эти решения утекают через цены API. Для нового чип-стартапа вроде Maddox понимание roofline-границ, буквально условие конкурентоспособности: нужно уметь обслуживать хотя бы ~1/1000 трафика Gemini, то есть сотни тысяч токенов в секунду.

Идеи

• За скорость платят больше (FastMode) потому, что меньший батч даёт меньше latency, но выше cost на токен, движение влево по той же кривой.
• «Cloud Code slow mode» теоретически возможен, но упирается в нижнюю границу cost: KV и компьют уникальны на батч и не амортизируются дальше.
• Sparse attention DeepSeek даёт √(контекст) вместо линейного роста KV-fetch, единственный реальный выход к длинному контексту.
• Балансные точки в анализе (совпадение наклонов), сигнал «всё настроено идеально»: равно memory-bound и compute-bound.
• Выход за «Goldilocks-зону» контекста (100k→200k) рушит MFU вдвое при dense attention.
• Батч, это число последовательностей в одном forward-pass, не пользователей; «2000» = 2000 параллельных генераций по одному токену.
• Реальный батч берут в 2–3 раза больше расчётного баланса, потому что реальная эффективность ниже roofline.
• Gemini в прошлом году, сотни миллионов токенов/сек глобально; 1/1000 этого уже «много».
• В стойке NVIDIA GPU стоят снаружи, NVSwitch'и внутри, любой GPU достаёт любой за 2 хопа.
• Scale-up (NVLink) ~×8 быстрее scale-out (data-center switch); половина токенов при двух стойках вынуждена идти по медленному пути.
• Hopper→Blackwell, переход «tray → rack» как форм-фактора, без техбарьера; Blackwell→Rubin, настоящий ×4 на новом дизайне стоек.
• Бутылочное горлышко стоек, физическая плотность кабелей (bend radius, backplane): «места вроде много, но напихать кабели нельзя».
• Лучшая стратегия параллелизма буквально повторяет архитектуру модели: эксперты → разные GPU, слои → разные стойки. Физическое отражение, не выдумка.
• Pipeline bubble в инференсе заполняется тривиально (forward только); в обучении нужен hard-stop перед backward → micro-batches → потеря амортизации весов.
• В обучении меньший батч лучше для скорости сходимости (свежий градиент), но хуже системно, оптимум посередине.
• Zero-bubble / 1F1B схемы интерливят forward/backward; в простаивающее окно «можно майнить биткоин» (полушутка про weight-gradient step).
• В инференсе pipelining почти не используют: rack Blackwell держит десятки ТБ, а триллион-параметров = ~1 ТБ, памяти и так с запасом.
• Избыток HBM намекает: можно было спроектировать железо с меньшим HBM/GPU, если веса шардить по 8 стойкам.
• Двухтарифное ценообразование (×1.5 за >200k контекста) аппроксимирует точку перегиба memory-vs-compute, провайдер хочет быть прибыльным при любом контексте.
• Из цены ×50% за длинный контекст реверсится ~2 КБ/токен KV, правдоподобно для dense attention с шарингом global-контекста между слоями (как Character.ai, Gemma).
• Output дороже input в ~5 раз: prefill compute-bound, decode сильно memory-bandwidth-bound (соотношение прижато к 1:5).
• Cache-hit дешевле ×10: вопрос «пересчитать KV из токенов» vs «достать из памяти»; cache-miss = удалили отовсюду.
• Тиры кэша (HBM/DDR/Flash/spinning disk) выбираются по drain time = capacity/bandwidth; «5 минут vs 1 час» в API, вероятно Flash vs spinning disk.
• Spinning disk всё ещё используется для KV-кэша, хотя «полная загрузка занимает час», шокирующе старо, но дёшево.
• RevNets (2017–18) импортировали Feistel-сеть из криптографии в нейросети: обратимый слой, не хранить активации, рематериализовать на backward (компьют ради памяти).
• KV-cache, обратная сделка: память ради компьюта, и это обычно выгоднее на текущем железе.
• Криптошифры и нейросети «перемешивают» одинаково, но цели противоположны: шифр прячет структуру в случайность, нейросеть извлекает структуру из шума.
• Adversarial-атака на картинку (малое возмущение → смена класса), нежелательный случай для нейросети, но штатный avalanche-эффект для шифра.

Инсайты

• Архитектура ИИ, не выбор «лучшей идеи», а проекция физических констант железа (bandwidth, flops, плотность кабелей) на математику модели; топология вычислений сходится к топологии стойки.
• Почти любую экономическую величину (размер батча, цену токена, размер модели, степень over-training) выводят алгеброй из roofline, потому что ошибки имеют огромные error bars и порядок важнее точности.
• Память, не компьют,, фундаментальная стена ИИ: memory bandwidth ограничивает контекст и latency, memory capacity решается pipeline'ом, но KV-cache не амортизируется ни по батчу, ни по pipeline-стадиям.
• Sparsity и число пользователей взаимозаменяемы: чем больше трафика, тем более разреженную (дешёвую по компьюту) модель можно держать прибыльно. Экономика инференса толкает к централизации, но умеренно.
• Большие interconnect-домены ценны не объёмом памяти, а суммарной bandwidth (scale-up × bandwidth/GPU), которая росла ×8 поколение-к-поколению, тогда как bandwidth одного GPU, лишь ×1.5–2.
• Прогресс размеров моделей тормозился не возможностью обучить, а возможностью дёшево инферить, ждали стойки с достаточной bandwidth и памятью под KV.
• Оптимум распределения компьюта между фазами достигается там, где затраты выровнены, и для степенных законов это надёжная эвристика, отсюда «inference-токены ≈ pretrain-токены».
• Цены API, это утечка архитектуры: рынок прижимает цену к себестоимости, поэтому из тарифов вычитываются bytes/token, кэш-тиры и режим bottleneck.
• Системы памяти строятся как иерархия тиров, где время хранения сопоставляется с drain time носителя, оптимум там, где доля занятой ёмкости равна доле времени на извлечение.
• Обратимость (Feistel/RevNet) и кэширование, две стороны одной торговли «компьют↔память», и направление сделки диктуется тем, что на текущем железе память дороже компьюта.
• Криптография и глубокое обучение, конвергентная эволюция механизма перемешивания при противоположных целях; различие, в дифференцируемости и residual/layer-norm, которые делают нейросеть «ручной».

Фреймворки

Roofline-анализ инференса (две величины). Время одного forward-pass ≥ max(T_memory, T_compute), где:

• T_compute = (batch × N_active) / flops
• T_memory = N_total/bandwidth (веса) + (batch × context × bytes/token)/bandwidth (KV)

Оптимальный батч. Приравнивая T_memory(веса) = T_compute: batch ≳ (flops/bandwidth) × sparsity ≈ 300 × sparsity; на практике берут ×2–3.

Четыре оси параллелизма. Модель масштабируется по: (1) слоям, (2) d_model, (3) d_ff, (4) числу экспертов. Резать прибыльно только по экспертам (expert-parallel, внутри стойки, all-to-all) и по слоям (pipeline-parallel, между стойками). Tensor-parallel (резка внутри эксперта) умер из-за мелких экспертов.

Условие отсутствия pipeline-бутылочного горлышка. (время scale-up)/(время scale-out) ≥ 1, т.е. произведение [1/8 bandwidth] × [число активных экспертов] × [слоёв на стадию] × 2 ≥ 1 → нарастить слои/стадию, пока не выполнится.

Память на GPU. c_mem = (N_total + batch × context × bytes)/(E × P); при pipeline'е P сокращается из весового члена, но не из KV-члена.

Баланс компьюта train/inference. 6·N·D_pretrain + α·6·N·D_RL + 2·N·D_inference, уравнять три члена (α≈1/10…2/10 из 2–6 flops и неэффективности RL-декода) → D_inference ≈ D_pretrain ≈ D_RL.

Тиры памяти для KV-кэша. Выбор тира по drain time = capacity/bandwidth (HBM ~20 мс, DDR ~секунды, Flash ~минута, spinning disk ~час); оптимум, доля занятой ёмкости = доля времени извлечения.

Цитаты

«the big effect is batch size, but what we're going to do now is quantify exactly what that looks like», 1:42 главный эффект, размер батча, но сейчас мы точно измерим, как это выглядит

«if you do not batch together many users, the cost and the economics you get can be like a thousand times worse», 4:25 если не батчить много пользователей вместе, экономика может быть в тысячу раз хуже

«If I use all of my memory bandwidth, I can't do any better than that», 10:31 если я использую всю свою memory bandwidth, лучше уже не сделать

«whenever we have balance points, it kind of says that you're getting it exactly right», 11:25 когда у нас есть точки баланса, это значит, что ты попал точно в цель

«You can think of this as a schedule for the train. A new train departs every 20 milliseconds», 22:56 Думай об этом как о расписании поезда. Новый поезд отходит каждые 20 миллисекунд

«this all-to-all pattern of communication is a perfect fit for the communication pattern that the MOE actually wants to do», 35:45 этот all-to-all паттерн коммуникации идеально подходит под то, что MoE и хочет делать

«one rack actually bounds the size of an expert layer you can do», 36:27 одна стойка фактически ограничивает размер expert-слоя, который ты можешь сделать

«It's literally the physical space to put a cable that's constraining it», 43:19 Буквально физическое место под кабель, вот что является ограничением

«It's interesting to me that the best parallelism strategy in practice ends up being one which physically resembles the actual architecture», 53:11 Мне интересно, что лучшая стратегия параллелизма на практике физически повторяет саму архитектуру модели

«smaller is always better because basically you're getting the freshest information from the gradient descent», 59:44 меньше всегда лучше, ты получаешь самую свежую информацию от градиентного спуска

«The KV cache becomes the dominant term», 1:11:49 KV-кэш становится доминирующим членом

«each model should generate the sum of human knowledge on the output that it gets on the input», 1:28:58 каждая модель должна сгенерировать на выходе сумму человеческих знаний, которую получила на входе

«it's kind of empowering to just set A equal to B and figure it out», 1:32:45 есть что-то воодушевляющее в том, чтобы просто приравнять A к B и всё вычислить

«I think it's because there is no solution to the memory wall», 1:54:54 думаю, это потому что у memory wall нет решения

«cryptographic protocols are trying to take information which has structure and make it look indistinguishable from randomness», 2:04:36 криптопротоколы берут структурированную информацию и делают её неотличимой от случайности

«Spending more memory to save compute is generally profitable, given where hardware is at», 2:13:20 Тратить память ради экономии компьюта обычно выгодно, учитывая, где сейчас железо

Факты

• DeepSeek V3: ~37 млрд активных параметров из ~700 млрд total; активирует 32 из 256 экспертов (sparsity ≈8); опубликован sparse-attention механизм с √-членом.
• Blackwell NVL72, стойка из 72 GPU; на практике для делимости берут 64 (256 экспертов DeepSeek → 4 эксперта/GPU).
• Соотношение flops/bandwidth ≈ 300 на большинстве GPU, стабильно от A100 к H100 к B100.
• Магическая константа ~20 мс = capacity/bandwidth HBM; для поколения Rubin: 288 ГБ / 20 ТБ/с ≈ 15 мс.
• Scale-out сеть примерно в 8 раз медленнее scale-up (NVLink) по bandwidth.
• Рост interconnect-доменов NVIDIA: Hopper 8 → Blackwell 72 → Rubin ~500 (в Rubin «есть Jensen-math, но реальный ×4»).
• Hopper: 8 GPU ≈ 640 ГБ (2022); Blackwell (развёрнут ~прошлый год): scale-up порядка 10–20 ТБ, хватает на 5T-модель + KV-cache.
• Gemini (анонсы прошлого года): трафик в сотни миллионов токенов/сек глобально; расчётная система ~2000 батч × 64 ≈ 128k токенов/сек ≈ 1/1000 Gemini.
• GPT-4 выпущен в 2023, по слухам >1 трлн параметров; контексты выросли с ~8K (GPT-3) до 100K–200K и «зависли» там последние год-два.
• По словам спикера, Dylan Patel: гиперскейлеры тратят ~50% capex этого года на память; общий capex, «высокие сотни миллиардов, возможно триллион».
• Цены API (примеры из лекции, частично «по памяти»): Gemini 3.1 на +50% дороже за >200k токенов; output ~×3–5 дороже input; cache-hit ~×10 дешевле; base input ~$5/млн токенов, запись на 5 мин ~$6.25/млн.
• Реверс-расчёт KV: ~1667 байт/токен (≈2 КБ) при d_head=128, 8 KV-heads, правдоподобно для dense attention с шарингом global-контекста между слоями.
• Frontier-модель (оценки спикера, «не уверен»): ~100 млрд активных параметров, обучена на 150 трлн токенов; Chinchilla-оптимум ≈ 20×100млрд ≈ 2 трлн → **×100 over-trained**.
• RevNets (Reversible Networks), статья 2017–18; Feistel-сеть в криптографии используется до сих пор как один из главных механизмов построения шифров; MoE существует «примерно с 2017».
• Drain time носителей (оценки спикера): HBM ~20 мс, DDR ~1–10 с, Flash ~1 мин, spinning disk ~1 час.

Источники

• «Unified Scaling Laws for Routed Language Models», статья о влиянии sparsity (expert count) на качество при фиксированных active-параметрах.
• Chinchilla scaling laws, соотношение размера модели и объёма обучающих данных (×20 токенов на параметр).
• DeepSeek, публикации по fine-grained mixture of experts и sparse attention.
• G-Shard / Switch Transformer, более ранние техники MoE.
• RevNets (Reversible Networks), обратимые сети, импорт Feistel-конструкции в нейросети.
• Character.ai, блог-пост об alternating long/short context и шаринге global-контекста между слоями; та же идея в Gemma.
• Блог-пост Райнера Поупа о параллелях между криптопротоколами и нейросетями (differential cryptanalysis, avalanche property).
• Упомянутые люди: Dylan Patel (capex на память), Ilya Sutskever («today we know not to do pipeline parallelism»), Horace (лекция о parallelisms, Kimi-residuals), Dario Amodei (in-context learning vs continual learning), Clark и Axel (инженеры Jane Street, FPGA, GPU-перформанс).
• Maddox, чип-стартап Поупа; Reiner's scaling book, упомянут как материал для подготовки.

Итог

Вся экономика и архитектура ИИ, бухгалтерия двух чисел: времени на веса и времени на контекст относительно bandwidth и flops чипа. Пойми их, и цены, размеры, контекст, темп прогресса выводятся школьной алгеброй. Стена одна: память.