Stanford CS153 Frontier Systems | Дженсен Хуанг из NVIDIA о вычислениях, стоящих за интеллектом

Коротко

Дженсен Хуанг в Стэнфорде утверждает, что компьютерная модель впервые за 64 года фундаментально изменилась: контент больше не воспроизводится, а генерируется в реальном времени с учётом контекста, что переписывает всё — от чипов до приложений. Co-design (совместное проектирование железа, софта и системы) — единственный способ обогнать стагнирующий закон Мура: NVIDIA ускорила вычисления в 50 раз за два года через Grace Blackwell с NVLink72. Он защищает открытые модели (Nemotron, BioNemo, Almayo, Groot) как условие безопасности — «чёрный ящик нельзя защитить». Резко критикует экспортные ограничения на чипы как саботаж американского лидерства и AI-думеров как безответственных «фантастов». Студентам советует не искать только страсть, а закаляться через страдания — без них не выработать стойкости, которая понадобится.

Главный тезис

Computing model впервые за 60+ лет изменился целиком: вместо предзаписанного — генерация в реальном времени, и под это нужно перепроектировать всё — от транзистора до бизнес-модели, а главный навык — мыслить от первых принципов и проектировать сразу всю систему.

Ключевые идеи

• 1:45 — со времён IBM 360 базовая модель вычислений не менялась, при всех революциях ПК-интернета-мобайла-облака; ломает её именно генеративный AI.
• 2:45 — раньше контент был pre-recorded, теперь генерируется на лету и адаптируется под контекст пользователя — это меняет архитектуру каждого слоя стека.
• 4:17 — робототехника и беспилотники — пример приложений, которые невозможно было собрать до глубокого обучения; AlexNet открыл дверь.
• 5:26 — нынешние студенты — первое поколение, для которого AI стал реально полезным; рассуждение (reasoning) появилось как побочный эффект масштаба.
• 32:35 — co-design работает потому, что нельзя оптимизировать всё одновременно: надо выбрать, где быть исключительным, остальное — общего назначения.
• 27:50 — он предпочитает низкий MFU: высокий MFU означает, что система спроектирована под средний случай, а не под пики; излишек FLOPs — это запас под бёрсты.
• 30:43 — «токены в секунду» — плохая метрика: токен рассуждения ценнее токена болтовни, нужны другие способы измерять интеллект.
• 35:22 — Grace Blackwell с NVLink72 даёт 50× прирост за 2 года против микроскопического роста по Муру — за счёт переосмысления decoding/attention как раздельных стадий.
• 35:14 — собрали wafer-scale «чип размером с тарелку» объединив 72 GPU в единое устройство — чтобы памяти хватило для inference больших моделей.
• {{srt:the goal is not just thinking, but the achievement} — Vera Rubin проектируется под агентов (agents): нужна долговременная память (storage as memory), сотни CPU-ядер с низкой латентностью, новый класс машины.
• 24:01 — open-source AI — условие безопасности: закрытый чёрный ящик нельзя проверить, transparent system может изучить любой исследователь.
• 25:17 — оборона против сверхинтеллекта не «гонка моделей», а рой дешёвых специализированных AI (Nemotron Nano) вокруг ядра.
• 48:08 — экспортные ограничения нелогичны: сравнение GPU с солнечными панелями абсурдно — GPU нужны всем, ограничивая их, США добровольно отдают рынок.
• 57:00 — у Стэнфорда нет AI-суперкомпьютера за $1B — это провал университета, который сидит на $40B эндаументе и не выделяет ресурс.
• 44:25 — suffering как актив: 90% работы CEO он не любит, но через это вырабатывается стойкость, которая нужна команде в кризис.

Почему это важно

Хуанг говорит из позиции, в которой NVIDIA фактически контролирует фундамент всего AI-стека: чипы, сети, библиотеки и теперь — открытые foundation-модели для биологии, климата, робототехники и автономного вождения. Его тезис об open source — это не альтруизм, а стратегия удержания экосистемы: чем шире принят open-source NVIDIA-стек, тем выше lock-in на железо. Критика экспортных ограничений на Китай — прямая защита глобального рынка NVIDIA (Китай был ~20-25% выручки до ограничений). Защита AI-оптимизма против думеров (Хинтон, Бенжио неявно) — это лоббирование против регуляции, которая ограничила бы compute. Проигрывают: национальные регуляторы, AI safety community, закрытые лаборатории (косвенно — OpenAI/Anthropic), американские университеты, не способные собрать собственный compute. Выигрывают: NVIDIA, экосистема стартапов на CUDA, открытые модели (Meta Llama, китайские DeepSeek/Qwen — хотя Хуанг это не озвучивает).

Идеи

• Pre-training достиг предела, но не закончился — теперь компания строит компьютеры под inference и под агентов как отдельные классы машин.
• Перевод contextual computing создаёт новый класс энергопотребления — компьютер «всегда работает», а не отвечает по запросу.
• Энергопотребление AI будет в ~1000 раз выше текущего, и он не удивится, если ошибся «на несколько порядков».
• Открытые модели — единственный способ покрыть 230+ языков, которые крупные лаборатории не будут специально тренировать.
• Almayo (waymo-like AI) обучается в духе «думает как человек, использует pre-human knowledge», что сократило количество требуемых данных и обучилось за «несколько миллионов», а не миллиарды.
• Грубо: учёные не могут самостоятельно строить foundation-модели для биологии/климата — у них нет capability и compute, поэтому это делает NVIDIA.
• Метрика MFU обманывает — она поощряет проектирование без запаса под бёрсты; реальная метрика — sustained tokens per watt.
• Безопасность через массу: миллиарды дешёвых AI-агентов окружают и проверяют сверхумную систему — это эффективнее, чем строить ещё одну сверхумную для контроля.
• Прозрачность не гарантирует правды («можно лгать в chain-of-thought»), но даёт хотя бы поверхность для аудита.
• Идея «cloud computing service for students» — Стэнфорд должен иметь $1B AI-кластер как библиотеку 21 века; он называет отсутствие этого позором.
• Учебники остаются ценными — фундаментальные принципы не меняются, но обучение без AI он сам уже не может представить.
• Энергия от рыночных сил: впервые рынок сам платит за солнечные/ядерные станции, без госсубсидий — момент инвестировать.
• Доводы против AI-думеров: AGI не наступит «во вторник в 7 утра», и убеждать общество в обратном — безответственно.
• Стандартное «делай то, что любишь» — высокая планка; правильнее: делай хорошо то, что делаешь, даже мойку полов.
• 10% работы CEO — приятно, 90% — тяжело; путать иногда полезно, чтобы не превратиться в нытика.
• Личный пример провала: NVIDIA сделала «всё неправильно» в первом поколении (изогнутые поверхности вместо треугольников, forward вместо backward), но стратегические решения вытащили компанию.
• Мобильный рынок (Tegra) был стратегической ошибкой — отдали Qualcomm 3G/4G modem, который оказался ключевой деталью телефона.
• Recovery из ошибки: Tegra превратилась в Thor — чип для робототехники и автономки; всё накопленное знание low-power перешло в новый рынок.
• Прогнозирование через first principles: «что я наблюдаю → что это значит → что будет дальше» — мысленная модель будущего, под которую разворачивается компания обратным ходом.
• Альтернативная стоимость стратегии важнее самой стратегии — энергия и деньги, потраченные на одно, не доступны для другого.
• Тон по поводу American technology: «национальное достояние»; политика deindustrialization уже разрушила американскую телеком-индустрию, AI-чипы — следующая жертва, если не сопротивляться.
• Любимое блюдо в Denny's — fried chicken и Superbird; первая в жизни горячая яблочная шарлотка с сыром — там же.
• «Не просыпайся с lost mind» — цитата от Homba, означает: каждый день имей видение, иначе тебя унесёт течением.

Инсайты

• Архитектура — это не выбор компонента, а решение, под какую модель вычислений строится вся стопка. Hopper строился под pre-training, Blackwell — под reasoning/decoding, Vera Rubin — под агентов; каждое поколение начинается с переосмысления вычислительной задачи.
• Open-source — это форма дистрибуции lock-in: бесплатно отдавая модели и фреймворки, доминирующий игрок навязывает свой стек как стандарт, и инфраструктурные деньги текут к нему.
• Метрики — это объекты oversight reward hacking: команда оптимизирует то, что измеряется (MFU, FLOPs, tokens/sec), а не реальную ценность; роль лидера — выбирать, что измерять.
• Гонка моделей — стратегический тупик: догонять «7.0 → 8.0 → 9.0» бесконечно дорого; нужен фазовый сдвиг — рой дешёвых агентов вместо одной мощной модели.
• Прозрачность не равна доверию, но открытость — необходимое условие защиты от непреднамеренного и преднамеренного вреда: чёрный ящик нельзя проверить, открытый — можно атаковать (и тем самым укреплять).
• Страдание как структурный актив лидерства: способность переносить дискомфорт — не побочный эффект работы CEO, а основной навык, без которого команда не сможет на тебя опереться в кризисе.
• Стратегические ошибки тренируют стратегическую интуицию сильнее, чем технические успехи: Хуанг приписывает выживание NVIDIA не правильным выборам, а опыту провалов в 30-летнем возрасте.
• Альтернативная стоимость направления — главный скрытый налог компании: каждый проект отнимает не деньги, а внимание лидерства и пропускную способность исполнения.
• First-principles forecasting не даёт точного ответа, но устраняет крайние ошибки: правильно поставленные вопросы оставляют диапазон сценариев, в котором можно безопасно двигаться, не зная конкретного будущего.
• Регуляторная риторика безопасности AI может быть формой саботажа конкурентов: алармизм без эмпирики приводит к политикам, ограничивающим compute и экспорт, что бьёт по доминирующему игроку сильнее, чем по альтернативам.

Фреймворки

• Три горизонта планирования у Хуанга: «что точно произойдёт → что вероятно произойдёт → что может произойти». Действовать в направлении пересечения первых двух.
• Co-design loop: алгоритм ↔ компилятор ↔ железо ↔ система ↔ применение — оптимизация только одного уровня даёт локальный максимум; глобальный максимум требует одновременной перепроектировки всех.
• Архитектура под задачу: Hopper = pre-training, Blackwell = reasoning, Vera Rubin = agents, Feynman = ? — каждое поколение GPU привязано к доминирующей вычислительной модели момента.
• Карьерный совет в трёх частях: (1) делай свою работу хорошо, какой бы она ни была; (2) ищи страдание, а не только страсть; (3) не просыпайся с потерянным разумом.

Цитаты

«Everything was pre-recorded. The content was pre-recorded, photos and videos and programs as well. But now everything is being created.» — 2:45 Всё было предзаписано — контент, фото, видео, программы. Теперь всё создаётся.

«You can have a much better RISC processor, and everything in it is better, but unfortunately, it's hard to put it all together.» — 9:23 Можно сделать более совершенный RISC-процессор, и всё в нём будет лучше, но собрать это в систему почти невозможно.

«Why is it assumed that every problem in computer science is solvable by means of a general purpose device?» — 10:09 Почему мы вообще решили, что любая задача computer science решается универсальным устройством?

«If we could perform calculations a million times faster, everything would change in the world of computing.» — 13:11 Если бы мы считали в миллион раз быстрее, в мире вычислений изменилось бы всё.

«I can't learn without AI.» — 14:54 Я не могу учиться без AI.

«If you want artificial intelligence to be safe and reliable, it must be open source. The reason for this is that you cannot defend against the black box.» — 24:01 Если хочешь, чтобы AI был безопасным — он должен быть open source. Чёрный ящик защитить нельзя.

«You can always lie.» — 24:25 Соврать всегда можно. (про chain-of-thought reasoning)

«The only way to fight against the super smart system in the future is to not enter the battle of who gets the best.» — 24:40 Единственный способ бороться со сверхумной системой — не входить в гонку «у кого лучше».

«If you are special in everything, you will not be special in anything.» — 32:35 Если ты особенный во всём — ты не особенный ни в чём.

«I support the use of Nvidia processors for you all. I support using it for my family, my children, and my loved ones. But I don't support using solar panels for anyone.» — 48:08 Я за то, чтобы все вы пользовались процессорами NVIDIA — моя семья, мои дети. Но я никому не предлагаю солнечные панели.

«If you want me to lose, you have to impose that on me.» — 48:57 Если хочешь, чтобы я проиграл — тебе придётся меня к этому принудить.

«Americans, American technology is one of our national treasures.» — 49:55 Американская технология — одно из наших национальных достояний.

«It's not your fault, my son. It's not your fault. You're a failure. It's not your fault.» — 55:15 Это не твоя вина, сынок. Не твоя вина. Ты неудачник. Это не твоя вина.

«We need a computer worth a billion dollars for Stanford University, and we will build it.» — 57:00 Стэнфорду нужен компьютер за миллиард долларов, и мы его построим.

«I love to do 10% of my work, while 90% of it is hard.» — 43:47 Я люблю 10% своей работы, остальные 90% — тяжкий труд.

«What do you call this? It is suffering.» — 44:31 Как это называется? Это страдание.

«Do not wake up with a lost mind.» — 45:23 Не просыпайся с потерянным разумом.

«We did everything wrong.» — 1:00:42 Мы сделали всё неправильно.

«Strategy is much more important... how you deal with competition, how you enter the market, and how you allocate resources.» — 1:01:23 Стратегия важнее технологии — как ты воспринимаешь конкуренцию, как входишь на рынок, как распределяешь ресурсы.

«AGI will come and will be a defining moment... and we don't know when, not Wednesday and not Thursday at seven.» AGI наступит и будет переломным моментом... и мы не знаем когда — ни в среду, ни в четверг в семь.

Факты

• Базовая компьютерная модель не менялась 64 года со времён IBM System/360.
• Первая книга Хуанга о компьютерной архитектуре была доказательством системы IBM 360.
• NVIDIA ускорила вычисления в 50 раз за 2 года через Grace Blackwell + NVLink72, против ~10× за 5 лет в эпоху закона Мура.
• Крупнейший научный суперкомпьютер мира стоил около $350 млн; Hopper проектировался превзойти его.
• Grace Blackwell NVLink72 — wafer-scale система, объединяющая 72 GPU в единое устройство «размером с тарелку».
• Vera Rubin — следующее поколение архитектуры, проектируется под agents с CPU на сотни ядер и storage-as-memory.
• Almayo (упомянут как self-driving AI) обучился за «несколько миллионов, не миллиардов» долларов — Хуанг приводит как доказательство эффективности подхода.
• NVIDIA выпустила открытые foundation-модели: Nemotron (язык), BioNemo (биология), Almayo (self-driving), Groot (роботы), климатическая модель.
• Nemotron Nano используется кибербезопасными компаниями для детекции атак, потому что быстрая и дешёвая.
• Хуанг оценивает, что для будущего AI нужно в ~1000 раз больше энергии, и «не удивится, если ошибся на несколько порядков».
• В мире существует ~230+ языков, многие из которых крупные лаборатории не приоритизируют (он называет шведский как пример «большой, но не приоритетный»).
• Эндаумент Стэнфорда — Хуанг упоминает «$40 млрд» как сумму, из которой можно вырезать $1B на AI-кластер.
• Tegra (мобильные чипы NVIDIA) выросла до ~$1 млрд бизнеса, затем была отрезана от 3G/4G переходом, поскольку Qualcomm контролировала модем.
• Thor — четвёртое поколение чипа из линии loaded devices/Tegra, теперь используется в робототехнике и автономном вождении.

Источники

• IBM System/360 — первая компьютерная архитектура, доказательство которой Хуанг изучал.
• Джон Хеннесси (Stanford) — за работу над RISC и co-design процессоров/компиляторов.
• AMD — где Хуанг работал во время учёбы в Стэнфорде, проектируя точные процессоры.
• AlexNet (Алекс Крижевский и Илья Суцкевер) — пример прорыва, который перевернул computer vision.
• GPT — переломный момент, после которого reasoning стал предсказуемым следующим шагом.
• Qualcomm — компания, контролировавшая 3G/4G модемы и отрезавшая NVIDIA от мобильного рынка.
• Denny's (сеть закусочных) — место, где Хуанг работал в юности и формировал отношение к работе.
• Anthropic (Claude) — Хуанг прямо рекомендует студентам.
• Фильм Dune (Дюна) — упоминается ироничный аргумент против AI-думеров.

Рекомендации

• Используйте Claude от Anthropic — «очень эффективен и постоянно улучшается».
• Не учитесь без AI — давайте ему читать смежные работы и спрашивайте как у выделенного исследователя.
• Не выбирайте только то, что любите — научитесь хорошо делать любую работу, какая попалась.
• Ищите страдание, а не только страсть — без него не вырабатывается стойкость.
• Стэнфорд должен немедленно выделить $1B на AI-суперкомпьютер для студентов и исследователей.

Итог

Compute изменился целиком: проектировать надо систему, страну и карьеру сразу, потому что универсальных решений больше нет — только co-design всего стека под конкретную задачу.