Stanford CS153 Передовые системы | Масштаб, ОИИ и будущее всего

Коротко

Сэм Альтман на стэнфордском CS153 разбирает масштаб как главную силу своей карьеры: количество переходит в качество, и эмпирически масштаб раз за разом даёт эмерджентные свойства, которых консенсус не ждал, хотя удовлетворительной теории «почему» у него нет. Он рассказывает внутреннюю кухню OpenAI: GPT-3 запустили как API летом 2020, единственным работающим бизнесом оказался копирайтинг, а ChatGPT родился как демо, чтобы убедить других покупать API, и неожиданно стал вирусным за пять дней. Альтман ставит цель: к сентябрю гонять 500 тысяч GPU в эквиваленте A100 на ИИ-исследователей, к марту 2028 получить end-to-end ИИ, придумывающий новые архитектуры. Он спорит с тезисом, что LLM, тупик: модели уже превосходят людей в одних задачах и проваливаются в других, вчера одна из их моделей опровергла математическую гипотезу. И главная тревога, концентрация: интеллект должен стать утилитой как электричество, иначе пара компаний заберёт большую часть богатства планеты.

Главный тезис

Масштаб, недоисследованный закон природы: толкать систему туда, куда ещё никто не толкал, почти всегда вскрывает что-то важное, и ставить против масштабирования LLM сейчас, ошибка, даже если объяснить механизм Альтман не берётся.

Ключевые идеи

• 4:34, масштаб, отдельный зверь: количество становится собственным качеством, и это самое интересное наблюдение его карьеры.
• 5:05, у него нет удовлетворительной теории, почему масштаб работает; он защищает тезис чисто эмпирически и сам от этого нервничает.
• 6:30, он понял это в Y Combinator: магия не в отборе лучших, а в сетевых эффектах внутри батча, эмерджентное свойство, которое никто раньше не нащупал, потому что никто не финансировал стартапы в таком масштабе.
• 1:55, OpenAI, самый странный стартап Долины: пошёл обратным путём, из исследовательской лабы в компанию, и Альтман такого не рекомендует.
• 2:37, при доступной цене токенов один человек делает то, на что раньше нужна была команда из 100 инженеров; этого варианта в наборе опций просто не было.
• 3:29, нельзя выдать студенту задачу «реши»: если она очевидна, её видят все; OpenAI стартовал как одна из ~4 попыток AGI в мире.
• 9:00, никто не думал запускать 10 000–100 000 GPU: нужны были инженерный талант, капитал и готовность к риску, и всегда находились умные люди, говорящие «не лезь, попробуй поменьше».
• 14:08, после запуска API GPT-3 летом 2020 единственным реально работающим бизнесом оказался копирайтинг, остальное было плохо.
• 13:36, ChatGPT делали как демо, чтобы убедить разработчиков платить за API; вместо $10–20 млн бизнеса он стал вирусным.
• 16:05, на пятый день роста объявили «хорошую чрезвычайную ситуацию»: строить компанию и продукт одновременно.
• 0:37, внутренняя ставка OpenAI: код, это актуатор, через который модель управляет компьютерами, а робот, реальным миром.
• 18:28, к сентябрю, 500 тысяч A100-эквивалента на ИИ-исследователей-стажёров, к марту 2028, талантливый ИИ-исследователь, ищущий новые архитектуры.
• 20:57, электрические компании продавали не электричество, а «свет ночью»; OpenAI ещё не нашёл аналога, «мы продаём интеллект» не резонирует.
• 25:27, недоинвестирован инференс: каждая фронтир-лаба должна быть инференс-компанией, чтобы интеллект стал дешёвым и обильным.
• 27:42, world models нужны для роботов, но ставить против масштаба LLM сейчас, ошибка; вчера модель опровергла математическую гипотезу.
• 30:50, если учить и оценивать как до ИИ, критическое мышление атрофируется; за 3,5 года после ChatGPT системных изменений в образовании он не увидел.
• 35:24, ~80% вероятность демократического пути, но мощные игроки тянут к концентрации власти.

Почему это важно

Это голос человека, который держит руку на главном кране отрасли, и он честно говорит, что не понимает физику собственного успеха, масштаб работает, теории нет. Выигрывают те, кто рискует толкать систему дальше консенсуса; проигрывают учёные, сделавшие из «это не сработает» часть своей идентичности. Названы конкретные ставки и игроки: OpenAI с целью на 500 тысяч GPU и ИИ-исследователя к 2028, спор с позицией Яна Лекуна про world models, Дженсен Хуанг с его «вычисления как утилита», Норвежский суверенный фонд Николая Тангена как готовая модель распределения. За техническим разговором, политический: либо интеллект становится утилитой вроде электричества с доступом для всех, либо пара компаний забирает большую часть богатства Земли, и Альтман прямо зовёт студентов давить в сторону первого.

Идеи

• Нельзя задать студенту «правильную» проблему: если она ясна тебе, она ясна многим, и ценность уже размыта.
• Исследовательская компания, выросшая из лабы,, против нормального порядка вещей, и это больно.
• Барьер в головах при масштабировании моделей был не технический, а «а зачем это вообще нужно».
• GPT-3 был «крутой демкой за миллиарды долларов компьютеров», под которую не находился продукт.
• Люди жгли API-ключи просто чтобы поболтать с моделью, сигнал, что чат и есть то, чего хотят.
• «Гарантированный хит»: когда что-то растёт, даже будучи плохим,, это актив, а не хайп-цикл.
• ChatGPT задумывался как инструмент продаж API, а стал самим продуктом.
• Модель ломается всё быстрее и непредсказуемее по мере роста, отсюда страх масштабировать.
• Текущий пайплайн (pre/mid/post-training + RL) Альтману кажется неоптимальным и «странно, что это вообще пайплайн».
• Оптимальную архитектуру обучения должен в итоге найти сам ИИ, это исследовательская задача для ИИ.
• Электричество поначалу звучало страшно, «штука, которая войдёт в дом и убьёт тебя».
• Продавать надо не субстанцию (электричество/интеллект), а конкретную пользу («свет ночью»).
• Потребитель будет мыслить в токенах или на уровень выше, железо абстрагируется прочь.
• Вычисления и интеллект, две разные «утилиты», и спикеры курса путают их, говоря одно слово.
• Дешевле и умнее модель, спрос не падает, а растёт, потому что находится больше применений.
• Личные агенты: 10, 100, 1000 работающих на тебя, это колоссальный объём инференса.
• Дефицит вычислений может стать вечным, пока есть прогресс: товар торгуется выше «справедливой» цены.
• Спред цен H100 и Blackwell на спотовом рынке был порядка 5X.
• Норвежский фонд владеет 1,5% всех публичных компаний планеты, фактически базовый доход уже существует.
• Крупнейший работодатель США, государство, перераспределение возможно без новых идей.
• Альтман больше верит в долевое владение, чем в ежемесячные чеки UBI, ближе к психологии человека.
• Влияние смещается от труда к капиталу, и граждане должны владеть куском этого капитала.
• Сделать ставку публичной, значит потерять рычаг влиять на её исход.
• Он мыслит письмом и пишет много того, что никому не показывает,, поэтому благодарен, что научился писать.
• Часть навыков мы будем преподавать, хотя машина делает их лучше,, потому что само обучение формирует мышление.

Инсайты

• Обучение на эмпирике, а не на теории, опережает понимание: можно эксплуатировать закономерность, не зная её причины.
• Эмерджентность, функция масштаба: свойства, которых нет на малых числах, появляются скачком, и предсказать их заранее нельзя.
• Привязка идентичности к убеждению «X сработает/не сработает» делает человека слепым к данным, структурный когнитивный риск в обе стороны.
• Поле тормозят не дураки, а уверенные эксперты, переоценившие пределы метода.
• Распределение новой утилиты, это не техническая, а политическая развилка, и дефолт тяготеет к концентрации.
• Цена меняет природу спроса: при достаточном удешевлении интеллекта спрос ведёт себя как безграничный.
• Объяснять прорыв миру нужно через знакомую пользу, а не через сущность технологии, иначе он пугает или не резонирует.
• Аналогии переносят понимание между доменами, но ошибка накапливается, метафора, полезная в Долине, ломается на глобальной аудитории.
• Узкое место смещается от обучения моделей к инференсу, туда, где интеллект превращается в дешёвый и массовый ресурс.
• Превосходство и провалы ИИ распределены неравномерно по задачам, и сама форма этого распределения пока неизвестна.
• Институты (образование, экономика) адаптируются к технологическим скачкам с задержкой, и отсутствие изменений, это ошибка, а не стабильность.
• Решения для постдефицитной экономики, возможно, уже существуют, нужны не новые идеи, а их переприменение под эпоху.

Цитаты

«Skala adalah binatangnya sendiri. Itu kuantitas adalah kualitasnya sendiri.», 4:32 Масштаб, отдельный зверь. Количество, это собственное качество.

«saya tidak menawarkan teori yang menurut saya memuaskan untuk menjelaskannya», 5:05 Я не предлагаю теории, которая удовлетворительно это объясняла бы.

«satu-satunya bisnis yang membuat orang bisa bekerja secara signifikan dengan CB3 adalah hak cipta», 14:04 Единственный бизнес, где у людей всерьёз что-то работало на GPT-3,, это копирайтинг.

«itu menjadi viral», 15:22 Но это стало вирусным.

«Ini darurat yang bagus tetapi kami harus membangun perusahaan dan produk sekaligus.», 16:05 Это хорошая чрезвычайная ситуация, но нам пришлось строить компанию и продукт одновременно.

«saya rasa semua Frontier Lab harus menjadi perusahaan inferensi secara signifikan», 25:29 Думаю, каждая фронтир-лаба должна в значительной степени быть инференс-компанией.

«bertaruh melawan skala LLM saat ini terasa agak keliru bagiku», 27:42 Ставить против масштаба нынешних LLM мне кажется ошибочным.

«Kegilaan adalah melakukan hal yang sama berulang-ulang ketika disajikan dengan data yang tidak berfungsi», 28:30 Безумие, повторять одно и то же, когда данные показывают, что это не работает.

«mereka tidak berbicara tentang penjualan listrik», 20:35 Они не говорили о продаже электричества.

«kita menjual intelijen karena orang-orang seperti tidak beresonansi», 21:44 Мы продаём интеллект, но людей это как будто не цепляет.

«keterampilan berpikir kritis orang akan berkurang secara signifikan», 30:50 Навыки критического мышления у людей заметно ослабнут.

«secara sesekitar 80 persen kita akan berakhir di jalur demokrasi», 35:24 Где-то с вероятностью 80% мы окажемся на демократическом пути.

«akan terasa sangat tidak adil jika beberapa perusahaan memiliki semua ini», 34:26 Будет ощущаться крайне несправедливо, если всем этим будут владеть несколько компаний.

«saya pikir orang harus sedikit manik», 39:39 Думаю, людям стоит немного паниковать.

«selama kita bisa terus membuat kemajuan dalam hal ini akan ada kekurangan selamanya», 40:29 Пока мы двигаем это вперёд, дефицит будет вечным.

Факты

• Альтман читал в Стэнфорде CS183 «How to Start a Startup» в 2014 году; курс хочет обновить, потому что стартапы сильно изменились.
• На старте OpenAI был, по его словам, одной из примерно 4 попыток AGI в мире.
• API GPT-3 выпустили примерно летом 2020; изначально интереса не было, затем за месяц он завирусился в Twitter.
• Единственным значимо работавшим на GPT-3 бизнесом был копирайтинг (в транскрипте искажено как «hak cipta»).
• ChatGPT изначально делали как демо, ожидая бизнес уровня $10–20 млн; рост шёл ~5 дней, после чего объявили «чрезвычайную ситуацию».
• С момента запуска ChatGPT прошло 3,5 года (на момент выступления).
• Цель: к сентябрю этого года, 500 тысяч GPU в эквиваленте A100 на ИИ-исследователей; к марту 2028, end-to-end ИИ-исследователь, ищущий новые архитектуры.
• Codex стал очень хорош в начале этого года; с версией 5.5 Альтман увидел реальные точки перелома.
• Текущий пайплайн обучения: pre-training, mid-training, post-training, RL + обратная связь; Альтман ждёт большой переписи этого подхода.
• Норвежский суверенный фонд (им руководит Николай Танген) владеет 1,5% всех публичных компаний планеты и даёт эффективный базовый доход.
• Спред цен H100 и Blackwell на спотовом рынке был порядка 5X (Альтман не уверен, насколько актуально сейчас).
• Вчера одна из моделей OpenAI опровергла математическую гипотезу, над которой долго работали учёные (Альтман не уточняет, какую).
• Альтман отучился в Стэнфорде только 2 года; на первом курсе брал вводные семинары каждый квартал.

Источники

• CS183 «How to Start a Startup», курс Альтмана в Стэнфорде, 2014.
• GPT-3, ChatGPT, Codex, GPT-5.5, продукты и модели OpenAI, упомянутые в разборе.
• Ян Лекун (LeCun), позиция про world models и «LLM, тупик», с которой Альтман спорит (в транскрипте искажено).
• Дженсен Хуанг (Jensen), тезис «вычисления как утилита», прозвучавший в курсе ранее.
• Николай Танген и Норвежский суверенный фонд, модель распределения капитала.
• Y Combinator, источник наблюдений Альтмана про масштаб и сетевые эффекты батча.
• Финансированное Альтманом крупное исследование UBI (базового дохода).

Итог

Масштаб упрямо вознаграждает тех, кто толкает систему дальше, чем кто-либо пробовал,, и весь вопрос десятилетия в том, достанется этот рычаг всем или нескольким компаниям.