Stanford CS230 | Осень 2025 | Лекция 1: Введение в глубокое обучение

Коротко

Эндрю Ын открывает осенний CS230 (сентябрь 2025) в формате flipped classroom: видео смотрят дома, аудитория идёт на обсуждения. Он рисует карту дисциплины, CS-фундамент → machine learning → deep learning → generative AI на трансформерах, и объясняет, почему глубокое обучение победило: есть рецепт обучения очень больших нейросетей, которые поглощают данные и дают предсказуемый по scaling laws рост качества. Курс из пяти модулей (основы NN на чистом Python, тюнинг гиперпараметров, дисциплина ML-проектов, свёрточные сети, sequence-модели и трансформер) строится на практике, а не на «truth and beauty». Большая часть лекции, про рынок труда: совет «не учиться кодить» Ын называет худшим карьерным советом, а ключевой навык будущего, связка CS-фундамента с AI-assisted coding. И да, он продаёт философию «move fast and be responsible»: дешёвые quick-and-dirty прототипы в песочнице позволяют пробовать 20 идей и оставлять то, что сработало.

Главный тезис

Глубокое обучение выиграло потому, что масштабирование больших нейросетей на больших данных даёт предсказуемый рост качества. В эпоху AI-assisted coding самый ценный специалист, тот, кто соединяет понимание CS/ML-фундамента с умением работать с AI-инструментами, а не просто вайбкодит промптами.

Ключевые идеи

• 3:00, прогресс ИИ за 10–15 лет сделан масштабированием: deep learning хорош тем, что поглощает большие объёмы данных.
• 3:48, у традиционных алгоритмов (логрегрессия, деревья) качество выходит на плато с ростом данных; нейросети, нет.
• 4:39, есть рецепт обучения очень больших сетей, в которые можно «затолкать» много данных ради исключительного качества.
• 6:26, статья Baidu и потом scaling laws OpenAI показали: прирост качества предсказуем, что и запустило инвестиции в дата-центры.
• 7:25, слоистая карта: CS → ML → deep learning → generative AI (трансформеры), каждый слой на предыдущем.
• 8:45, «deep learning» и «нейросети» практически синонимы; «deep learning» просто лучший бренд.
• 10:52, для многих задач одного промптинга LLM недостаточно, приходится спускаться на слой deep learning.
• 15:45, обучающих LLM с нуля мало; массовый навык, дообучение (fine-tune) и применение предобученных моделей.
• 22:38, когда продукт находит product-market fit, счёт за LLM «взлетает», и fine-tune маленьких моделей сгибает кривую затрат назад.
• 26:42, главное отличие сильных команд, дисциплинированный процесс разработки, дающий 10x по скорости.
• 27:19, слепое следование хайпу («ИИ нужны данные/GPU») часто не помогает; нужна диагностика под конкретную задачу.
• 38:20, AI-coding сильнее всего ускоряет быстрые прототипы, а не production-grade софт (где он рискованнее, пример со снесённой БД).
• 44:58, когда кодить проще, кодить должны больше людей (история перфокарт, COBOL); совет «не учиться кодить», худший карьерный совет.
• 46:11, рынок не может найти людей с навыками Gen AI / deep learning, при этом старый «не-AI» скилл-сет 2002 года не в спросе.
• 41:25, выход ML-системы зависит и от кода, и от данных, которые ты не контролируешь; узнать, что в данных, можно только построив систему.

Почему это важно

Это вводная лекция флагманского курса от Эндрю Ына, человека, который стоял у истоков масштабирования deep learning на GPU (он прямо вспоминает первую GPU-машину, собранную студентом в общаге). Лекция не про математику, про рыночное позиционирование навыка: Ын отвечает на тревогу студентов про рост безработицы среди CS-выпускников и говорит, кто выигрывает (те, кто соединил CS-фундамент с AI-coding и Gen-AI-инструментами вроде RAG/fine-tune/agentic), а кто проигрывает (full-stack с замороженным скилл-сетом 2002 года, университеты с устаревшими программами). Упомянуты ключевые игроки экосистемы, OpenAI, Baidu, Anthropic (Claude), Google (Gemini), Meta (Llama), инструменты Claude Code, Cursor, Codex, Gemini CLI, Windsurf, как контекст, в котором выпускник должен уметь работать.

Идеи

• Flipped classroom существует потому, что студенты Stanford и так смотрели лекции онлайн, проще сделать качественные видео, чем читать одно и то же годами.
• Первую GPU-машину Ына для обучения сетей на CUDA собрал студент-бакалавр в общаге, Ian Goodfellow (будущий автор GAN).
• Работа, сделанная в общаге или студенческом жилье, в ретроспективе может иметь огромный эффект, мотивационный посыл студентам.
• Hyperparameters, это «параметры, управляющие параметрами» (learning rate, размер сети).
• Навык тюнинга гиперпараметров буквально определял, уйдёт ли аспирант спать в 3 утра или в 7 утра.
• Structured data = таблицы чисел (Excel, Sheets); unstructured = текст/аудио/картинки/видео, разные типы требуют разных подходов.
• LLM «выросли» как text-in/text-out машины, поэтому для аудио/видео/изображений Ын спускается напрямую к deep learning.
• Прототипирование на Gen AI дёшево («пара долларов за миллион токенов»), но на масштабе счёт «захватывает дух».
• Неопытные команды выбирают, над чем работать, почти случайно, прочитали статью, пошли полгода собирать данные.
• Реальная история: CTO семейного бизнеса купил кучу GPU и отдал их племяннику-студенту со словами «он знает AI».
• Песочница (sandbox) на собственном ноутбуке без чувствительных данных снижает требования к безопасности, можно двигаться быстрее.
• «Если стоимость proof-of-concept низкая, кого волнует, что из 20 в продакшн пойдут 1–2».
• «Move fast and break things» получило плохую репутацию; Ын переформулирует: «move fast and be responsible».
• Самые ответственные команды, что он знает,, одни из самых быстрых: скорость даёт быструю обратную связь и раннее обнаружение проблем.
• Один из коллабораторов утром прислал в Slack, что agentic-кодер сделал ошибку миграции и стёр все записи БД (к счастью, тест на 5 юзеров).
• Аналогия с генерацией картинок: коллаборатор Tommy Nelson знал историю искусств и язык искусства, и через Midjourney получал красивые картинки, а Ын мог только «нарисуй симпатичных роботов».
• «Catch them all»: AI-курсы Stanford надо собирать как покемонов, берите несколько.
• CS230 и CS229 спроектированы с малым перекрытием, можно брать вместе; в некоторых годах делали совместные проекты с более высокой планкой.
• Хедж про достаточность данных: иногда 100 точек хватает, иногда «100 миллиардов спустя всё ещё мало», заранее сказать трудно.
• Для лиц с нуля ~50 000 уникальных лиц, нормальный старт (опыт face recognition).
• Для greenfield-проектов совет один: собрать чуть-чуть данных, обучить модель и по результату калибровать ожидания.
• ИИ-навык даёт «право играть» в чужих доменах: автономные вертолёты, реклама, веб-поиск, e-commerce, топливная эффективность судов, климатическое моделирование, борьба с фродом.
• Борьба с финансовым фродом эмоционально захватывает: каждый час промедления, утечка денег, алгоритмы строят в реальном времени по новым схемам.
• Ын сегодня не нанял бы инженера, не умеющего использовать AI в работе, как не нанял бы человека на перфокартах вместо клавиатуры.
• Реальный кейс найма: выбрал почти-выпускника, владеющего Gen-AI-кодингом, против full-stack с 10-летним опытом, но скилл-сетом 2002 года.
• Безработица свежих CS-выпускников выросла относительно прошлого десятилетия, отсюда тревога студентов.
• Работодатели сами не научились нанимать под Gen AI: если в компании никто не знает Gen AI, как они проведут интервью?
• В курсе планируются симуляционные упражнения «что бы вы сделали в этом сценарии» для тренировки системного принятия решений.
• Ын признаётся, что бормочет («mumbling») с подросткового возраста и просит махать ему, если голос «уходит вниз».

Инсайты

• Преимущество deep learning архитектурно: способность конвертировать дополнительный compute и данные в качество без выхода на плато, вот источник доминирования, а не отдельная «умная» идея.
• Предсказуемость (scaling laws) важнее самого качества: именно она превращает обучение моделей из исследования в инвестиционное решение и оправдывает капзатраты на дата-центры.
• Брендинг влияет на траекторию технологии: переименование «нейросетей» в «deep learning» помогло волне взлететь, нарратив часть инженерной реальности.
• Промптинг, это потолок, а не фундамент: настоящий рычаг качества и стоимости лежит на слое ниже (fine-tune, deep learning), куда большинство не спускается.
• Дешевизна экспериментов меняет стратегию: когда proof-of-concept почти бесплатен, оптимально максимизировать число попыток, а не точность каждой ставки.
• Главный дефицит в ML, не алгоритмы, а дисциплина диагностики: умение выбрать правильное действие важнее знания методов и даёт 10x.
• Неопределённость ML структурна: ты контролируешь код, но не данные и не реакцию пользователей, поэтому единственный способ узнать правду, построить и запустить.
• Скорость и ответственность не противоположны, а взаимоусиливают: быстрый цикл обратной связи, лучший инструмент управления рисками.
• Удешевление навыка повышает спрос на него, а не понижает (эффект Джевонса для кодинга): автоматизация инструмента расширяет, а не схлопывает рынок.
• Ценность мигрирует, а не исчезает: устаревает конкретный скилл-сет, а не профессия, проигрывают те, кто заморозил навыки, а не «программисты вообще».
• Качество результата AI-инструмента упирается в экспертизу пользователя (art history → язык искусства), значит доменное знание становится не лишним, а решающим множителем.
• Универсальность ML-навыка («right to play») делает специалиста горизонтальным ресурсом для всех дисциплин, у которых есть данные.

Цитаты

«who doesn't want learning that is really deep, like it's just a good brand», 9:04 кто не хочет обучения, которое реально глубокое, это просто хороший бренд

«just prompting LMs, it doesn't cut it», 10:52 просто промптить языковые модели, этого недостаточно

«his name was Ian Goodfellow», 5:25 его звали Иэн Гудфеллоу

«if you buy this many GPUs, throw this with compute and this with data added, what would the performance be?», 6:29 если купишь столько-то GPU, добавишь столько compute и столько данных, какое будет качество?

«I'm not going to do any truth and beauty style», 18:25 я не буду заниматься стилем «истина и красота»

«to bend the cost curve back down, often a lot of the techniques in deep learning become very relevant», 22:07 чтобы согнуть кривую затрат обратно вниз, часто очень кстати оказываются техники deep learning

«less experienced teams will often almost pick things at random to work on», 27:00 менее опытные команды часто выбирают, над чем работать, почти случайно

«my nephew knows AI. I'm giving him this very large budget in GPUs», 28:05 мой племянник знает AI, я даю ему этот огромный бюджет в GPU

«we just wiped out all of the database records», 38:41 мы просто снесли все записи базы данных

«move fast and be responsible», 43:17 двигайся быстро и будь ответственным

«who cares if you have to do 20 of them, and that's the price for finding the one or two things that works really well», 40:56 какая разница, что придётся сделать 20, это цена за то, чтобы найти одну-две вещи, которые реально работают

«while you control the code 100%, you don't really know, usually, what's really in the data», 41:25 хотя код ты контролируешь на 100%, ты обычно не знаешь, что реально в данных

«I think we'll look back on this as some of the worst career advice ever given», 44:49 думаю, мы будем вспоминать это как один из худших карьерных советов в истории

«when coding becomes easier, more people should do it rather than fewer», 44:58 когда кодить становится проще, кодить должно больше людей, а не меньше

«who needs programmers anymore?», 45:37 кому вообще нужны программисты?

«I just won't hire someone that uses a punch card instead of keyboard and terminal», 47:21 я просто не найму человека, который использует перфокарту вместо клавиатуры и терминала

«I picked the fresh college grad over someone with 10 years of experience», 48:32 я выбрал свежего выпускника против человека с 10 годами опыта

«please make pretty pictures of robots for me», 50:30 пожалуйста, сделай мне симпатичных картинок роботов

«I think of AI courses at Stanford that have been like Pokemon. You've got to catch them all», 58:20 я думаю об AI-курсах Stanford как о покемонах: ты должен поймать их всех

«the barrier to entry to AI to coding is the lowest it's ever been in our lives», 52:47 барьер входа в AI-кодинг сейчас самый низкий за всю нашу жизнь

Факты

• Лекция читается в сентябре 2025 в Stanford, курс CS230, co-instructor, Kian Katanforoosh (в транскрипте «Kian»).
• Формат курса, flipped classroom; аудиторное время обычно ~20 минут вместо полного слота расписания.
• Первую GPU-машину Ына для обучения нейросетей на CUDA собрал в общаге студент-бакалавр Ian Goodfellow (~15 лет назад).
• Прогресс в ИИ через масштабирование Ын датирует последними 10–15 годами.
• Предсказуемость прироста качества показала статья из Baidu, идею scaling laws популяризировала OpenAI.
• Курс состоит из пяти модулей: основы NN/DL на чистом Python; тюнинг/гиперпараметры; стратегии ведения ML-проектов; свёрточные сети (vision); sequence-модели и трансформер.
• Точки входа в AI в Stanford: CS129 (самый лёгкий on-ramp, прикладной), CS229 (математический, теоретический, интенсивный), CS230 (прикладной, только deep learning).
• CS229 покрывает много техник: supervised/unsupervised, decision trees, boosting, k-means; CS230 идёт вглубь только по deep learning.
• Стоимость Gen-AI на прототипировании, «пара долларов за миллион токенов»; счета упомянуты как «$20–$100 в месяц» на старте и «breathtaking» на масштабе (точные цифры Ын называть отказался).
• Для face recognition с нуля ориентир, около 50 000 уникальных лиц (по личному опыту).
• Названы инструменты AI-coding: Claude Code, Cursor, Gemini CLI, Codex, Windsurf; LLM, ChatGPT, Claude, Gemini, Meta Llama.
• Gen-AI-инструменты, которые Ын ищет у кандидатов: RAG, векторные БД, evals/error analysis, guardrails, knowledge graphs, multimodal LLM, fine-tune, agentic workflows.
• Безработица свежих CS-выпускников «тикнула вверх» относительно прошлого десятилетия (Ын подаёт как наблюдение, не точную статистику).
• Реальный кейс найма: выбран почти-выпускник с Gen-AI-кодингом против full-stack-инженера с 10 годами опыта, но навыками «2002 года».
• Картинки для курса Generative AI for Everyone генерировал через Midjourney коллаборатор Tommy Nelson, знавший историю искусств.

Источники

• Люди: Andrew Ng (спикер), Kian Katanforoosh (co-instructor), Ian Goodfellow, Tommy Nelson, Percy Liang (упомянут как возможный автор курса по обучению фронтир-LLM).
• Организации/модели: OpenAI (scaling laws), Baidu (предсказуемость scaling), Anthropic / Claude, Google / Gemini, Meta / Llama, ChatGPT.
• Инструменты: Claude Code, Cursor, Gemini CLI, Codex, Windsurf, Midjourney, TensorFlow, PyTorch.
• Курсы Stanford: CS129, CS229, CS230, CS111; онлайн-курс Generative AI for Everyone.
• Концепции/статьи: scaling laws (OpenAI), исследование предсказуемости из Baidu, архитектура Transformer.

Рекомендации

• Учите CS-фундамент: понимание того, как работают компьютеры и ИИ, кратно повышает отдачу от AI-assisted coding против вайбкодинга.
• Учитесь кодить несмотря на автоматизацию, и распространите это среди друзей с других факультетов; совет «не учиться кодить» Ын считает вредным.
• Берите несколько AI-курсов («catch them all»); CS230 и CS229 можно проходить вместе.
• Осваивайте прикладной Gen-AI-тулинг: RAG, fine-tune, evals, guardrails, agentic workflows.
• Стройте quick-and-dirty прототипы в песочнице и пробуйте много идей, «move fast and be responsible».
• Для нового домена без аналогов: соберите немного данных, обучите модель и калибруйте по результату, а не следуйте хайпу про «нужно больше данных/GPU».

Итог

Победа deep learning, победа масштабируемого и предсказуемого рецепта. Победа специалиста сегодня, умение соединить понимание фундамента с AI-инструментами и дисциплиной быстрого ответственного эксперимента.