Лек 01. Введение в глубокое обучение

Коротко

Вводная лекция продвинутого аспирантского курса по deep learning (MIT), где deep learning определяется через два компонента: нейросети (стеки линейных преобразований с поэлементными нелинейностями) и дифференцируемое программирование (параметризация частей программы с градиентной оптимизацией). Лектор гонит историю нейросетей через цикл энтузиазма: перцептрон Розенблатта (1958), критика Минского-Паперта (1972), backpropagation (1986), CNN ЛеКуна (1998), «AI-зима» около 2000-го, прорыв AlexNet (2012), и привязывает успех ML к триаде «теория + программирование + данные». Разбираются базовые блоки, которые студенты уже должны знать: gradient descent, перцептрон, нелинейности (step/tanh/sigmoid/ReLU), стэкинг слоёв, softmax cross-entropy, тензоры и батчинг. Отдельно, overparameterized-сети вопреки классической теории не переобучаются, а обобщаются (феномен double descent), и соотношение ширины/глубины, не наука, а закрытый секрет лабораторий вроде OpenAI. Лектор без обиняков фиксирует: индустрия движется к закрытости (API вместо весов) и централизации крупномасштабного ML.

Главный тезис

Deep learning держится на связке нейросетей и дифференцируемого программирования, а реальный успех обеспечила не только теория, в равной мере эффективное программирование железа (GPU) и крупномасштабные размеченные данные. При этом многое в области остаётся эмпирикой без теоретических гарантий.

Ключевые идеи

• 1:16, deep learning = нейросети (стеки линейных преобразований с поэлементными нелинейностями) + дифференцируемое программирование, где градиентная оптимизация подбирает параметры.
• 2:11, прорывы рождаются из смеси теории и практики, и обе нужны для будущего прогресса.
• 4:45, финальный проект не должен гнаться за SOTA: «bigger is better» не для всех, ценный навык, делать impactful research при централизации крупного ML.
• 13:55, перцептрон (1958), первая нейросеть: сумма пиксельных представлений → нелинейность → категоризация; этот блок до сих пор внутри ChatGPT.
• 14:54, Минский и Паперт (1972) математически описали пределы перцептрона и обрушили энтузиазм.
• 15:38, книга Parallel Distributed Processing (1986) ввела backpropagation, что позволило обучать многослойные перцептроны и решить XOR-проблему.
• 17:27, на NeurIPS-2000 слова «neural» и «network» в заголовке предсказывали отклонение статьи, это и есть «AI-зима».
• 18:24, AlexNet (2012): прорыв не в архитектуре, а в умении перепрофилировать GPU под обучение сетей.
• 19:33, третий критичный компонент наряду с теорией и программированием, крупномасштабные размеченные данные (ImageNet).
• 19:50, энтузиазм к нейросетям колеблется циклами ~28 лет; сейчас, пик хайпа.
• 28:31, step-функция плоха как нелинейность: недифференцируема, градиент ноль, backprop не знает, куда двигаться.
• 33:55, ReLU = max(0,z), дефолтный выбор: эффективна, дала ~6x ускорение сходимости против tanh, но «мёртвые» юниты в отрицательной зоне.
• 40:55, два+ слоя с нетривиальной нелинейностью, универсальный аппроксиматор, но широкая 2-слойная сеть крайне неэффективна против узкой глубокой.
• 44:23, overparameterized-сети должны были бы переобучаться, но обобщаются, double descent проходит порог интерполяции и улучшает результат.
• 49:29, соотношение ширины и глубины в GPT, закрытый секрет; научного рецепта нет, кто найдёт, «get a job, make seven figures».

Почему это важно

Лекция фиксирует структурный сдвиг: deep learning ушёл из открытого академического поля в индустрию, где крупномасштабное обучение сосредоточено в руках игроков вроде OpenAI, а веса и архитектуры всё чаще спрятаны за API (GPT-4o). Для академии это меняет правила, студентам без тысяч GPU нужно учиться делать значимые исследования без гонки за масштабом. Лектор (работающий над biodiversity loss через ML) попутно подсвечивает обратную сторону: углеродная стоимость обучения моделей реальна, «массивное» не равно «нужное», лёгкие модели вроде Stable Diffusion оказались крайне влиятельны. Выигрывают те, у кого данные и железо; проигрывают те, кто рассчитывал на открытость, которая сжимается.

Идеи

• Курс требует писать к итоговому проекту блог-пост, отражение реальности, где у каждой ML-статьи теперь есть сопроводительный блог.
• Навык донести техническую сложность в визуальном/интерактивном формате без упрощения, отдельная ценная компетенция.
• Перцептрон не умер, он живёт компонентом «во многих-многих ёмкостях» внутри современных LLM.
• Теория и building blocks для нейросетей существовали задолго до их работоспособности, не хватало железа и программной парадигмы.
• «AI-зима» наступила не из-за отсутствия идей, а из-за неспособности эффективно обучать то, что уже было придумано.
• AlexNet, «shot heard around the world»: впервые превзошёл все методы на ImageNet.
• Человеческий мозг, «existence proof» того, что моделирование сложных явлений вообще возможно.
• Tanh выражается через сигмоиду: tanh(z) = 2·sigmoid(2z) − 1.
• Сигмоиду исходно интерпретировали как «firing rate» нейрона.
• Sigmoid плохо обусловлена: выходы центрированы вокруг 0.5, есть смещение.
• Выбор нелинейности, это чаще «что делает сеть обучаемой», а не «что моделирует данные».
• Подбор активаций по чужим статьям иронично зовётся «grad student gradient descent».
• Для синусоидальных/фурье-признаков иногда осмысленна синусоидальная активация, редкое исключение из «всегда ReLU».
• Двуслойный перцептрон даёт нелинейную классификацию как «пересечение двух ramp», пирамидальную область выше остального.
• Размер обучающих данных, отдельное «измерение capacity»: мало данных → легко переобучиться, нет покрытия распределения.
• Cross-entropy измеряет «дистанцию» между предсказанным распределением и one-hot истиной.
• Выходы сети, это scores, не настоящие вероятности (лектор настойчиво берёт «probability» в кавычки).
• Обучение, это буквально «wiggling around weights», пока модель не совпадёт с желаемым выходом.
• Тензор = многомерный массив; каждый слой, это представление входных данных.
• Батчинг работает, потому что лоссы по точкам всё равно суммируются, их можно считать параллельно.
• Низкоуровневые признаки (линии, ориентации) переиспользуемы: классификатор линий → классификатор буквы T.
• Ранние слои CNN кластеризуют плохо по категориям, поздние, формируют концепты (кластеры «рыб»).
• Pre-trained представления, спасение, если нет big data или big compute.
• Масштаб мозга как метафора: червь, 302 нейрона, дрозофила, 15 000, человек, ~100 млрд, слон, 250 млрд.
• Вводная лекция, по прогнозу самого лектора, будет наименее просматриваемой, «просто логистика курса».

Инсайты

• Прогресс в ML определяется не одной переменной, а одновременным созреванием трёх независимых: алгоритмов, вычислительного железа и данных, отставание любой тормозит всё поле.
• История нейросетей, не линейный прогресс, а маятник коллективного энтузиазма, где научная критика и технический прорыв симметрично разворачивают настроение сообщества.
• Узкое место часто не идея, а её исполнимость: разрыв между «теоретически возможным» и «практически эффективным», главный двигатель и тормоз области.
• Эмпирический характер deep learning (отсутствие теоретических гарантий выбора архитектуры/активаций), не временный пробел, а текущее состояние зрелости дисциплины.
• Универсальная аппроксимация бесполезна без эффективности: глубина побеждает ширину не по выразительности, а по экономии параметров.
• Феномен double descent показывает, что классическая bias-variance интуиция ломается в режиме переизбытка параметров, overparameterized-сети тяготеют к простым обобщающим функциям, а не к запоминанию.
• Капитализация знаний смещается от открытого общего блага (open source, modular reuse) к проприетарным API, централизация ресурсов конвертируется в закрытость.
• Ограниченность ресурсов, не помеха, а методологическое ограничение, формирующее отдельный класс ценных исследовательских навыков (креативность вместо масштаба).
• Этическая рамка для работы с ИИ строится через аналогию с человеком-коллегой: норма не «что технически возможно», а «что бы я попросил у однокурсника».
• Экологическая цена вычислений делает «масштаб ради масштаба» не нейтральным инженерным выбором, а решением с внешними издержками.

Цитаты

«didn't work, and now it works», 0:26 не работало, а теперь работает

«You're not going to be able to out-compete OpenAI on this research project», 4:45 Вы не сможете переиграть OpenAI в этом учебном проекте

«to think about how you can still do impactful machine learning research in a way that is not just bigger is better», 5:06 подумать, как всё ещё делать значимые ML-исследования так, чтобы «больше» не означало автоматически «лучше»

«the most predictive words and papers on the title for acceptance were belief propagation and Gaussian», 17:27 самыми предсказывающими принятие словами в заголовке были belief propagation и Gaussian

«the title words most predictive of paper rejection were neural and network», 17:39 словами, сильнее всего предсказывающими отклонение статьи, были «neural» и «network»

«So this is what we called the AI winter», 17:46 Вот это мы и называли AI-зимой

«I can't tell you how much of a sort of shot heard around the world this was in our field», 18:50 Не передать, каким «выстрелом, услышанным во всём мире» это стало для нашей области

«Machine learning does not work without large-scale curated labeled data», 19:33 Машинное обучение не работает без крупномасштабных курируемых размеченных данных

«so things don't always need to be big to be good», 23:01 значит, чтобы быть хорошим, не всегда нужно быть большим

«just try to imagine from an ethics perspective that this is like a peer in the class», 10:31 просто представь с точки зрения этики, что это как однокурсник

«Don't ask AI to do your homework for you», 11:17 Не проси ИИ делать за тебя домашку

«you'll never be able to solve the XOR problem with a single layer neural network», 16:30 ты никогда не решишь XOR однослойной нейросетью

«if you're strongly in the negative region, the unit's what we call dead», 34:30 если ты глубоко в отрицательной зоне, юнит, как мы говорим, мёртв

«it's not a hard science», 38:03 это не точная наука

«it's a closely guarded secret what recipe of width versus depth that they use in GPT-whatever», 49:29 это тщательно охраняемый секрет, какой рецепт ширины против глубины они используют в GPT-чём-то-там

«If you can come up with a really scientific way to answer that question, you could go and get a job there. Make seven figures», 49:49 Если придумаешь по-настоящему научный ответ на этот вопрос, пойдёшь туда работать. Заработаешь семь цифр

«the problems I thought were problems aren't problems anymore», 22:25 проблемы, которые я считал проблемами, больше не проблемы

«we're actually able to then potentially get even better, even though the models are massively over-parameterized», 45:08 мы можем стать даже лучше, хотя модели чудовищно перепараметризованы

«these are not true probabilities, right? They're scores», 52:35 это не настоящие вероятности, это scores

«doing it experimentally, burning all those trees», 39:04 делая это экспериментально, сжигая все эти деревья

Факты

• Лектор начал изучать ML «около 13 лет назад», когда оно «не работало».
• Структура оценок курса: 65%, problem sets (пять P-set'ов по 1–2 недели), 35%, финальный проект.
• Группы для проекта, максимум 2 человека; compute организаторы почти не предоставляют (TBD).
• 1958, Розенблатт публикует перцептрон в Psychological Review.
• 1972, Минский и Паперт, книга «Perceptrons, Expanded Edition».
• 1986, книга «Parallel Distributed Processing» вводит backpropagation.
• 1998, Ян ЛеКун публикует свёрточные нейросети (CNN).
• 2000, NeurIPS; слова «neural»/«network» предсказывали отклонение статей.
• 2012, Alex Krzyzewski (whisper-ошибка; имеется в виду Alex Krizhevsky) с соавторами публикуют AlexNet, обучив CNN на GPU; превзошли все методы на ImageNet.
• ReLU дала ~6x ускорение сходимости против tanh (по статье Крижевского).
• Феномен обобщения overparameterized-сетей описан в статье «Double Descent».
• Масштаб данных сегодня: датасеты на миллиард+ точек (упоминаются LION, ImageNet), обучение на тысячах GPU, миллиард+ параметров, стоимость обучения, «многие миллионы долларов» (про GPT-4o лектор оговаривается: «not public knowledge… but I would bet»).
• Нейроны: червь, 302, дрозофила, 15 000, человек, ~100 млрд, слон, 250 млрд.
• Лектор работает над biodiversity loss в глобальном масштабе и «много работает со слонами».
• Текущий год по контексту лекции, 2024; прогноз про «где будем в 2028» дан с хеджем «let's see».

Источники

• Perceptrons, Expanded Edition, Minsky & Papert (1972)
• Parallel Distributed Processing (1986), ввод backpropagation
• Double Descent (статья о феномене обобщения)
• AlexNet, Krizhevsky et al. (2012)
• ImageNet, LION, крупномасштабные датасеты
• PyTorch, TensorFlow, JAX, фреймворки автодифференцирования
• Люди: Rosenblatt, Minsky, Papert, Yann LeCun, Alex Krizhevsky; гостевые лекторы курса, Jeremy, Phil (лекция «The Hacker's Guide to Deep Learning»)
• Проекты/модели: AlphaGo, NeRF, Stable Diffusion, GPT-4o, ChatGPT

Рекомендации

• Если не уверены, что владеете PyTorch, посетите один из двух туториалов на следующей неделе (часть P-set'ов завязана на PyTorch-код).
• Прочитать статью Double Descent, чтобы разобраться с различием overfitting / overparameterization.
• Относиться к ИИ-ассистентам как к человеку-коллеге: можно обсуждать, нельзя просить решить за себя; фиксировать в P-set имена соавторов и какой ИИ/как использовался.
• Если встретили незнакомый базовый блок (gradient descent, MLP, ReLU), подтянуть его через MIT OpenCourseWare до начала курса.

Итог

Deep learning, нейросети плюс дифференцируемое программирование. Взлетело, когда теория, программируемое железо и большие данные совпали по времени. Почти всё внутри до сих пор держится на эмпирике.