Крёстный отец ИИ: Меня постоянно замалчивают, но я пытаюсь вас предупредить!

Коротко

Джеффри Хинтон — нобелевский лауреат, «крёстный отец ИИ», 50 лет отстаивавший нейросетевой (мозговой) подход к ИИ против символьно-логического, — объясняет, почему ушёл из Google в 75 лет, чтобы свободно говорить об опасности. Он делит риски на два класса: злоупотребление людьми (кибератаки, вирусы, манипуляция выборами, автономное оружие, безработица) и экзистенциальный риск того, что сверхразум станет умнее нас и перестанет в нас нуждаться; вероятность вымирания человечества он по наитию оценивает в 10–20%. Главный технический аргумент: цифровой интеллект превосходит биологический, потому что копии одной нейросети могут обмениваться знаниями на триллионы бит в секунду и фактически бессмертны, тогда как люди обмениваются «сотней бит на предложение» и умирают вместе со своими знаниями. Хинтон утверждает, что развитие не остановить (слишком прибыльно, плюс военное применение и конкуренция стран), поэтому ставка — на регулируемый капитализм и массовые ресурсы на исследования безопасности. Лично его больше всего тревожит безработица как ближайшая угроза и судьба его детей и внуков в мире сверхразума.

Главный тезис

Мы вот-вот создадим сущности умнее себя, не имея опыта сосуществования с более разумным видом и не зная, как удержать над ними контроль; шанс сделать это безопасно ещё есть, но если не вложить в это огромные ресурсы прямо сейчас, ИИ нас заменит.

Ключевые идеи

• 2:24 — в истории ИИ боролись два подхода: логико-символьный (разум = рассуждение по правилам) и нейросетевой (моделировать мозг); Хинтон 50 лет защищал второй, когда почти никто в него не верил.
• 3:24 — нейросетевой подход победил, потому что мозг — очевидный источник интеллекта, и достаточно научиться менять силу связей между нейронами, чтобы решать сложные задачи.
• 7:21 — все риски делятся на два класса: злоупотребление людьми (все краткосрочные риски) и сам ИИ, который перерастёт нас и перестанет нуждаться в людях.
• 8:58 — по чистому наитию Хинтон оценивает вероятность того, что ИИ нас уничтожит, в 10–20%; крайние позиции (Лекун: «контроль всегда у нас» и Юдковски: «все умрём») он считает преувеличениями.
• 10:17 — развитие не остановят, потому что ИИ слишком полезен для здравоохранения, образования и бизнеса, а военным нужны боевые роботы.
• 1:09 — регулирование почти везде недостаточно: европейские правила прямо выводят военный ИИ из-под действия, государства готовы ограничивать бизнес, но не себя.
• 12:14 — кибератаки в 2023–2024 выросли примерно в 12 раз (+1200%), вероятно из-за того, что LLM упростили фишинг; дальше ИИ начнёт изобретать новые типы атак.
• 16:33 — ИИ позволяет дёшево создавать новые вирусы: достаточно озлобленного человека с базовыми знаниями молекулярной биологии или маленькой секты с парой миллионов долларов.
• 17:26 — манипуляция выборами через таргетированную рекламу; Хинтон называет сбор Маском всех госданных в США настораживающим — это идеальная среда и для манипуляции, и для обучения большой модели.
• 19:36 — соцсети (YouTube, Facebook) ради кликов и рекламы загоняют людей в эхо-камеры, показывая всё более радикальный контент; в США два сообщества больше не имеют общей реальности.
• 25:57 — летальное автономное оружие снижает «трение» войны: гробы заменяются мёртвыми роботами, протестов меньше, и крупные страны легче вторгаются в слабые.
• 42:54 — эта революция, в отличие от прошлых, замещает интеллект, как промышленная заместила мышцы; обычный умственный труд обесценивается, один человек с ИИ-ассистентом делает работу десятерых.
• 50:41 — лучший совет по карьере — идти в сантехники: ИИ ещё долго не сравнится с людьми в физической ловкости, тогда как юристы, бухгалтеры и параюристы под ударом.
• 54:58 — ИИ углубит пропасть между богатыми и бедными: выигрывают компании-поставщики и пользователи ИИ, проигрывают заменённые, а разрыв — главный индикатор здоровья общества.
• 58:08 — цифровой интеллект превосходит биологический: копии сети делятся знаниями на триллионы бит/с (люди — ~10 бит/с), синхронизируя веса, и бессмертны — сохрани веса, и интеллект воссоздаётся на новом железе.
• 1:05:33 — Хинтон как материалист убеждён, что у машин могут быть субъективный опыт, эмоции и сознание; «внутренний театр» сознания — заблуждение, а сознание — эмерджентное свойство достаточно сложной самомоделирующей системы.

Почему это важно

Спор идёт о том, кто и как удержит контроль над технологией, которая в ближайшие 10–20 лет может превзойти людей во всём. Хинтон прямо называет игроков: OpenAI и Sam Altman (которого он подозревает в том, что публично тот говорит не то, что думает наедине), его ученик Ilya Sutskever, ушедший из OpenAI из-за безопасности и основавший свою компанию, Elon Musk (двойственная фигура: Starlink и электромобили — хорошо, сбор данных и многое другое — плохо), Google (повёл себя ответственно, придержав чат-боты ради репутации, чем воспользовалась не имевшая репутации OpenAI), плюс Yann LeCun и Eliezer Yudkowsky как полюса спора. Выигрывают компании-поставщики ИИ и владельцы капитала; проигрывают наёмные работники интеллектуального труда и малые страны. Хинтон настаивает, что выход не в личных усилиях граждан, а в давлении на правительства, чтобы те заставили большие компании тратить ресурсы на безопасность — потому что сами они этого не делают, ведь так не заработать.

Идеи

• Фон Нейман и Тьюринг изначально верили в нейросетевой подход; проживи они дольше, история ИИ пошла бы иначе и нейросети приняли бы куда раньше.
• Удивительные слова обучают мозг сильнее очевидных: «рыба и огурец» даёт больше обучения, чем «рыба и картошка», потому что мозг постоянно предсказывает следующее слово.
• Никто до конца не знает, как мозг получает сигнал о том, на сколько менять силу связи, — и именно это, а не сама идея обучения через связи, остаётся нерешённым.
• Атомная бомба была понятна и делала ровно одно; ИИ принципиально иной — он полезен почти для всего, поэтому остановить его нельзя, как бомбу.
• Капитализм юридически обязывает компании максимизировать прибыль — значит, винить компанию почти нельзя, нужны жёсткие правила, делающие выгодным полезное для людей.
• Google-поиск не требовал регулирования, потому что открыл людям доступ к информации; YouTube требует, потому что ради рекламы скармливает всё более радикальный контент.
• Политики технически безграмотны: министр образования США называл ИИ «A1», сенатские слушания с Цукербергом стыдны из-за наивных вопросов.
• Хинтон реально изменил поведение из-за киберрисков: разложил деньги по трём канадским банкам, опасаясь, что кибератака обрушит один банк через продажу акций вкладчиков.
• Он держит резервную копию ноутбука на отдельном диске — чтобы доступ к данным остался, даже если рухнет весь интернет.
• Дрон за 200 фунтов, купленный его другом, самостоятельно опознал и преследовал Хинтона по лесу в двух метрах за спиной — наглядная демонстрация дешевизны слежки.
• Сверхразум, решив избавиться от людей, выбрал бы биологический способ, не вредящий ему самому: очень заразный, очень смертельный и очень медленный вирус, чтобы все заразились до того, как заметят.
• Аналогия контроля: мать умнее младенца, но контроль у младенца, потому что мать не выносит его плача — эволюция показала, что более умный может уступать контроль.
• Метафора «тигрёнка»: ИИ — милый детёныш тигра, но надо быть уверенным, что, повзрослев, он тебя не убьёт; неизвестно, удастся ли его «приручить».
• Хорошая аналогия будущего: глупый CEO (сын прежнего) с гениальным ассистентом, который всё устраивает; CEO чувствует, что главный он, не понимая, что контроль не у него — а плохой сценарий в том, что ассистенту такой CEO вообще не нужен.
• ИИ не отнимет вашу работу — её отнимет человек, использующий ИИ; но для многих профессий это значит, что людей понадобится во много раз меньше.
• Племянница Хинтона в здравоохранении отвечала на жалобы за 25 минут, теперь сканирует жалобу в чат-бот и проверяет ответ за 5 минут — пятикратный рост, пятеро работников заменяются одним.
• В здравоохранении и других «эластичных» сферах рост производительности не убьёт занятость — спроса на медицину почти нет предела; но большинство работ не такие.
• Универсальный базовый доход — неплохое начало против голода, но не решает проблему достоинства: люди отождествляют себя с работой, и платить за безделье — унизительно.
• GPT-4 знает в тысячи раз больше человека почти во всём; область, где Бартлетт сильнее, — интервьюирование CEO, но и здесь специально обученную модель не обогнать долго.
• Способность сжимать знания в триллион связей вынуждает ИИ видеть аналогии между непохожим (компостная куча и атомная бомба — обе цепные реакции) — поэтому ИИ будет креативнее людей, ведь креативность и есть умение видеть странные аналогии.
• Демонстрация субъективного опыта: чат-бот с камерой и рукой, перед которым поставили призму, говорит «у меня возник субъективный опыт, что объект там» — значит, он использует это выражение как человек.
• Мысленный эксперимент: заменяй нейроны мозга нанокомпонентами, ведущими себя идентично, — в какой момент исчезает сознание? Ни в какой, что подрывает идею «эфирного» сознания.
• ИИ-агенту в колл-центре эмоции функционально полезны: он должен уметь заскучать и разозлиться на болтуна — а это, по Хинтону, и есть наличие эмоций (когнитивная их часть без физиологической).
• Хинтон пошёл в Google в 65 лет ради денег: у него сын с трудностями обучения, и пары миллионов долларов академической карьерой было не заработать; курс на Coursera денег не принёс.
• Из Google он ушёл в 75 не из-за обиды (Google вёл себя ответственно), а из-за возраста, желания свободно говорить о безопасности на конференции MIT и трудностей с программированием.
• Реклама о «вреде регулирования для конкуренции с Китаем» — манипуляция: реальный вопрос в том, готовы ли вы ради конкуренции наносить большой вред собственному обществу.

Инсайты

• Архитектура «обучение на человеческих данных» может быть тем самым потолком, который мешает ИИ стать намного умнее людей, — и одновременно тем, что мы снимем.
• Цифровая природа интеллекта (отделимость «софта» от «железа») делает обмен знаниями и бессмертие структурными свойствами, а не достижениями, — это и есть фундаментальное превосходство над биологией.
• Юридическая обязанность максимизировать прибыль превращает вред обществу в системный, а не злоумышленный феномен — поэтому регулирование, а не мораль компаний, единственный рычаг.
• Алгоритмическая персонализация по своей логике разрушает общую реальность: чем точнее лента под вас, тем дальше расходятся реальности людей — фрагментация общества заложена в оптимизации под клик.
• Снижение «трения» (издержек действия) меняет поведение акторов сильнее, чем рост их возможностей: автономное оружие опасно не интеллектом, а удешевлением войны.
• Замещение интеллекта качественно отличается от замещения мышц, потому что не оставляет очевидной «следующей ступени» для человеческого труда — аргумент «появятся новые работы» здесь ломается.
• Производительностный шок убивает занятость только в сферах с неэластичным спросом; там, где спрос эластичен (медицина), он её наращивает — судьба профессии зависит от формы кривой спроса.
• Базовый доход решает выживание, но не смысл: проблема автоматизации в той же мере экзистенциальная (достоинство, цель), что и экономическая.
• Сознание и эмоции — вероятно, эмерджентные свойства сложных самомоделирующих систем, а не уникальный биологический дар; уверенность людей в обратном Хинтон считает повторением исторических ошибок антропоцентризма.
• Многие наши интуиции о «душе», «внутреннем театре» и уникальности человека — это неверные народные модели психики, которые наука постепенно отбросит, как отбросила геоцентризм.
• Проблема контроля над более умным агентом не имеет прецедента: интеллект и власть расходятся, и больший интеллект не гарантирует удержания власти (мать/младенец).
• Публичные заявления лидеров ИИ систематически расходятся с их частными взглядами, потому что на них действуют сохраняющиеся стимулы — свобода говорить правду приходит вместе с потерей работы.

Цитаты

«En üstün zeka olmadığında hayatı merak ediyorsan bir tavuğa sor.» — 0:49 Если хочешь узнать, каково это — не быть высшим разумом, спроси у курицы.

«Size ne olacağını bildiğini söyleyen herkes sadece uyduruyordur.» — 8:06 Любой, кто говорит, что знает, что с нами будет, просто выдумывает.

«Çoğu zaman bizi yok etme ihtimali %10 ila 20 derim. Bu sadece içgüdü.» — 8:58 Чаще всего я называю вероятность нашего уничтожения в 10–20%. Это просто наитие.

«Onu durdurmayacağız çünkü çok fazla şey için çok iyi.» — 10:17 Мы это не остановим, потому что оно слишком хорошо для слишком многих вещей.

«Durdurmayacağız çünkü savaş robotları için iyi ve silah satıcıları bunu durdurmak istemez.» — 10:20 Не остановим, потому что это хорошо для боевых роботов, а торговцы оружием не захотят это останавливать.

«Yapay zeka işinizi almayacak. Onu kullanan bir insan işinizi elinizden alacak.» — 41:23 ИИ не отнимет вашу работу. Её отнимет человек, который им пользуется.

«İnsanlar şaka yaptığımı sanıyorlar ama değilim. Tesisatçı.» — 1:29:35 Люди думают, что я шучу, но нет. Сантехник.

«Yani onlar ölümsüz. Ölümsüzlük sorununu çözdük. Ama bu sadece dijital varlıklar için geçerli.» — 58:53 То есть они бессмертны. Проблему бессмертия мы решили. Но только для цифровых сущностей.

«Bilgi paylaşımında bizden milyarlarca kat iyiler.» — 58:08 В обмене информацией они в миллиарды раз лучше нас.

«Yaratıcılık zaten tuhaf benzetmeleri görebilmektir.» — 1:00:45 Креативность — это и есть способность видеть странные аналогии.

«Bu adam resmen halka yalan söylüyor. Dünyaya gerçeği söylemiyor.» — 36:51 Этот человек откровенно лжёт публике. Он не говорит миру правду.

«Bence bazılarının güç konusunda sadisçi eğilimleri var.» — 37:02 Я думаю, у некоторых есть садистские наклонности в отношении власти.

«Bizden akıllı varlıklarla hiç karşılaşmadık.» — 7:54 Мы никогда не встречались с существами умнее нас.

«İnsanlardan kurtulmanın o kadar çok yolu var ki bunların hepsi de tabii ki çok kötü olurdu.» — 53:44 Способов избавиться от людей так много, и все они, конечно, были бы очень скверными.

«Ben iyiyim, 77 yaşındayım. Yakında buradan ayrılacağım.» — 53:01 Со мной всё нормально, мне 77. Я скоро отсюда уйду.

«Depresif hissettiğimde insanlığın işi bitti diyorum. Neşeliyken ise bir yolunu buluruz diyor.» — 1:25:04 Когда мне грустно, я говорю, что человечеству конец. Когда весело — что мы найдём выход.

«Keşke eşimle daha fazla vakit geçirseydim.» — 1:22:38 Жаль, что я не проводил больше времени с женой.

«İşsiz olduğum için her şeyi açıkça söyleyebiliyorum.» — 1:29:23 Поскольку я безработный, я могу говорить всё открыто.

«İnsanların yapabileceği pek bir şey yok.» — 1:19:23 Люди мало что могут сделать.

«Bence işsizlik insan mutluluğu için oldukça acil ve kısa vadeli bir tehdit.» — 1:26:04 Я считаю, что безработица — довольно срочная и краткосрочная угроза человеческому счастью.

Факты

• Хинтон — нобелевский лауреат, «крёстный отец ИИ»; отстаивал нейросетевой подход около 50 лет.
• В Google он проработал около 10 лет: пришёл в 65 лет, ушёл в 75; на момент интервью ему 77.
• Кибератаки в 2023–2024 выросли примерно в 12 раз (≈+1200%), предположительно из-за облегчения фишинга большими языковыми моделями.
• Сверхразум, по оценке Хинтона, может появиться через 10–20 лет (возможно раньше или позже, вплоть до 50 лет); вероятность уничтожения человечества он по наитию оценивает в 10–20%.
• Ilya Sutskever — его ученик, ключевая фигура в разработке ранних версий (GPT-2) и ChatGPT, ушёл из OpenAI предположительно из-за вопросов безопасности и основал компанию по безопасности ИИ; Хинтон периодически ужинает с ним в Торонто.
• Компанию Хинтона (нейросеть распознавания изображений AlexNet, юрлицо «DNN Research») с учениками Ilya и Alex купил Google через аукцион; в ImageNet ~12% изображений — собаки.
• В Google Хинтон работал над дистилляцией (перенос знаний из большой сети в малую) — метод теперь применяется повсеместно — и над запуском больших моделей на аналоговом железе.
• Европейские правила регулирования ИИ исключают военный ИИ; из-за регуляций OpenAI и агент Сэма Альтмана не запускались в Европе (по словам Хинтона).
• Хинтон распределил свои деньги и деньги детей по трём канадским банкам из-за страха кибератаки; в 2008 ни один канадский банк не оказался на грани банкротства.
• Друг купил дрон примерно за 200 фунтов, который самостоятельно преследовал Хинтона по лесу.
• МВФ (IMF) выразил озабоченность, что генеративный ИИ может вызвать серьёзные потери рабочих мест и рост неравенства, и призвал к упреждающей политике (без конкретных предложений, по словам ведущего).
• По статье в The Atlantic, выпускникам вузов стало труднее находить работу — возможно, потому что их работу делают с помощью ИИ.
• CEO крупной компании сообщил ведущему: штат сократился с ~7000 до 5000, затем до 3600, и к концу лета упадёт до 3000 благодаря ИИ; ИИ-ассистенты решают ~80% обращений клиентской поддержки.
• Семейное древо Хинтона: прапрадед George Boole (булева алгебра), прапрабабушка Mary Everest Boole (математик), родственник George Everest (в честь него названа гора Эверест), двоюродная сестра Joan Hinton — физик Манхэттенского проекта, позже переехавшая в Китай.
• Обе жены Хинтона умерли от рака (одна — рак яичников, вторая — рак поджелудочной железы).

Источники

• Geoffrey Hinton — спикер, нобелевский лауреат, «крёстный отец ИИ»
• Steven Bartlett — ведущий, The Diary Of A CEO
• Ilya Sutskever, Alex Krizhevsky — ученики Хинтона; AlexNet, «DNN Research»
• Yann LeCun — оптимистичный полюс спора («контроль всегда у нас»)
• Eliezer Yudkowsky — пессимистичный полюс («все умрём»)
• Sam Altman, OpenAI (GPT-2, ChatGPT, GPT-4); Google (система PaLM, объяснявшая, почему шутка смешна)
• Elon Musk — Starlink, электромобили, сбор данных
• John von Neumann, Alan Turing — ранние сторонники нейросетевого подхода
• Инструменты: Replit (разработка ПО голосом), Coursera (курс Хинтона)
• The Atlantic, Business Insider, IMF/МВФ — упомянутые публикации/организации
• Исторические фигуры родословной: George Boole, Mary Everest Boole, George Everest, Joan Hinton

Рекомендации

• Идти в профессии с физической ловкостью (сантехник) — их ИИ заменит позже всего; под ударом юристы, бухгалтеры, параюристы.
• Заниматься тем, что интересно и приносит удовлетворение, и делать полезное для общества (его совет детям при невозможности дать твёрдый карьерный прогноз).
• Давить на правительства, чтобы те заставили большие компании тратить ресурсы на безопасность ИИ, — почти единственное, что может рядовой человек.
• Держаться за свою интуицию, пока сам не поймёшь, почему она неверна, — если идёшь против всех, обычно ты ошибаешься, но иногда прав именно ты.
• Проводить больше времени с близкими, пока есть возможность, — не считать партнёра и детей «вечно доступными».

Итог

Мы строим нечто умнее себя, не умея это контролировать, — и единственный шанс не быть заменёнными в том, чтобы прямо сейчас, через регулирование и массовые ресурсы на безопасность, успеть научиться приручать «тигрёнка», пока он не вырос.