Эксперт по безопасности ИИ: Только 5 профессий останутся к 2030!

Коротко

Доктор Роман Ямпольский, исследователь безопасности ИИ с ~15-летним стажем, придумавший сам термин «AI safety»,, утверждает, что контроль над сверхинтеллектом математически невозможен, а не просто труден: каждый компонент задачи безопасности при ближайшем рассмотрении распадается на сотни нерешаемых подзадач. Он прогнозирует AGI к 2027 году, гуманоидных роботов к 2030-му и до 99% безработицы за пять лет, потому что впервые изобретается не инструмент, а сам изобретатель: мета-изобретение, заменяющее человеческий разум. Возможности ИИ растут экспоненциально, безопасность, линейно, разрыв между «насколько системы способны» и «насколько мы их контролируем» только увеличивается. Ямпольский переводит спор в плоскость личного интереса самих создателей: никакие деньги не помогут, если ты мёртв, поэтому строить general-сверхинтеллект, «суицидальная миссия», а строить узкие специализированные ИИ, выигрыш для всех. Вторая половина интервью, почти полная уверенность спикера в том, что мы живём в симуляции, плюс ставка на радикальное продление жизни и Bitcoin как единственный по-настоящему дефицитный ресурс.

Главный тезис

Мы умеем делать ИИ всё более способным, но не умеем делать его безопасным. Удержать сверхинтеллект под контролем бесконечно долго, не трудная задача, а принципиально нерешаемая. Поэтому гонка к general-сверхинтеллекту, коллективное самоубийство, и единственный рациональный ход, не строить его вовсе, ограничившись узкими ИИ.

Ключевые идеи

• 3:05, добавляй вычисления и данные, получаешь рост интеллекта. Но как сделать систему безопасной, чтобы она не сделала то, о чём мы пожалеем,, непонятно.
• 7:00, возможности растут экспоненциально или гипер-экспоненциально, безопасность, линейно; разрыв между способностью и контролем только растёт.
• 6:21, безопасность ИИ устроена как фрактал: углубляешься в проблему и находишь 10 новых, потом 100, и все они не просто трудные, а нерешаемые.
• 16:34, старый рецепт «переучись на другую профессию» больше не работает: автоматизируются все профессии сразу, а не одна.
• 10:33, всё, что делается на компьютере, будет автоматизировано почти бесплатно: подписка за $20 заменяет сотрудника.
• 10:42, гуманоидные роботы уберут последний бастион, физический труд (даже сантехников), в горизонте пяти лет.
• 18:59, сингулярность, это горизонт событий: предсказать действия системы умнее тебя невозможно, иначе ты сам работал бы на её уровне.
• 20:07, когнитивный разрыв человек/сверхинтеллект, как бульдог и хозяин: пёс не понимает, зачем ты ведёшь подкаст, это просто вне его модели мира.
• 30:22, аргумент «просто выдернем из розетки» абсурден: это распределённые системы, как вирус или Bitcoin, и они отключат тебя раньше.
• 34:50, ключевое отличие от ядерного оружия: бомба, инструмент, кто-то решает её применить; сверхинтеллект, агент, принимающий собственные решения.
• 34:16, стоимость обучения модели падает ежегодно: сегодня триллион, завтра 100 млрд, в итоге человек с ноутбуком; защититься «планетой слежки» нереально.
• 4:05, у компаний есть только юридическая обязанность зарабатывать для инвесторов; никакой моральной или этической нет.
• 40:07, это уже не инженерия, а наука о чёрном ящике: создатели сами ставят эксперименты на своём продукте, чтобы узнать его возможности.
• 29:15, сверхинтеллект, мета-решение: либо он решит климат/войны/болезни, либо уничтожит всех, и тогда остальные риски неважны.
• 51:31, цель доказать невозможность контроля, чтобы меньше людей тратили время и деньги на недостижимое и не строили это «как можно скорее».

Почему это важно

Ставка, выживание 8 млрд человек, а спор идёт между горсткой лабораторий (OpenAI во главе с Сэмом Альтманом, Safe Superintelligence Ильи Суцкевера, Tesla с гуманоидами), геополитическими игроками (США, Китай, Путин, Иран) и движениями сопротивления (Stop AI, PauseAI). Лаборатории мотивированы деньгами и наследием: уход из OpenAI с основанием новой компании даёт оценку $20 млрд «просто за старт», что делает текучку рациональной. Ямпольский встраивает WorldCoin Альтмана, биометрия плюс UBI плюс контроль над мировыми финансами, в логику «мирового доминирования». Проигрывают все, включая самих строителей, если аргумент верен. Выигрывает тот, кто остановится на узких прибыльных ИИ (например, «компания, которая лечит рак груди»),, и заработает миллиарды без экзистенциального риска.

Идеи

• Если бы инопланетяне летели к Земле и было бы три года на подготовку, началась бы паника, но ИИ это та же ситуация, просто никто не замечает.
• Сворачивание белков (protein folding) уже решено узким ИИ, превосходящим всех людей в этом домене.
• Учёный 20-летней давности, увидев сегодняшние системы, был бы убеждён, что перед ним полноценный AGI.
• За 3 года LLM прошли путь от неспособности умножать трёхзначные числа до побед на математических олимпиадах и работы над «проблемами тысячелетия».
• Технология может существовать, но не внедряться: видеотелефоны изобрели в 70-х, а массовыми они стали только с iPhone, это даёт отсрочку по рабочим местам.
• Останутся лишь работы, где человека предпочитают «по фетишу»: как Уоррен Баффет держит человека-бухгалтера или как платят за hand-made вместо массового производства.
• «Знаешь ли ты лучше всех, каково это, быть тобой? Знаешь, какой у мороженого вкус?», но это не рынок, за это не платят.
• Парадокс переобучения: сначала «учись кодить», потом «стань prompt-инженером», потом «делай ИИ-агентов», каждый совет устаревает за 1-2 года, потому что ИИ делает это лучше.
• Экономическая часть «лёгкая»: бесплатный труд даёт изобилие, можно обеспечить базовые потребности всех; настоящая проблема, что делать со свободным временем.
• Массовая незанятость поднимает вопросы, о которых никто не думает: уровень преступности, рождаемости; у правительств нет программ под 99% безработицы.
• В научной фантастике никогда нет действующего сверхинтеллекта: в «Дюне» ИИ запрещён, в «Звёздных войнах» роботы тупые, потому что правдоподобно описать сверхразум невозможно.
• Кремниевый субстрат превосходит биологический для интеллекта: быстрее, выносливее, энергоэффективнее; «улучшить мозг» через Neuralink/генетику нас не спасёт.
• Загрузка сознания в компьютер, это не продление тебя, а «создание софта другими средствами»; тебя там уже нет.
• У человека есть врождённый bias не думать о неотвратимых плохих исходах, та же инфраструктура, что позволяет нам жить, зная, что все смертны.
• «Событие уровня человечества, аналогичное смерти», но раз повлиять нельзя, можно просто наслаждаться жизнью; ограниченность времени даже мотивирует жить лучше.
• Идея «давайте просто помолимся» отвергается через incentives: если строители поймут, что умрут, смена мотивации сильнее любой молитвы.
• Запрет/штрафы не работают: «оштрафуете за уничтожение человечества?», судебная система рассчитана на наказание людей, а тюрьмы и казнь к ИИ неприменимы.
• Симуляцию он обосновывает обещанием: как только это станет дёшево ($10/мес), он сам запустит миллиард симуляций этого интервью, статистически ты в одной из них.
• Дети играют в 10 игр каждый × миллиард детей = 10 млрд симуляций на один реальный мир; число симуляций кратно превышает число реальностей.
• Все религии описывают одно и то же: сверхразумного инженера/программиста, создавшего ложный мир для теста, расскажи племени гипотезу симуляции, через два поколения у них будет религия.
• Из наблюдения мира выводятся свойства «симуляторов»: гениальный инженер и художник, но «не очень с моралью», раз в мире есть страдание детей.
• Контраргумент про страдание: негативные стимулы (боль) нужны для дизайна, но должны быть на уровне «неприятно, остановлюсь», а не «ад».
• Bitcoin, единственный дефицитный ресурс: золота можно добыть сколько угодно при нужной цене, а биткоинов максимум 21 млн, и каждый день их становится меньше (потерянные пароли, неактивный миллион Сатоши).
• Квантовый компьютер теоретически сломает крипту Bitcoin, но есть стратегии перехода на квантово-устойчивую криптографию, а квантовые машины пока слабы.
• «Совет по жизни в симуляции» (по Робину Хэнсону): будь интересным, тусуйся со знаменитостями, чтобы тебя не выключили; NPC никто быть не хочет.
• Бессмертие не вызовет перенаселения: люди заводят детей как «замену» себе; вечная жизнь, перестаёшь размножаться («заведу детей через миллион лет»).
• Чем богаче люди, тем меньше у них детей, глобально население уже сокращается, а не растёт.
• «Скорость убегания долголетия» (Брайан Джонсон): если каждый прожитый год добавляет два года жизни, ты живёшь вечно, нужно лишь дожить до этой точки.
• В геноме, вероятно, зашит цикл омоложения с лимитом ~120 лет, который можно «перезагрузить» на большее.
• Минимальная зарплата, признание того, что некоторые люди не создают достаточно экономической ценности; федеральные $7.25 в США вместо ~$25 по инфляции означают, что работодателей заставляют переплачивать.
• Половина работ, «bullshit jobs», которые не нужно даже автоматизировать, они могут просто исчезнуть; 60% работ можно заменить уже существующими моделями, но это не сделано.

Инсайты

• Архитектура «возможности vs контроль» структурно расходится: одна кривая экспоненциальна (легко масштабировать вычислениями), другая линейна (требует понимания), разрыв запрограммирован.
• Предсказуемость и превосходство интеллекта взаимоисключающи: способность предсказать действия агента означает работу на его уровне, что отрицает его превосходство, отсюда непредсказуемость сверхинтеллекта логически неизбежна.
• Качественный сдвиг «инструмент → агент» отменяет всю прежнюю логику управления технологиями: инструменты опасны через намерения людей, агенты опасны сами по себе, и устранение «злого человека» больше ничего не решает.
• «Последнее изобретение»: автоматизация самого процесса изобретательства закрывает исторический паттерн «новая технология → новые рабочие места», потому что новые места тоже достаются ИИ-агенту.
• Удешевление любой разрушительной технологии (ИИ, синтетическая биология) сдвигает порог: радиус поражения одного актора растёт от «миллионы» к «всё человечество», цивилизация делает катастрофу всё доступнее.
• Юридические и этические рамки бессильны не из-за слабого исполнения, а онтологически: согласие невозможно, если система необъяснима и непредсказуема, значит, эксперимент над 8 млрд людей по определению неэтичен.
• Личный интерес создателей, единственный реальный рычаг: апелляция к «вы тоже умрёте» обходит провал и регуляции, и альтруизма, опираясь на эгоизм как универсальный мотив.
• Психологический механизм отрицания смерти масштабируется с индивида на вид: тот же bias, что позволяет 95-летнему играть в гольф, позволяет человечеству игнорировать экзистенциальный риск.
• Симуляционный аргумент и религия изоморфны: оба постулируют всемогущего создателя и не-первичность этого мира; различия религий, лишь локальные традиции поверх одной структуры.
• Относительность опыта в симуляции: вся человеческая жизнь может быть миллисекундой «снаружи», что обесценивает интуицию о масштабе времени и значимости.
• Дефицит как фундамент ценности: в мире бесплатного труда и подделываемого золота ценным остаётся лишь математически неподделываемое (Bitcoin), ценность мигрирует к абсолютной редкости.
• Парадокс изобилия: решение экономической проблемы (бесплатный труд) обнажает экзистенциальную (потеря смысла), потому что для многих работа, единственный источник смысла.
• Информационная перегрузка ломает эволюционный «локальный» фрейм: психика рассчитана на племя из десятка людей, а интернет приносит тысячи смертей в день, заставляя ставить фильтры и не «принимать» глобальные угрозы.
• Траектория экспозиции односторонняя: люди переходят от беспечности к тревоге о безопасности ИИ, но почти никогда обратно, что косвенно свидетельствует о силе аргумента.

Цитаты

«No sabemos cómo hacerlos seguros, cómo asegurarnos de que no hagan algo de lo que nos arrepintamos.», 3:05 Мы не знаем, как сделать их безопасными, как гарантировать, что они не сделают то, о чём мы пожалеем.

«El espacio de posibilidades es casi infinito. El espacio de resultados que nos gustaría es diminuto.», 4:38 Пространство возможностей почти бесконечно. Пространство желаемых нами исходов, крошечное.

«No estoy hablando de un 10% de desempleo, que ya es alarmante, sino de un 99%.», 0:41 Я говорю не о 10% безработицы, что уже тревожно, а о 99%.

«No hay un trabajo que no pueda ser automatizado. Eso realmente nunca había pasado antes.», 26:12 Нет работы, которую нельзя автоматизировать. Такого раньше действительно никогда не было.

«Es la última invención que tenemos que hacer.», 26:53 Это последнее изобретение, которое нам нужно сделать.

«Si los alienígenas vinieran a la Tierra y tuvieras tres años para prepararte, estarías entrando en pánico ahora mismo.», 3:24 Если бы инопланетяне летели к Земле и у тебя было три года на подготовку, ты бы паниковал прямо сейчас.

«La única obligación que tienen es hacer dinero para los inversionistas.», 4:05 Единственная их обязанность, зарабатывать деньги для инвесторов.

«Es como si pudieras apagar un virus. Tienes un virus informático, no te gusta, apágalo.», 30:41 Это как «выключи вирус». У тебя компьютерный вирус, он тебе не нравится, выключи его.

«La superinteligencia no es una herramienta, es un agente. Toma sus propias decisiones y nadie la controla.», 34:50 Сверхинтеллект, это не инструмент, это агент. Он принимает собственные решения, и никто его не контролирует.

«Es como una planta alienígena. Y luego estudiamos para ver qué está haciendo.», 41:04 Это как инопланетное растение. А потом мы изучаем, что оно делает.

«Si me dijeras que hay un 1% de probabilidad de que, si bebo el líquido de esta taza ahora, podría morir, no lo bebería.», 53:03 Если бы ты сказал, что есть 1% вероятности умереть, выпив жидкость из этой чашки, я бы её не пил.

«Por definición, están realizando experimentos no éticos en sujetos humanos.», 53:51 По определению они проводят неэтичные эксперименты на людях.

«Algunas personas quieren ir a Marte, otras quieren controlar la luz, núcleo del universo.», 1:15 Одни хотят на Марс, другие, контролировать световой конус Вселенной.

«Construyan herramientas útiles. Desarrollen superinteligencias especializadas. No general.», 51:53 Стройте полезные инструменты. Развивайте специализированные сверхинтеллекты. Не general.

«Pero no maten a todos, incluyéndose a ustedes mismos así.», 52:23 Но не убивайте всех, включая самих себя.

«Estoy bastante seguro de que estamos en una simulación, sí.», 57:22 Я вполне уверен, что мы в симуляции, да.

«En cuanto sea asequible, ejecutaré miles de millones de simulaciones asegurándome de que estadísticamente estés en una.», 57:50 Как только это станет доступным, я запущу миллиарды симуляций, чтобы статистически ты оказался в одной из них.

«No tan bueno con la moral y la ética. Hay margen de mejora.», 1:02:25 Не очень хорош с моралью и этикой. Есть куда расти.

«Nada te impide vivir para siempre, mientras el universo exista.», 1:08:03 Ничто не мешает тебе жить вечно, пока существует Вселенная.

«Quieres vivir lo suficiente para vivir para siempre.», 1:09:43 Ты хочешь прожить достаточно долго, чтобы жить вечно.

«Nadie quiere ser un NPC.», 1:15:04 Никто не хочет быть NPC.

«Cada día, como porcentaje del conocimiento total, me vuelvo más ignorante.», 25:19 Каждый день как доля от всего знания я становлюсь всё более невежественным.

«No conozco a nadie que haya pasado de, me preocupa la seguridad de la IA, bueno, no hay nada de qué preocuparse.», 1:21:05 Я не знаю никого, кто перешёл бы от «меня беспокоит безопасность ИИ» к «да не о чем волноваться».

Факты

• Спикер, доктор компьютерных наук, доцент информатики; начал работать над безопасностью ИИ ~15 лет назад, до того как это стало популярным, и сам ввёл термин «AI safety» (но не основал поле, до него была «блестящая работа» других).
• Толчком стало наблюдение за покерными ботами: он заметил, что они улучшаются, и спрогнозировал, что в итоге они обыграют людей, что и произошло.
• Прогноз AGI, 2027 год (по prediction markets и заявлениям CEO ведущих лабораторий); гуманоидные роботы конкурентоспособны с людьми, к 2030 году; сингулярность по Рэю Курцвейлу, 2045 год.
• Прогноз безработицы: до 99% в течение ~5 лет (спикер подчёркивает, что это его предсказание, а «не то, что реально произойдёт», т.к. сверхинтеллект непредсказуем).
• Вождение названо крупнейшей профессией в мире (спикер «довольно уверен», но оговаривается «если не ошибаюсь»).
• Уже существуют Waymo (роботакси без водителя) и self-driving авто, ведущему недавно «машина везла сама час без вмешательства» в Лос-Анджелесе.
• Узкий ИИ уже решил задачу сворачивания белков (protein folding) лучше всех людей.
• Илья Суцкевер (whisper: «Илья»), сооснователь OpenAI, ушёл и основал компанию Safe Superintelligence.
• Уход топов из OpenAI с основанием новой компании даёт оценку ~$20 млрд без продукта и клиентов.
• Команда superalignment в OpenAI обещала решить задачу за 4 года, но была расформирована примерно через полгода после анонса.
• Под заявлением об опасности ИИ подписались тысячи учёных; среди согласных с позицией спикера, нобелевский лауреат Джефф Хинтон и Бенжио (whisper: «Бенжио»).
• WorldCoin Альтмана, платформа для UBI, ведущая реестр биометрических данных всех людей; команда удерживает крупную долю токенов.
• Bitcoin: верхний предел 21 млн монет; неизвестен объём потерянных монет и судьба ~миллиона монет Сатоши.
• Минимальная федеральная зарплата в США, $7.25/час, по инфляции должна была бы быть ~$25/час.
• Книга спикера издана в 2024 году, посвящена предотвращению сбоев ИИ (AI failures).
• Видеотелефоны изобретены в 1970-х; стали массовыми лишь с iPhone.

Источники

• Книга Романа Ямпольского (2024) о предотвращении сбоев ИИ, упомянута как итог разговора.
• Совместная статья спикера, разбирающая ключевые аргументы против важности безопасности ИИ.
• Робин Хэнсон (Robin Hanson), статья о том, как жить в симуляции и что в ней делать.
• Рэй Курцвейл (Ray Kurzweil), прогноз сингулярности на 2045 год.
• Брайан Джонсон (Brian Johnson), «не умри сейчас», концепция «скорости убегания долголетия».
• Джефф Хинтон, Бенжио, учёные, разделяющие тревогу о рисках ИИ.
• Stop AI, PauseAI (whisper: «PauseAI»), движения протеста, блокирующие офисы OpenAI.
• Google AI worlds, технология генерации навигируемых 3D-миров по промпту с персистентной памятью.
• Люди/компании: Сэм Альтман, OpenAI, Safe Superintelligence (Илья Суцкевер), Tesla, WorldCoin.

Рекомендации

• Поговори с теми, кто строит эту технологию, и попроси конкретно объяснить, как они решают задачи, которые называют невозможными, и пусть опубликуют peer-reviewed статью о том, как будут контролировать сверхинтеллект.
• Строителям ИИ: делайте полезные инструменты и узкие специализированные сверхинтеллекты под конкретные задачи (например, лечение рака), зарабатывайте миллиарды, но не стройте general-сверхинтеллект.
• Обычному человеку: присоединяйся к PauseAI/Stop AI, поддерживай любые мирные и легальные действия; в краткосроке повлиять почти нельзя, как нельзя было повлиять на Вторую мировую.
• Личное: «живи каждый день как последний», не делай слишком долго то, что ненавидишь, занимайся интересным и важным, помогай другим, это хороший совет независимо от исхода с ИИ.
• Брайан-Джонсоновский совет: «не умри сейчас», дотяни до технологий продления жизни (диета, питание, инвестиции «на миллион лет вперёд»).

Итог

Сверхинтеллект нельзя сделать безопасным даже в принципе, поэтому гонка за ним, рациональное самоубийство умнейших людей планеты, ставящих жизни восьми миллиардов на то, чего сами не умеют контролировать.