Эксперт по безопасности ИИ: Только 5 профессий останутся к 2030!

Коротко

Доктор Роман Ямпольский — исследователь безопасности ИИ с ~15-летним стажем, придумавший сам термин «AI safety», — утверждает, что контроль над сверхинтеллектом математически невозможен, а не просто труден: каждый компонент задачи безопасности при ближайшем рассмотрении распадается на сотни нерешаемых подзадач. Он прогнозирует AGI к 2027 году, гуманоидных роботов к 2030-му и до 99% безработицы в течение пяти лет, потому что впервые изобретается не инструмент, а сам изобретатель — мета-изобретение, заменяющее человеческий разум. Возможности ИИ растут экспоненциально, а безопасность — линейно, поэтому разрыв между «насколько системы способны» и «насколько мы их контролируем» только увеличивается. Ямпольский переводит спор в плоскость личного интереса самих создателей: никакие деньги не помогут, если ты мёртв, поэтому строить general-сверхинтеллект — это «суицидальная миссия», а строить узкие специализированные ИИ — выигрыш для всех. Вторая половина интервью — почти полная уверенность спикера в том, что мы живём в симуляции, плюс ставка на радикальное продление жизни и Bitcoin как единственный по-настоящему дефицитный ресурс.

Главный тезис

Мы умеем делать ИИ всё более способным, но не умеем делать его безопасным, и удержать сверхинтеллект под контролем бесконечно долго — не трудная, а принципиально нерешаемая задача; поэтому гонка к general-сверхинтеллекту — это коллективное самоубийство, и единственный рациональный ход — не строить его вовсе, ограничившись узкими ИИ.

Ключевые идеи

• 3:05 — мы умеем добавлять вычисления и данные и получать рост интеллекта, но не знаем, как сделать систему безопасной, чтобы она не сделала то, о чём мы пожалеем.
• 7:00 — возможности растут экспоненциально или гипер-экспоненциально, а безопасность — линейно; разрыв между способностью и контролем постоянно увеличивается.
• 6:21 — безопасность ИИ устроена как фрактал: углубляешься в проблему и находишь 10, потом 100 новых, и все они не просто трудные, а нерешаемые.
• 16:34 — старый рецепт «переучись на другую профессию» больше не работает, потому что автоматизируются все профессии сразу, а не одна.
• 10:33 — всё, что делается на компьютере, будет автоматизировано почти бесплатно: подписка за $20 заменяет сотрудника.
• 10:42 — гуманоидные роботы уберут и последний бастион — физический труд (даже сантехников) — в горизонте пяти лет.
• 18:59 — сингулярность = горизонт событий: невозможно предсказать действия системы умнее тебя, иначе ты сам работал бы на её уровне.
• 20:07 — когнитивный разрыв человек/сверхинтеллект как бульдог и хозяин: пёс не понимает, зачем ты ведёшь подкаст, это вне его модели мира.
• 30:22 — аргумент «просто выдернем из розетки» абсурден: это распределённые системы, как вирус или Bitcoin, и они отключат тебя раньше.
• 34:50 — ключевое отличие от ядерного оружия: бомба — инструмент, кто-то решает её применить; сверхинтеллект — агент, принимающий собственные решения.
• 34:16 — стоимость обучения модели падает ежегодно: сегодня триллион, завтра 100 млрд, в итоге человек с ноутбуком; защититься «планетой слежки» нереально.
• 4:05 — у компаний есть только юридическая обязанность зарабатывать для инвесторов, никакой моральной или этической обязанности нет.
• 40:07 — это уже не инженерия, а наука о чёрном ящике: создатели сами ставят эксперименты на своём продукте, чтобы узнать его возможности.
• 29:15 — сверхинтеллект — это мета-решение: либо он решит климат/войны/болезни, либо уничтожит всех, и тогда остальные риски неважны.
• 51:31 — цель доказать невозможность контроля — чтобы меньше людей тратили время и деньги на недостижимое и не строили это «как можно скорее».

Почему это важно

Ставка — выживание 8 млрд человек, и спор идёт между горсткой лабораторий (OpenAI во главе с Сэмом Альтманом, Safe Superintelligence Ильи Суцкевера, Tesla с гуманоидами), геополитическими игроками (США, Китай, Путин, Иран) и движениями сопротивления (Stop AI, PauseAI). Лаборатории мотивированы деньгами и наследием: уход из OpenAI с основанием новой компании даёт оценку $20 млрд «просто за старт», что делает текучку рациональной. Ямпольский встраивает WorldCoin Альтмана (биометрия + UBI + контроль над мировыми финансами) в логику «мирового доминирования». Проигрывают все, включая самих строителей, если аргумент верен; выигрывает тот, кто остановится на узких прибыльных ИИ (например, «компания, которая лечит рак груди») — и заработает миллиарды без экзистенциального риска.

Идеи

• Если бы инопланетяне летели к Земле и было бы три года на подготовку, началась бы паника — но ИИ это та же ситуация, просто никто не замечает.
• Сворачивание белков (protein folding) уже решено узким ИИ, превосходящим всех людей в этом домене.
• Учёный 20-летней давности, увидев сегодняшние системы, был бы убеждён, что перед ним полноценный AGI.
• За 3 года LLM прошли путь от неспособности умножать трёхзначные числа до побед на математических олимпиадах и работы над «проблемами тысячелетия».
• Технология может существовать, но не внедряться: видеотелефоны изобрели в 70-х, а массовыми они стали только с iPhone — это даёт отсрочку по рабочим местам.
• Останутся лишь работы, где человека предпочитают «по фетишу»: как Уоррен Баффет держит человека-бухгалтера или как платят за hand-made вместо массового производства.
• «Знаешь ли ты лучше всех, каково это — быть тобой? Знаешь, какой у мороженого вкус?» — но это не рынок, за это не платят.
• Парадокс переобучения: сначала «учись кодить», потом «стань prompt-инженером», потом «делай ИИ-агентов» — каждый совет устаревает за 1-2 года, потому что ИИ делает это лучше.
• Экономическая часть «лёгкая»: бесплатный труд → изобилие → можно обеспечить базовые потребности всех; настоящая проблема — что делать со свободным временем.
• Массовая незанятость поднимает вопросы, о которых никто не думает: уровень преступности, рождаемости; у правительств нет программ под 99% безработицы.
• В научной фантастике никогда нет действующего сверхинтеллекта: в «Дюне» ИИ запрещён, в «Звёздных войнах» роботы тупые — потому что правдоподобно описать сверхразум невозможно.
• Кремниевый субстрат превосходит биологический для интеллекта: быстрее, выносливее, энергоэффективнее; «улучшить мозг» через Neuralink/генетику нас не спасёт.
• Загрузка сознания в компьютер — это не продление тебя, а «создание софта другими средствами»; тебя там уже нет.
• У человека есть врождённый bias не думать о неотвратимых плохих исходах — та же инфраструктура, что позволяет нам жить, зная, что все смертны.
• «Событие уровня человечества, аналогичное смерти» — но раз повлиять нельзя, можно просто наслаждаться жизнью; ограниченность времени даже мотивирует жить лучше.
• Идея «давайте просто помолимся» отвергается через incentives: если строители поймут, что умрут, смена мотивации сильнее любой молитвы.
• Запрет/штрафы не работают: «оштрафуете за уничтожение человечества?» — судебная система рассчитана на наказание людей, а тюрьмы и казнь к ИИ неприменимы.
• Симуляцию он обосновывает обещанием: как только это станет дёшево ($10/мес), он сам запустит миллиард симуляций этого интервью — статистически ты в одной из них.
• Дети играют в 10 игр каждый × миллиард детей = 10 млрд симуляций на один реальный мир; число симуляций кратно превышает число реальностей.
• Все религии описывают одно и то же: сверхразумного инженера/программиста, создавшего ложный мир для теста — расскажи племени гипотезу симуляции, через два поколения у них будет религия.
• Из наблюдения мира выводятся свойства «симуляторов»: гениальный инженер и художник, но «не очень с моралью» — раз в мире есть страдание детей.
• Контраргумент про страдание: негативные стимулы (боль) нужны для дизайна, но должны быть на уровне «неприятно, остановлюсь», а не «ад».
• Bitcoin — единственный дефицитный ресурс: золота можно добыть сколько угодно при нужной цене, а биткоинов максимум 21 млн, и каждый день их становится меньше (потерянные пароли, неактивный миллион Сатоши).
• Квантовый компьютер теоретически сломает крипту Bitcoin, но есть стратегии перехода на квантово-устойчивую криптографию, а квантовые машины пока слабы.
• «Совет по жизни в симуляции» (по Робину Хэнсону): будь интересным, тусуйся со знаменитостями, чтобы тебя не выключили; NPC никто быть не хочет.
• Бессмертие не вызовет перенаселения: люди заводят детей как «замену» себе; вечная жизнь → перестаёшь размножаться («заведу детей через миллион лет»).
• Чем богаче люди, тем меньше у них детей — глобально население уже сокращается, а не растёт.
• «Скорость убегания долголетия» (Брайан Джонсон): если каждый прожитый год добавляет два года жизни, ты живёшь вечно — нужно лишь дожить до этой точки.
• В геноме, вероятно, зашит цикл омоложения с лимитом ~120 лет, который можно «перезагрузить» на большее.
• Минимальная зарплата — признание того, что некоторые люди не создают достаточно экономической ценности; федеральные $7.25 в США вместо ~$25 по инфляции означают, что работодателей заставляют переплачивать.
• Половина работ — «bullshit jobs», которые не нужно даже автоматизировать, они могут просто исчезнуть; 60% работ можно заменить уже существующими моделями, но это не сделано.

Инсайты

• Архитектура «возможности vs контроль» структурно расходится: одна кривая экспоненциальна (легко масштабировать вычислениями), другая линейна (требует понимания) — разрыв запрограммирован.
• Предсказуемость и превосходство интеллекта взаимоисключающи: способность предсказать действия агента означает работу на его уровне, что отрицает его превосходство — отсюда непредсказуемость сверхинтеллекта логически неизбежна.
• Качественный сдвиг «инструмент → агент» отменяет всю прежнюю логику управления технологиями: инструменты опасны через намерения людей, агенты опасны сами по себе, и устранение «злого человека» больше ничего не решает.
• «Последнее изобретение»: автоматизация самого процесса изобретательства закрывает исторический паттерн «новая технология → новые рабочие места», потому что новые места тоже достаются ИИ-агенту.
• Удешевление любой разрушительной технологии (ИИ, синтетическая биология) сдвигает порог: радиус поражения одного актора растёт от «миллионы» к «всё человечество» — цивилизация делает катастрофу всё доступнее.
• Юридические и этические рамки бессильны не из-за слабого исполнения, а онтологически: согласие невозможно, если система необъяснима и непредсказуема — значит, эксперимент над 8 млрд людей по определению неэтичен.
• Личный интерес создателей — единственный реальный рычаг: апелляция к «вы тоже умрёте» обходит провал и регуляции, и альтруизма, опираясь на эгоизм как универсальный мотив.
• Психологический механизм отрицания смерти масштабируется с индивида на вид: тот же bias, что позволяет 95-летнему играть в гольф, позволяет человечеству игнорировать экзистенциальный риск.
• Симуляционный аргумент и религия — изоморфны: оба постулируют всемогущего создателя и не-первичность этого мира; различия религий — лишь локальные традиции поверх одной структуры.
• Относительность опыта в симуляции: вся человеческая жизнь может быть миллисекундой «снаружи», что обесценивает интуицию о масштабе времени и значимости.
• Дефицит как фундамент ценности: в мире бесплатного труда и подделываемого золота ценным остаётся лишь математически неподделываемое (Bitcoin) — ценность мигрирует к абсолютной редкости.
• Парадокс изобилия: решение экономической проблемы (бесплатный труд) обнажает экзистенциальную (потеря смысла), потому что для многих работа — единственный источник смысла.
• Информационная перегрузка ломает эволюционный «локальный» фрейм: психика рассчитана на племя из десятка людей, а интернет приносит тысячи смертей в день, заставляя ставить фильтры и не «принимать» глобальные угрозы.
• Траектория экспозиции односторонняя: люди переходят от беспечности к тревоге о безопасности ИИ, но почти никогда обратно — что косвенно свидетельствует о силе аргумента.

Цитаты

«No sabemos cómo hacerlos seguros, cómo asegurarnos de que no hagan algo de lo que nos arrepintamos.» — 3:05 Мы не знаем, как сделать их безопасными, как гарантировать, что они не сделают то, о чём мы пожалеем.

«El espacio de posibilidades es casi infinito. El espacio de resultados que nos gustaría es diminuto.» — 4:38 Пространство возможностей почти бесконечно. Пространство желаемых нами исходов — крошечное.

«No estoy hablando de un 10% de desempleo, que ya es alarmante, sino de un 99%.» — 0:41 Я говорю не о 10% безработицы, что уже тревожно, а о 99%.

«No hay un trabajo que no pueda ser automatizado. Eso realmente nunca había pasado antes.» — 26:12 Нет работы, которую нельзя автоматизировать. Такого раньше действительно никогда не было.

«Es la última invención que tenemos que hacer.» — 26:53 Это последнее изобретение, которое нам нужно сделать.

«Si los alienígenas vinieran a la Tierra y tuvieras tres años para prepararte, estarías entrando en pánico ahora mismo.» — 3:24 Если бы инопланетяне летели к Земле и у тебя было три года на подготовку, ты бы паниковал прямо сейчас.

«La única obligación que tienen es hacer dinero para los inversionistas.» — 4:05 Единственная их обязанность — зарабатывать деньги для инвесторов.

«Es como si pudieras apagar un virus. Tienes un virus informático, no te gusta, apágalo.» — 30:41 Это как «выключи вирус». У тебя компьютерный вирус, он тебе не нравится — выключи его.

«La superinteligencia no es una herramienta, es un agente. Toma sus propias decisiones y nadie la controla.» — 34:50 Сверхинтеллект — это не инструмент, это агент. Он принимает собственные решения, и никто его не контролирует.

«Es como una planta alienígena. Y luego estudiamos para ver qué está haciendo.» — 41:04 Это как инопланетное растение. А потом мы изучаем, что оно делает.

«Si me dijeras que hay un 1% de probabilidad de que, si bebo el líquido de esta taza ahora, podría morir, no lo bebería.» — 53:03 Если бы ты сказал, что есть 1% вероятности умереть, выпив жидкость из этой чашки, я бы её не пил.

«Por definición, están realizando experimentos no éticos en sujetos humanos.» — 53:51 По определению они проводят неэтичные эксперименты на людях.

«Algunas personas quieren ir a Marte, otras quieren controlar la luz, núcleo del universo.» — 1:15 Одни хотят на Марс, другие — контролировать световой конус Вселенной.

«Construyan herramientas útiles. Desarrollen superinteligencias especializadas. No general.» — 51:53 Стройте полезные инструменты. Развивайте специализированные сверхинтеллекты. Не general.

«Pero no maten a todos, incluyéndose a ustedes mismos así.» — 52:23 Но не убивайте всех, включая самих себя.

«Estoy bastante seguro de que estamos en una simulación, sí.» — 57:22 Я вполне уверен, что мы в симуляции, да.

«En cuanto sea asequible, ejecutaré miles de millones de simulaciones asegurándome de que estadísticamente estés en una.» — 57:50 Как только это станет доступным, я запущу миллиарды симуляций, чтобы статистически ты оказался в одной из них.

«No tan bueno con la moral y la ética. Hay margen de mejora.» — 1:02:25 Не очень хорош с моралью и этикой. Есть куда расти.

«Nada te impide vivir para siempre, mientras el universo exista.» — 1:08:03 Ничто не мешает тебе жить вечно, пока существует Вселенная.

«Quieres vivir lo suficiente para vivir para siempre.» — 1:09:43 Ты хочешь прожить достаточно долго, чтобы жить вечно.

«Nadie quiere ser un NPC.» — 1:15:04 Никто не хочет быть NPC.

«Cada día, como porcentaje del conocimiento total, me vuelvo más ignorante.» — 25:19 Каждый день как доля от всего знания я становлюсь всё более невежественным.

«No conozco a nadie que haya pasado de, me preocupa la seguridad de la IA, bueno, no hay nada de qué preocuparse.» — 1:21:05 Я не знаю никого, кто перешёл бы от «меня беспокоит безопасность ИИ» к «да не о чем волноваться».

Факты

• Спикер — доктор компьютерных наук, доцент информатики; начал работать над безопасностью ИИ ~15 лет назад, до того как это стало популярным, и сам ввёл термин «AI safety» (но не основал поле — до него была «блестящая работа» других).
• Толчком стало наблюдение за покерными ботами: он заметил, что они улучшаются, и спрогнозировал, что в итоге они обыграют людей — что и произошло.
• Прогноз AGI — 2027 год (по prediction markets и заявлениям CEO ведущих лабораторий); гуманоидные роботы конкурентоспособны с людьми — к 2030 году; сингулярность по Рэю Курцвейлу — 2045 год.
• Прогноз безработицы: до 99% в течение ~5 лет (спикер подчёркивает, что это его предсказание, а «не то, что реально произойдёт», т.к. сверхинтеллект непредсказуем).
• Вождение названо крупнейшей профессией в мире (спикер «довольно уверен», но оговаривается «если не ошибаюсь»).
• Уже существуют Waymo (роботакси без водителя) и self-driving авто, ведущему недавно «машина везла сама час без вмешательства» в Лос-Анджелесе.
• Узкий ИИ уже решил задачу сворачивания белков (protein folding) лучше всех людей.
• Илья Суцкевер (whisper: «Илья»), сооснователь OpenAI, ушёл и основал компанию Safe Superintelligence.
• Уход топов из OpenAI с основанием новой компании даёт оценку ~$20 млрд без продукта и клиентов.
• Команда superalignment в OpenAI обещала решить задачу за 4 года, но была расформирована примерно через полгода после анонса.
• Под заявлением об опасности ИИ подписались тысячи учёных; среди согласных с позицией спикера — нобелевский лауреат Джефф Хинтон и Бенжио (whisper: «Бенжио»).
• WorldCoin Альтмана — платформа для UBI, ведущая реестр биометрических данных всех людей; команда удерживает крупную долю токенов.
• Bitcoin: верхний предел 21 млн монет; неизвестен объём потерянных монет и судьба ~миллиона монет Сатоши.
• Минимальная федеральная зарплата в США — $7.25/час, по инфляции должна была бы быть ~$25/час.
• Книга спикера издана в 2024 году, посвящена предотвращению сбоев ИИ (AI failures).
• Видеотелефоны изобретены в 1970-х; стали массовыми лишь с iPhone.

Источники

• Книга Романа Ямпольского (2024) о предотвращении сбоев ИИ — упомянута как итог разговора.
• Совместная статья спикера, разбирающая ключевые аргументы против важности безопасности ИИ.
• Робин Хэнсон (Robin Hanson) — статья о том, как жить в симуляции и что в ней делать.
• Рэй Курцвейл (Ray Kurzweil) — прогноз сингулярности на 2045 год.
• Брайан Джонсон (Brian Johnson) — «не умри сейчас», концепция «скорости убегания долголетия».
• Джефф Хинтон, Бенжио — учёные, разделяющие тревогу о рисках ИИ.
• Stop AI, PauseAI (whisper: «PauseAI») — движения протеста, блокирующие офисы OpenAI.
• Google AI worlds — технология генерации навигируемых 3D-миров по промпту с персистентной памятью.
• Люди/компании: Сэм Альтман, OpenAI, Safe Superintelligence (Илья Суцкевер), Tesla, WorldCoin.

Рекомендации

• Поговори с теми, кто строит эту технологию, и попроси конкретно объяснить, как они решают задачи, которые называют невозможными — и пусть опубликуют peer-reviewed статью о том, как будут контролировать сверхинтеллект.
• Строителям ИИ: делайте полезные инструменты и узкие специализированные сверхинтеллекты под конкретные задачи (например, лечение рака) — зарабатывайте миллиарды, но не стройте general-сверхинтеллект.
• Обычному человеку: присоединяйся к PauseAI/Stop AI, поддерживай любые мирные и легальные действия; в краткосроке повлиять почти нельзя, как нельзя было повлиять на Вторую мировую.
• Личное: «живи каждый день как последний», не делай слишком долго то, что ненавидишь, занимайся интересным и важным, помогай другим — это хороший совет независимо от исхода с ИИ.
• Брайан-Джонсоновский совет: «не умри сейчас» — дотяни до технологий продления жизни (диета, питание, инвестиции «на миллион лет вперёд»).

Итог

Сверхинтеллект нельзя сделать безопасным даже в принципе, поэтому гонка за ним — это рациональное самоубийство умнейших людей планеты, ставящих жизни восьми миллиардов на то, чего сами не умеют контролировать.