Как распознать фейковые ИИ-фото | Хани Фарид | TED

Коротко

Хани Фарид, прикладной математик, 30 лет занимается криминалистикой цифровых изображений. Дел стало больше: раньше одно в месяц, теперь почти каждый день. Причина, генеративный ИИ, создающий фото, неотличимые от реальных, плюс нерегулируемые соцсети, которые разгоняют ложь эффективнее правды. На примере сфабрикованного фото четырёх «захваченных солдат» он разбирает три forensic-теста: остаточный шум с фурье-сигнатурой, точки схода параллельных линий и согласованность теней. Все три ловят подделку по одной причине: ИИ работает статистически, а не моделирует физику мира. Вывод: отличить настоящее от поддельного по-прежнему можно, content credentials скоро упростят это для потребителя, а соцсети пора перестать считать источником новостей.

Главный тезис

Идёт война за правду, но человечество не обречено её проиграть: технические инструменты различения реального и сгенерированного существуют, работают и доступны, нужно только перестать кормить информационную помойку и научиться сомневаться.

Ключевые идеи

• 0:44, Автор 30 лет строит технологии анализа и аутентификации цифровых изображений и видео, работая с журналистами, судами и правительствами.
• 1:15, Поток дел вырос с одного в месяц до почти ежедневного, личный измеритель масштаба проблемы.
• 1:33, Генеративный ИИ создаёт картинки, почти неотличимые от реальности, и это качественный, а не количественный сдвиг.
• 1:39, Соцсети нерегулируемы и алгоритмически усиливают ложь и конспирологию сильнее правды.
• 2:00, Происходящее автор называет глобальной войной за правду с последствиями для личностей, институтов, обществ и демократий.
• 2:26, Манипуляция фото существует с середины XIX века (викторианцы, сталинская ретушь), но цифра и ИИ обнулили порог входа.
• 3:26, ИИ усиливает старые угрозы и создаёт новые: нон-консенсуальные ню, фейковые врачи, дипфейк CEO на видеозвонке, укравший десятки миллионов у Fortune 500.
• 4:02, Диффузионные модели учатся превращать шум в изображение, семантически согласованное с подписью, это принципиально не съёмка света сенсором.
• 4:59, Первый тест, остаточный шум: у ИИ-картинки он даёт характерный звездообразный паттерн в магнитуде фурье-преобразования.
• 6:07, Второй тест, точки схода параллельных линий. ИИ их часто ломает, потому что не понимает геометрии.
• 7:11, Третий тест, тени: продолжения линий «объект–тень» должны сходиться в источнике света. У фейка не сходятся.
• 7:36, Корневая уязвимость генеративных моделей: они статистические, а не физические, поэтому ловятся на физико-геометрических аномалиях.
• 9:14, Спасение на стороне создания, content credentials, международный стандарт аутентификации контента в момент съёмки/генерации.
• 9:33, Соцсети сконструированы Кремниевой долиной как воровство времени и внимания, аналог джанк-фуда, а не источник новостей.
• 10:25, Распространяя ложь, даже ненамеренно, пользователь становится частью проблемы.

Почему это важно

Фарид, практик, не алармист. Он показывает, что технический фронт защиты правды реально существует и работает, но проигрывает в скорости платформам, у которых бизнес-модель построена на вовлечении, а не достоверности. Выигрывают Кремниевая долина (внимание = деньги), мошенники-дипфейкеры и государственные пропагандисты. Проигрывают журналисты, суды, фактчекеры, все, чья легитимность завязана на доказуемости фактов. Content Credentials (стандарт C2PA, хотя Фарид не называет его прямо), попытка крупных игроков перенести проверку с этапа потребления на этап создания. Пока этого нет, forensic-команды вроде команды автора превращаются в критическую инфраструктуру для судов и СМИ.

Идеи

• Эскалация по графику «раз в месяц → раз в неделю → почти каждый день», буквальный личный измеритель темпа кризиса.
• Викторианцы шутили фотомонтажом, манипуляция изображениями ровесница самой фотографии, нова только её доступность.
• Сталинская ретушь как самый узнаваемый исторический пример «фотошопа до фотошопа».
• Сценарий со взятыми в заложники солдатами и 10-минутным дедлайном, рабочий шаблон военной/политической дезинформации ближайших лет.
• Дипфейк-имперсонатор CEO на видеозвонке как новый класс корпоративного мошенничества с убытками в десятки миллионов.
• ИИ-ню реальных женщин и детей, инструмент унижения и шантажа, а не «развлечения».
• Фейковые врачи, рекламирующие лекарства от серьёзных болезней, угроза здоровью через узнаваемые лица.
• Диффузионная модель буквально учится обращать процесс деградации в шум, обучение reverse-процессу.
• Естественная фотография, конвертация физического света в цифровое представление; ИИ-картинка, конвертация текста в правдоподобный шумовой паттерн. Это онтологически разные объекты.
• В остаточном шуме «дог настоящий vs дог ИИ» глазу разница незаметна, но в спектре фурье, очевидна.
• Звездообразный паттерн в спектре, сигнатура архитектуры диффузионных моделей, а не конкретной картинки.
• Никакой forensic-метод сам по себе не идеален, стандарт работы: набирать несколько независимых индикаторов, а не полагаться на один.
• Параллельные железнодорожные рельсы как самая интуитивная демонстрация vanishing point, учебный приём из эпохи Ренессанса всё ещё работает против frontier-AI.
• Тени и точки схода математически родственны, обе про проективную геометрию.
• На фото-фейке солдат линии «тень-нога» даже не близко не пересекаются, грубая ошибка, которую человек не замечает, пока не нарисует линии.
• ИИ ловится не потому что «плохо рисует», а потому что не имеет модели мира, это структурное, а не вопрос количества данных.
• Соотношение сигнал/шум в соцсетях приближается к 1, фейков примерно столько же, сколько правды.
• На Twitter/X примерно 50% изображений, фейковые, по оценке автора.
• Появился рекурсивный фейк: фейковые сайты для «аутентификации» фейковых картинок.
• CSI-шный «enhance», теперь технически возможен (в разумных пределах).
• Шеринг по-привычке («просто переслал в чат»), структурно эквивалентен соучастию в дезинформации.
• Метафора «мы все заложники», общество в положении того офицера из вступления, только дедлайн размазан.
• Content Credentials решают проблему не на стороне детекции, а на стороне происхождения, смена парадигмы.
• Юмористический трюк лектора («звезда в фурье, для математиков, остальным надо было больше учить математику»), приём удержания аудитории в техническом докладе.
• Журналисты и фактчекеры, невидимая инфраструктура правды, ежедневно сортирующая ложь; их работа недооценена.
• TED-вопрос «есть ли сайты для проверки» получает резкий ответ «no, don't do it», рынок наводнён фейковыми верификаторами.

Инсайты

• Различие в физике производства, ключевой forensic-рычаг: пока ИИ остаётся статистической машиной поверх текста, физико-геометрические инварианты мира будут его выдавать.
• Forensic-экспертиза в эпоху ИИ, это ансамбль слабых сигналов, а не один сильный детектор; никакого серебряного метода нет.
• Подделки масштабируются экспоненциально, а доверие, линейный ресурс, восстанавливаемый медленно; это асимметрия в пользу атакующего.
• Регулирование соцсетей политически невозможно ровно настолько, насколько их бизнес-модель несовместима с истиной как ценностью, поэтому решение приходится искать на стороне технологий происхождения и личной гигиены потребления.
• Provenance > detection: подписывать происхождение проще и надёжнее, чем гнаться за качеством детекторов фейков, которое всегда будет отставать на поколение моделей.
• Демократии уязвимы не потому что граждане «глупее», а потому что скорость принятия решений в открытом обществе медленнее скорости генерации правдоподобной лжи.
• Личная медиа-гигиена становится гражданским долгом, а не вопросом вкуса: репост без верификации, структурное соучастие.
• Соцсеть как «джанк-фуд», точная экономическая метафора: продукт оптимизирован под зависимость, а не под питательную ценность информации.
• «Война за правду», не риторика, а операциональное состояние: есть фронт, есть инструменты, есть профессионалы по обе стороны, и есть гражданское население, ещё не осознавшее, что оно в зоне боевых действий.

Фреймворки

Три forensic-теста на ИИ-генерацию (по Фариду):

1. Residual noise / Fourier signature, остаточный шум картинки; у генеративных моделей даёт звездообразный паттерн в магнитуде фурье-преобразования.
2. Vanishing points, точки схода параллельных линий; на реальной фотографии параллельные линии сходятся в одной точке, у ИИ, нет.
3. Shadow consistency, линии «точка-объект → соответствующая точка тени» должны сходиться в источнике света; у фейка не сходятся.

Четыре рекомендации потребителю информации:

1. Знать, что инструменты различения существуют и доступны журналистам/судам.
2. Ждать и распознавать content credentials.
3. Не использовать соцсети как источник новостей.
4. Дышать перед шерингом, не быть частью проблемы.

Цитаты

«I've spent the last 30 years developing technologies to analyze and authenticate digital images and digital videos.», 0:44 Последние 30 лет я разрабатываю технологии анализа и аутентификации цифровых изображений и видео.

«It used to be a case would come across my desk once a month, and then it was once a week. Now, it's almost every day.», 1:15 Раньше дело попадало ко мне раз в месяц, потом раз в неделю. Сейчас, почти каждый день.

«We now have the ability to create images that are almost indistinguishable from reality.», 1:33 Мы научились создавать изображения, почти неотличимые от реальности.

«Social media dominates the world and is largely unregulated and actively promotes and amplifies lies and conspiracies over the truth.», 1:39 Соцсети правят миром, почти не регулируются и активно продвигают и усиливают ложь и заговоры в ущерб правде.

«I contend that we are in a global war for truth.», 2:00 Я утверждаю, что мы находимся в глобальной войне за правду.

«Anybody can create any image of anything, anywhere, at a touch of a button.», 3:01 Кто угодно может создать любое изображение чего угодно и где угодно, нажатием одной кнопки.

«From four soldiers tied up in a basement, to a giraffe trying on a turtleneck sweater.», 3:07 От четырёх связанных в подвале солдат до жирафа, примеряющего водолазку.

«Generative AI is being used to supercharge past threats and create entirely new ones.», 3:22 Генеративный ИИ суперзаряжает старые угрозы и создаёт совершенно новые.

«Those threats are real, they are here, and we are all vulnerable.», 3:52 Эти угрозы реальны, они уже здесь, и все мы уязвимы.

«It is decidedly not how a natural photograph is taken.», 4:47 Это решительно не то, как делается естественная фотография.

«Those star-like patterns are a telltale sign of generative AI.», 5:26 Эти звездообразные паттерны, характерный признак генеративного ИИ.

«You definitely should have taken more math in college.», 5:40 Вам определённо стоило побольше учить математику в колледже.

«AI doesn't know this. Because AI is fundamentally a statistical process. It doesn't understand the physical world, the geometry and the physics.», 6:34 ИИ этого не знает. Потому что ИИ, это по сути статистический процесс. Он не понимает физического мира, геометрии и физики.

«Not one, not two, but three anomalies.», 7:57 Не одна, не две, а три аномалии.

«While it may not be easy, it is possible to distinguish what is real from what is fake.», 8:14 Это непросто, но возможно, отличить настоящее от поддельного.

«We feel like hostages. We don't know what to trust anymore.», 8:26 Мы чувствуем себя заложниками. Мы больше не знаем, чему верить.

«We have agency, and we can affect change.», 8:45 У нас есть субъектность, и мы можем менять ход вещей.

«Social media is not a place to get news and information.», 9:33 Соцсети, не место для получения новостей и информации.

«It is a place that Silicon Valley created to steal your time, your attention, by delivering you the equivalent of junk food.», 9:41 Это место Кремниевая долина создала, чтобы воровать ваше время и внимание, скармливая вам эквивалент джанк-фуда.

«Like any bad habit, you should quit.», 10:06 Как и от любой плохой привычки, бросайте.

«It is simply too riddled with lies and conspiracies and now AI slop to be even close to being reliable.», 10:15 Это просто слишком напичкано враньём, конспирологией и теперь ИИ-помоями, чтобы быть хоть сколько-нибудь надёжным.

«When you share false or misleading information, intentionally or not, you're all part of the problem.», 10:25 Когда вы делитесь ложной или вводящей в заблуждение информацией, намеренно или нет, вы все часть проблемы.

«Take a breath before you share information.», 10:42 Сделайте вдох, прежде чем делиться информацией.

«We're at a fork in the road.», 11:02 Мы стоим на развилке.

«Signal to noise ratio is getting close to one. Stay off of Twitter, stay off of X.», 11:46 Соотношение сигнал/шум приближается к единице. Держитесь подальше от Twitter, держитесь подальше от X.

«Now people are creating fake things, then going to fake sites to authenticate fake things, and it's all getting very weird.», 12:16 Теперь люди создают фейки, потом идут на фейковые сайты проверять фейки, и всё это становится очень странным.

Факты

• Автор, Хани Фарид (Hani Farid), по образованию прикладной математик и компьютерщик.
• 30 лет занимается технологиями аутентификации цифровых изображений и видео.
• Работал с журналистами, судами и правительствами, от изображений супружеской измены до жестокого обращения с детьми и фотодоказательств по делам об убийствах.
• Частота новых дел выросла с раз в месяц → раз в неделю → почти ежедневно.
• Манипуляция фотографиями фиксируется с середины XIX века; сталинский режим вычёркивал людей из истории через ретушь.
• Качественный скачок, рубеж тысячелетия (цифровые камеры + редакторы) и затем генеративный ИИ.
• Компания из Fortune 500 потеряла десятки миллионов долларов из-за ИИ-имперсонатора CEO на видеозвонке.
• Метод 1: остаточный шум, визуализированный через магнитуду фурье-преобразования, даёт звездообразный паттерн у ИИ-картинок.
• Метод 2: проверка точек схода параллельных линий на сцене.
• Метод 3: проверка пересечения линий «объект–тень» в источнике света.
• На разобранном фото «солдат в подвале», три независимых аномалии: фурье-сигнатура, отсутствие общей точки схода, несходящиеся тени.
• Существует международный стандарт content credentials для аутентификации контента на этапе создания (Фарид не называет имя, но это C2PA-семейство).
• Оценка автора: до ~50% изображений на X/Twitter, фейковые; соотношение сигнал/шум приближается к 1.
• Отличать Instagram/TikTok-фильтры и фотошоп от полностью ИИ-сгенерированных изображений всё ещё возможно, но становится сложнее.
• На вопрос про CSI-шный «enhance», автор отвечает, что да, это технически возможно.

Источники

• Hani Farid, спикер, исследователь цифровой forensic-экспертизы.
• Content credentials, международный стандарт аутентификации контента в точке создания (отраслевая инициатива, известная как C2PA).
• Fourier transform, математический инструмент анализа остаточного шума.
• Журналисты и фактчекеры, упомянуты как ежедневные партнёры по работе.

Рекомендации

• Перестать брать новости из соцсетей; если бросить совсем нельзя, хотя бы не делать их первичным источником.
• Держаться подальше от Twitter/X, сигнал/шум там примерно 1.
• Не пользоваться «сайтами для проверки фейков», рынок наводнён фейковыми верификаторами.
• Делать паузу перед шерингом, проверять, прежде чем рассылать.
• Следить за появлением и распознавать значки content credentials на контенте.
• Если вы, институция (СМИ, суд, корпорация), обращаться к forensic-командам уровня команды автора, а не пытаться оценивать картинки на глаз.

Итог

ИИ не отнял у нас способность отличать правду от подделки. Он отнял право не задумываться. Теперь медиа-гигиена, это не вкус, а гражданская инфраструктура.