Как распознать фейковые ИИ-фото | Хани Фарид | TED

Коротко

Прикладной математик и компьютерщик Хани Фарид 30 лет занимается криминалистикой цифровых изображений и сейчас получает дела почти каждый день — против одного в месяц десять лет назад. Причина — связка генеративного ИИ, который создаёт фото, неотличимые от реальности, и нерегулируемых соцсетей, которые усиливают ложь сильнее правды. На примере сфабрикованного фото четырёх «захваченных солдат» он показывает три forensic-теста: остаточный шум с фурье-сигнатурой, точки схода параллельных линий и согласованность теней. Все три ловят подделку, потому что ИИ не моделирует физику и геометрию мира, а работает статистически. Вывод: отличить настоящее от поддельного по-прежнему возможно, content credentials скоро помогут потребителю, а соцсети надо перестать использовать как источник новостей.

Главный тезис

Идёт глобальная война за правду, но человечество не обречено быть её заложником: технические инструменты различения реального и сгенерированного существуют, работают и доступны — нужно только перестать кормить информационную помойку и научиться сомневаться.

Ключевые идеи

• 0:44 — Автор 30 лет строит технологии анализа и аутентификации цифровых изображений и видео, работая с журналистами, судами и правительствами.
• 1:15 — Поток дел вырос с одного в месяц до почти ежедневного — это и есть индикатор масштаба проблемы.
• 1:33 — Генеративный ИИ создаёт картинки, почти неотличимые от реальности, и это качественный, а не количественный сдвиг.
• 1:39 — Соцсети нерегулируемы и алгоритмически усиливают ложь и конспирологию сильнее правды.
• 2:00 — Происходящее автор называет глобальной войной за правду с последствиями для личностей, институтов, обществ и демократий.
• 2:26 — Манипуляция фото существует с середины XIX века (викторианцы, сталинская ретушь), но цифра и ИИ обнулили порог входа.
• 3:26 — ИИ усиливает старые угрозы и создаёт новые: нон-консенсуальные ню, фейковые врачи, дипфейк CEO на видеозвонке, укравший десятки миллионов у Fortune 500.
• 4:02 — Диффузионные модели учатся превращать шум в изображение, семантически согласованное с подписью — это принципиально не съёмка света сенсором.
• 4:59 — Первый тест — остаточный шум: у ИИ-картинки он даёт характерный звездообразный паттерн в магнитуде фурье-преобразования.
• 6:07 — Второй тест — точки схода параллельных линий. ИИ их часто ломает, потому что не понимает геометрии.
• 7:11 — Третий тест — тени: продолжения линий «объект–тень» должны сходиться в источнике света. У фейка не сходятся.
• 7:36 — Корневая уязвимость генеративных моделей: они статистические, а не физические, поэтому ловятся на физико-геометрических аномалиях.
• 9:14 — Спасение на стороне создания — content credentials, международный стандарт аутентификации контента в момент съёмки/генерации.
• 9:33 — Соцсети сконструированы Кремниевой долиной как воровство времени и внимания, аналог джанк-фуда, а не источник новостей.
• 10:25 — Распространяя ложь — даже ненамеренно — пользователь становится частью проблемы.

Почему это важно

Это речь практика, а не алармиста: Фарид показывает, что технический фронт защиты правды реально существует и работает, но проигрывает в скорости платформам, у которых бизнес-модель построена на вовлечении, а не на достоверности. Выигрывают сейчас Кремниевая долина (внимание = деньги), мошенники-дипфейкеры и государственные пропагандисты; проигрывают журналисты, суды, фактчекеры и любые институты, чья легитимность завязана на доказуемости фактов. Content Credentials (стандарт C2PA, хотя Фарид не называет его прямо) — это попытка крупных игроков (Adobe, Microsoft, камеры) перенести проверку с этапа потребления на этап создания. Пока этого нет — рынок forensic-экспертов (как команда автора) становится критической инфраструктурой для судов и СМИ.

Идеи

• Эскалация по графику «раз в месяц → раз в неделю → почти каждый день» — буквальный личный измеритель темпа кризиса.
• Викторианцы шутили фотомонтажом — манипуляция изображениями ровесница самой фотографии, нова только её доступность.
• Сталинская ретушь как самый узнаваемый исторический пример «фотошопа до фотошопа».
• Сценарий со взятыми в заложники солдатами и 10-минутным дедлайном — рабочий шаблон военной/политической дезинформации ближайших лет.
• Дипфейк-имперсонатор CEO на видеозвонке как новый класс корпоративного мошенничества с убытками в десятки миллионов.
• ИИ-ню реальных женщин и детей — инструмент унижения и шантажа, а не «развлечения».
• Фейковые врачи, рекламирующие лекарства от серьёзных болезней — угроза здоровью через узнаваемые лица.
• Диффузионная модель буквально учится обращать процесс деградации в шум — обучение reverse-процессу.
• Естественная фотография — конвертация физического света в цифровое представление; ИИ-картинка — конвертация текста в правдоподобный шумовой паттерн. Это онтологически разные объекты.
• В остаточном шуме «дог настоящий vs дог ИИ» глазу разница незаметна, но в спектре фурье — очевидна.
• Звездообразный паттерн в спектре — сигнатура архитектуры диффузионных моделей, а не конкретной картинки.
• Никакой forensic-метод сам по себе не идеален — стандарт работы: набирать несколько независимых индикаторов, а не полагаться на один.
• Параллельные железнодорожные рельсы как самая интуитивная демонстрация vanishing point — учебный приём из эпохи Ренессанса всё ещё работает против frontier-AI.
• Тени и точки схода математически родственны — обе про проективную геометрию.
• На фото-фейке солдат линии «тень-нога» даже не близко не пересекаются — грубая ошибка, которую человек не замечает, пока не нарисует линии.
• ИИ ловится не потому что «плохо рисует», а потому что не имеет модели мира — это структурное, а не вопрос количества данных.
• Соотношение сигнал/шум в соцсетях приближается к 1 — то есть фейков примерно столько же, сколько правды.
• На Twitter/X примерно 50% изображений — фейковые, по оценке автора.
• Появился рекурсивный фейк: фейковые сайты для «аутентификации» фейковых картинок.
• CSI-шный «enhance» — теперь технически возможен (в разумных пределах).
• Шеринг по-привычке («просто переслал в чат») — структурно эквивалентен соучастию в дезинформации.
• Метафора «мы все заложники» — общество в положении того офицера из вступления, только дедлайн размазан.
• Content Credentials решают проблему не на стороне детекции, а на стороне происхождения — это смена парадигмы.
• Юмористический трюк лектора («звезда в фурье — для математиков, остальным надо было больше учить математику») — приём удержания аудитории в техническом докладе.
• Журналисты и фактчекеры — невидимая инфраструктура правды, ежедневно сортирующая ложь; их работа недооценена.
• TED-вопрос «есть ли сайты для проверки» получает резкий ответ «no, don't do it» — потому что рынок наводнён фейковыми верификаторами.

Инсайты

• Различие в физике производства — ключевой forensic-рычаг: пока ИИ остаётся статистической машиной поверх текста, физико-геометрические инварианты мира будут его выдавать.
• Forensic-экспертиза в эпоху ИИ — это ансамбль слабых сигналов, а не один сильный детектор; никакой serial-killer-метод не существует.
• Подделки масштабируются экспоненциально, а доверие — линейный ресурс, восстанавливаемый медленно; это асимметрия в пользу атакующего.
• Регулирование соцсетей политически невозможно ровно настолько, насколько их бизнес-модель несовместима с истиной как ценностью, поэтому решение приходится искать на стороне технологий происхождения и личной гигиены потребления.
• Provenance > detection: подписывать происхождение проще и надёжнее, чем гнаться за качеством детекторов фейков, которое всегда будет отставать на поколение моделей.
• Демократии уязвимы не потому что граждане «глупее», а потому что скорость принятия решений в открытом обществе медленнее скорости генерации правдоподобной лжи.
• Личная медиа-гигиена становится гражданским долгом, а не вопросом вкуса: репост без верификации — структурное соучастие.
• Соцсеть как «джанк-фуд» — точная экономическая метафора: продукт оптимизирован под зависимость, а не под питательную ценность информации.
• «Война за правду» — не риторика, а операциональное состояние: есть фронт, есть инструменты, есть профессионалы по обе стороны, и есть гражданское население, ещё не осознавшее, что оно в зоне боевых действий.

Фреймворки

Три forensic-теста на ИИ-генерацию (по Фариду):

1. Residual noise / Fourier signature — остаточный шум картинки; у генеративных моделей даёт звездообразный паттерн в магнитуде фурье-преобразования.
2. Vanishing points — точки схода параллельных линий; на реальной фотографии параллельные линии сходятся в одной точке, у ИИ — нет.
3. Shadow consistency — линии «точка-объект → соответствующая точка тени» должны сходиться в источнике света; у фейка не сходятся.

Четыре рекомендации потребителю информации:

1. Знать, что инструменты различения существуют и доступны журналистам/судам.
2. Ждать и распознавать content credentials.
3. Не использовать соцсети как источник новостей.
4. Дышать перед шерингом — не быть частью проблемы.

Цитаты

«I've spent the last 30 years developing technologies to analyze and authenticate digital images and digital videos.» — 0:44 Последние 30 лет я разрабатываю технологии анализа и аутентификации цифровых изображений и видео.

«It used to be a case would come across my desk once a month, and then it was once a week. Now, it's almost every day.» — 1:15 Раньше дело попадало ко мне раз в месяц, потом раз в неделю. Сейчас — почти каждый день.

«We now have the ability to create images that are almost indistinguishable from reality.» — 1:33 Мы научились создавать изображения, почти неотличимые от реальности.

«Social media dominates the world and is largely unregulated and actively promotes and amplifies lies and conspiracies over the truth.» — 1:39 Соцсети правят миром, почти не регулируются и активно продвигают и усиливают ложь и заговоры в ущерб правде.

«I contend that we are in a global war for truth.» — 2:00 Я утверждаю, что мы находимся в глобальной войне за правду.

«Anybody can create any image of anything, anywhere, at a touch of a button.» — 3:01 Кто угодно может создать любое изображение чего угодно и где угодно — нажатием одной кнопки.

«From four soldiers tied up in a basement, to a giraffe trying on a turtleneck sweater.» — 3:07 От четырёх связанных в подвале солдат до жирафа, примеряющего водолазку.

«Generative AI is being used to supercharge past threats and create entirely new ones.» — 3:22 Генеративный ИИ суперзаряжает старые угрозы и создаёт совершенно новые.

«Those threats are real, they are here, and we are all vulnerable.» — 3:52 Эти угрозы реальны, они уже здесь, и все мы уязвимы.

«It is decidedly not how a natural photograph is taken.» — 4:47 Это решительно не то, как делается естественная фотография.

«Those star-like patterns are a telltale sign of generative AI.» — 5:26 Эти звездообразные паттерны — характерный признак генеративного ИИ.

«You definitely should have taken more math in college.» — 5:40 Вам определённо стоило побольше учить математику в колледже.

«AI doesn't know this. Because AI is fundamentally a statistical process. It doesn't understand the physical world, the geometry and the physics.» — 6:34 ИИ этого не знает. Потому что ИИ — это по сути статистический процесс. Он не понимает физического мира, геометрии и физики.

«Not one, not two, but three anomalies.» — 7:57 Не одна, не две, а три аномалии.

«While it may not be easy, it is possible to distinguish what is real from what is fake.» — 8:14 Это непросто, но возможно — отличить настоящее от поддельного.

«We feel like hostages. We don't know what to trust anymore.» — 8:26 Мы чувствуем себя заложниками. Мы больше не знаем, чему верить.

«We have agency, and we can affect change.» — 8:45 У нас есть субъектность, и мы можем менять ход вещей.

«Social media is not a place to get news and information.» — 9:33 Соцсети — не место для получения новостей и информации.

«It is a place that Silicon Valley created to steal your time, your attention, by delivering you the equivalent of junk food.» — 9:41 Это место Кремниевая долина создала, чтобы воровать ваше время и внимание, скармливая вам эквивалент джанк-фуда.

«Like any bad habit, you should quit.» — 10:06 Как и от любой плохой привычки — бросайте.

«It is simply too riddled with lies and conspiracies and now AI slop to be even close to being reliable.» — 10:15 Это просто слишком напичкано враньём, конспирологией и теперь ИИ-помоями, чтобы быть хоть сколько-нибудь надёжным.

«When you share false or misleading information, intentionally or not, you're all part of the problem.» — 10:25 Когда вы делитесь ложной или вводящей в заблуждение информацией — намеренно или нет — вы все часть проблемы.

«Take a breath before you share information.» — 10:42 Сделайте вдох, прежде чем делиться информацией.

«We're at a fork in the road.» — 11:02 Мы стоим на развилке.

«Signal to noise ratio is getting close to one. Stay off of Twitter, stay off of X.» — 11:46 Соотношение сигнал/шум приближается к единице. Держитесь подальше от Twitter, держитесь подальше от X.

«Now people are creating fake things, then going to fake sites to authenticate fake things, and it's all getting very weird.» — 12:16 Теперь люди создают фейки, потом идут на фейковые сайты проверять фейки — и всё это становится очень странным.

Факты

• Автор — Хани Фарид (Hani Farid), по образованию прикладной математик и компьютерщик.
• 30 лет занимается технологиями аутентификации цифровых изображений и видео.
• Работал с журналистами, судами и правительствами — от изображений супружеской измены до жестокого обращения с детьми и фотодоказательств по делам об убийствах.
• Частота новых дел выросла с раз в месяц → раз в неделю → почти ежедневно.
• Манипуляция фотографиями фиксируется с середины XIX века; сталинский режим вычёркивал людей из истории через ретушь.
• Качественный скачок — рубеж тысячелетия (цифровые камеры + редакторы) и затем генеративный ИИ.
• Компания из Fortune 500 потеряла десятки миллионов долларов из-за ИИ-имперсонатор-а CEO на видеозвонке.
• Метод 1: остаточный шум, визуализированный через магнитуду фурье-преобразования, даёт звездообразный паттерн у ИИ-картинок.
• Метод 2: проверка точек схода параллельных линий на сцене.
• Метод 3: проверка пересечения линий «объект–тень» в источнике света.
• На разобранном фото «солдат в подвале» — три независимых аномалии: фурье-сигнатура, отсутствие общей точки схода, несходящиеся тени.
• Существует международный стандарт content credentials для аутентификации контента на этапе создания (Фарид не называет имя, но это C2PA-семейство).
• Оценка автора: до ~50% изображений на X/Twitter — фейковые; соотношение сигнал/шум приближается к 1.
• Отличать Instagram/TikTok-фильтры и фотошоп от полностью ИИ-сгенерированных изображений всё ещё возможно, но становится сложнее.
• На вопрос про CSI-шный «enhance» — автор отвечает, что да, это технически возможно.

Источники

• Hani Farid — спикер, исследователь цифровой forensic-экспертизы.
• Content credentials — международный стандарт аутентификации контента в точке создания (отраслевая инициатива, известная как C2PA).
• Fourier transform — математический инструмент анализа остаточного шума.
• Журналисты и фактчекеры — упомянуты как ежедневные партнёры по работе.

Рекомендации

• Перестать брать новости из соцсетей; если бросить совсем нельзя — хотя бы не делать их первичным источником.
• Держаться подальше от Twitter/X — сигнал/шум там ≈ 1.
• Не пользоваться «сайтами для проверки фейков» — рынок наводнён фейковыми верификаторами.
• Делать паузу перед шерингом — проверять, прежде чем рассылать.
• Следить за появлением и распознавать значки content credentials на контенте.
• Если вы — институция (СМИ, суд, корпорация), обращаться к forensic-командам уровня команды автора, а не пытаться оценивать картинки на глаз.

Итог

ИИ не лишил нас способности отличать правду от подделки — он лишил нас права не задумываться, и теперь медиа-гигиена это не вкус, а гражданская инфраструктура.