Введение — ссылка, которую протянул мне ИИ

Однажды я спросил у корпоративного ИИ, как пользоваться инструментом стороннего поставщика. Это не был знаменитый open source-проект и не коммерческое решение с бурным сообществом, хотя в сети встречались отдельные упоминания.

ИИ выдал безупречное решение и вдобавок прислал «ссылку на источник».

Ссылка открылась без препятствий. На странице действительно была нужная мне информация, но заголовок гласил:

«Конфиденциально — не для внешнего распространения».

Минутку. Чей это внутренний документ? Присмотревшись, я понял, что это не материалы моей компании и не официальное руководство вендора — похоже, это внутренний мануал другой фирмы, использующей тот же инструмент.

Мне повезло?

…

Вовсе нет. От осознания по спине пробежал холодок.

Да, если игнорировать ИИ и подобрать правильные ключевые слова, страница действительно находится. Но она зарыта где-то на десятках страниц выдачи — настоящая иголка в стоге сена.

Часть 1. «Демократизация», которую приносит ИИ

Классические поисковики на основе краулеров заставляют человека просеивать горы песка в поисках крупиц золота. Поставщики поисковых систем стараются поднимать релевантные страницы, но у этого есть пределы: крупные сайты занимают верхние позиции, а важные детали прячутся внизу.

ИИ же, напротив, сам вытаскивает «золото» — даже с плохо ранжированных страниц, если они отвечают запросу.

  • Информация, которую человек искал бы десятки минут или вовсе бросил бы поиски, появляется мгновенно, стоит только задать удачный промпт.
  • Люди, у которых раньше не было доступа к специализированным знаниям и ноу-хау, теперь получают ответ сразу.

Это несомненно демократизация доступа к информации. Подобно тому как интернет когда-то вырвал знания из рук элит и экспертов, ИИ делает их ещё более открытыми.

В образовании и исследованиях эффект особенно заметен. Студенты и специалисты мгновенно получают инсайты, которые прежде требовали перелистывать специализированные книги и журналы. Стартапы строят стратегии без дорогостоящих консультантов, а одиночки собирают приложения за одну ночь.

То же самое происходит и с публикацией. Интернет дал каждому возможность вещать на весь мир, но неизвестные авторы по-прежнему редко попадали в поле зрения.

А теперь посмотрите, что вышло: ИИ поднял со дна выдачи страницу с ужасным рейтингом, вероятно случайно открытую и не оптимизированную под SEO, — и всё же это был точный ответ на мой вопрос.

С полным основанием можно сказать, что ИИ демократизировал и распространение информации, и её поиск сильнее, чем это делал один лишь интернет.

Часть 2. Обратная сторона демократизации — разоблачение

Но этот же опыт показал, что демократизация одновременно становится двигателем раскрытий.

Документ оказался доступен из-за ошибочной настройки. Теоретически его мог проиндексировать и обычный поисковик, так что посторонний в принципе мог бы его найти. Однако без ИИ вероятность была ничтожной. Единицы доходят до двадцатой страницы выдачи и открывают каждую ссылку.

Информация, которая раньше прошла бы незамеченной — «мы промахнулись, но никто не увидел, значит повезло», — теперь мгновенно попадает к нуждающемуся, стоит подключиться ИИ.

В этот раз речь шла всего лишь о руководстве по эксплуатации (и вовсе не секретном), а запрос не был злонамеренным, так что вреда не случилось. Но что, если бы утечка касалась чувствительных данных и искал их человек с дурными намерениями? В тот момент я понял: в эпоху ИИ фактическая скрытность умерла.

«Глубоко зарыто, значит, никто не найдёт» — это больше не работает. Как только что-то проиндексировано, желающий получает его очень быстро.

Крупные сервисы вроде ChatGPT внедряют политики, чтобы отклонять злонамеренные запросы, и фильтры будут усиливаться. Но что, если кто-то создаст собственный ИИ без всяких ограничений?

В Японии был бум «вирусов Winny», утечек через Winny — программу P2P-обмена файлами. В сеть попадали военные документы, клиентские базы компаний, личные фотографии и видео, что стало большой общественной проблемой. Некоторые фирмы заставляли сотрудников подписывать обещания не использовать Winny. (Сам Winny был лишь инструментом P2P, так что реакция была преувеличена, но эмоциональный фон был именно таким.)

По сравнению с тем временем риски от точных ответов современных генеративных систем гораздо выше. Стоит информации стать доступной, и она в разы быстрее оказывается в руках злоумышленников. Никакие вирусы не нужны — достаточно одной ошибки.

ИИ отвечает без тени сомнения; у него нет ни этики, ни чувства ответственности. (Да, ИИ с политиками «медлит», но любой уже может собрать нецензурируемую модель — на Hugging Face таких немало.)

В эпоху ИИ «если спрятано — значит безопасно» перестаёт существовать.

И утечка не ограничивается одним событием. ИИ обучается на данных, пересказывает их и передаёт другим пользователям. Информация может распространяться и закрепляться, пока никто не заметил самого факта утечки. Оказавшись внутри ИИ, она способна циркулировать почти бесконечно.

Часть 3. Асимметрия скорости

Есть и другая проблема — асимметрия скорости.

  • ИИ собирает, оптимизирует и доставляет информацию с головокружительной скоростью. Его способность сопоставлять запрос и ответ намного превосходит традиционный поиск.
  • Законы, регулирование, этика, защитные меры и изменение массового сознания движутся, в лучшем случае, годами.

Эта асимметрия усиливает тревогу.

Предыдущие информационные революции — газеты, телевидение, поисковики — имели определённую фрикцию и задержку, давая обществу время выработать правила. ИИ практически устраняет трение и мгновенно распространяет «лучший» ответ на весь мир.

В результате и точные знания, и ложные слухи, и неудобные факты, и трагические утечки распространяются с одинаковой скоростью, как только ИИ их усвоил. На выходе ИИ статья эксперта и ошибочный пост анонимного форума звучат с одинаковой убедительностью. Это будущее уже наступило.

Часть 4. Где же ответственность?

В моей истории я всё-таки нажал на ссылку. Это не было несанкционированным доступом: страница находилась поиском, никакие проверки я не обходил.

Проблема в том, что решение «стоит ли мне это видеть» полностью переложили на меня, и нигде не сработал механизм, который бы оценил, «стоит ли это показывать».

ИИ выдаёт ответ, не задумываясь, следует ли отвечать вообще. Как я писал в предыдущей статье, у ИИ нет ни достоинства, ни убеждений, ни чувства ответственности. Эту брешь приходится закрывать людям.

Я открыл главную страницу того сайта и отправил письмо на указанный адрес. Это не хвастовство: равнодушие ИИ компенсировали человеческая ответственность, совесть и страх.

Проницательный читатель уже догадался: далеко не все поступят так же. Кто-то, наоборот, распространит найденное; кто-то по неосторожности «скормит» ИИ внутренние документы. Насколько мне известно, эта тема пока не стала скандалом уровня Winny, но, думаю, это лишь вопрос времени.

Заключение — к «дизайну ответственности» в эпоху ИИ

ИИ демократизирует информацию куда мощнее интернета — как в доступе, так и в публикации. Но обратная сторона неизбежна: случайные раскрытия, доставленные «точно и быстро» тем, кто желает навредить.

Суть угрозы в том, что прежнее «мы ошиблись в настройках, но никто не заметил, значит, всё обошлось» больше не работает. Стоит некорректно настроенной странице попасть в индекс, и она немедленно оказывается у заинтересованных.

Даже без ошибки настройки, информация, когда-то казавшаяся безобидной, будучи связанной воедино, может составить портрет, который вы не собирались раскрывать. Я ради эксперимента отдал ИИ (ChatGPT) все материалы этого блога, и он составил мой профиль с удивительной точностью — на глазок процентов на шестьдесят. Он не угадал работодателя и точный возраст (хотя приблизительный определил), сделал несколько ошибок, но результат всё равно встревожил.

※ Исследования по стилометрии — статистическому анализу стиля — показывают, что для идентификации автора достаточно нескольких десятков строк.

В зависимости от цели ИИ способен попасть «в точку» полностью. Безобидные на вид фрагменты, собранные вместе, способны оголить неожиданную правду.

※ OSINT (Open Source Intelligence — разведка по открытым источникам) — это сбор и анализ публичной информации. ИИ делает OSINT куда мощнее и доступнее: им может воспользоваться любой, хоть преследователь.

Задача будущего — не просто «усилить безопасность». Нам нужен дизайн ответственности и безопасности, соответствующий эпохе ИИ, — правила и меры, успевающие за скоростью демократизированной информации.

ИИ сделал знания ближе, чем когда-либо. Одновременно рухнул миф безопасности «никто не найдёт». У меня пока нет готового ответа, но теперь, когда ИИ растворил границы информации, очевидно: необходимо пересмотреть подходы к информационному менеджменту.

Дальше нам всем придётся жить, постоянно помня о двух сторонах одной медали — демократизации и разоблачении.