Качественный спам от искусственного интеллекта

Каждый день сообщения от нигерийских принцев, продавцов чудодейственных лекарств и рекламодателей инвестиционных проектов "захламляют" почтовые ящики. При этом совершенствование спам-фильтров только вдохновляет на новые методы прорыва сквозь защиту.

На сегодняшний день противостояние между блокировщиками и отправителями спама может обостриться с появлением нового оружия: генеративного искусственного интеллекта. Благодаря последним достижениям в области искусственного интеллекта, ставшим известными благодаря ChatGPT, спамеры могут получить новые инструменты для обхода фильтров, привлечения внимания людей и убеждения их нажать на кнопку, купить или предоставить личную информацию.

Джон Ликато, доцент кафедры информатики и директор лаборатории AMHR (Advancing Human and Machine Reasoning) в Университете Южной Флориды, занимается исследованиями на стыке искусственного интеллекта, обработки естественного языка и человеческого мышления. Исследователь анализировал, как искусственный интеллект может изучать индивидуальные предпочтения, убеждения и причуды людей. Это может быть использовано для лучшего понимания того, как взаимодействовать с людьми, помогать им учиться или давать полезные советы. Но это также означает, что людям следует опасаться более умного спама, который "знает" слабые места - и может использовать их против человека.

Итак, что же такое спам? Спам определяется как незапрашиваемые коммерческие электронные письма, отправленные неизвестным лицом. Иногда этот термин распространяется на текстовые сообщения, прямые сообщения в социальных сетях и фальшивые отзывы о товарах. Спамеры хотят подтолкнуть человека к действию: покупке чего-либо, переходу по фишинговым ссылкам, установке вредоносного ПО или изменению взглядов.

Спам приносит прибыль. Одна рассылка по электронной почте может принести 1000 долларов США всего за несколько часов и обойдётся спамерам всего в несколько долларов - не считая первоначальной подготовки.

Законные рекламодатели также хотят подтолкнуть людей к действию - покупке их продукции, участию в опросах, подписке на рассылку новостей, - но в то время как электронное письмо от маркетолога может содержать ссылку на веб-сайт компании и опцию отказа от подписки в соответствии с правилами, письмо от спамеров может этого не иметь.

Спамеры также не имеют доступа к спискам рассылки, на которые подписались пользователи. Вместо этого спамеры используют контр-интуитивные стратегии, такие как мошенническая схема "нигерийский принц", в которой нигерийский принц утверждает, что ему необходима ваша помощь для того, чтобы разблокировать баснословную сумму денег, обещая за это хорошее вознаграждение. Опытные цифровые аборигены сразу же отвергают такие просьбы, но абсурдность просьбы может быть на самом деле рассчитана на наивность или преклонный возраст, отфильтровывая тех, кто с наибольшей вероятностью попадётся на удочку мошенников.

Однако развитие искусственного интеллекта означает, что спамерам, возможно, не придётся полагаться на такие подходы. ИИ может позволить им выбирать людей и делать свои сообщения более убедительными на основе легкодоступной информации, например, сообщений в социальных сетях.

Скорее всего, большинство людей уже слышали о достижениях в области генеративных больших языковых моделей, таких как ChatGPT. Задача, которую выполняют эти генеративные LLM (большие языковые модели), обманчиво проста: задав последовательность текста, предсказать, какая лексема – можно считать, что это часть слова – идёт следующей. Затем предсказать, какая лексема идёт после неё. И так далее, снова и снова. Каким-то образом, обучение только этой задаче, при работе с достаточным количеством текста на большом LLM, кажется, достаточно, чтобы наделить эти модели способностью удивительно хорошо справляться с множеством других задач.

Уже появилось множество способов использования этой технологии, демонстрирующих её способность быстро адаптироваться к людям и узнавать их. Например, LLM могут писать полноценные электронные письма в стиле конкретного человека, имея лишь несколько примеров того, как он пишет. Есть и классический пример - уже более чем десятилетней давности - когда компания Target выяснила, что покупательница беременна, до того, как об этом узнал её отец.

Учитывая страницу в LinkedIn, несколько сообщений и пару изображений профиля, спамеры, вооружённые LLM, могут сделать достаточно точные предположения о политических взглядах, семейном положении или жизненных приоритетах конкретного человека.

Исследования Ликато и его команды показали, что LLM можно использовать для предсказания того, какое слово человек произнесёт следующим, с точностью, значительно превосходящей другие подходы ИИ, в задаче генерации слов, называемой задачей семантической беглости. Учёные также показали, что LLM могут брать определённые типы вопросов из тестов на способность рассуждать и предсказывать, как люди ответят на этот вопрос. Это позволяет предположить, что LLM уже обладают некоторыми знаниями о том, как выглядят типичные способности человека к рассуждению.

Если спамерам удаётся пройти первоначальные фильтры и заставить человека прочитать письмо, нажать на ссылку или даже вступить в разговор, их способность применять индивидуальное убеждение резко возрастает. И здесь LLM могут изменить игру.

Спам-фильтры также должны выиграть от достижений ИИ, которые позволят возводить новые барьеры на пути нежелательных писем. Спамеры часто пытаются обмануть фильтры с помощью специальных символов, неправильно написанных слов или скрытого текста, полагаясь на склонность человека прощать небольшие текстовые аномалии - например, "c1ick h.ere n0w".

Но по мере того, как ИИ будет лучше понимать спам, фильтры смогут лучше определять и блокировать нежелательный спам - и, возможно, даже пропускать нужный спам, например, маркетинговые письма, на которые человек подписался. Можно представить себе фильтр, который предсказывает, захотите ли вы прочитать письмо, ещё до того, как вы его получили.

Несмотря на растущую обеспокоенность по поводу ИИ, о чём свидетельствуют высказывания генерального директора Tesla, SpaceX и Twitter Илона Маска, основателя Apple Стива Возняка и других технологических лидеров, призывающих приостановить развитие ИИ, прогресс в этой технологии может принести много пользы. ИИ может помочь понять, как слабые места в человеческом мышлении могут быть использованы недоброжелателями, и придумать способы противодействия злонамеренным действиям.

Все новые технологии могут привести как к чуду, так и к опасности. Разница заключается в том, кто создаёт и контролирует инструменты и как они используются.