Эксперты по искусственному интеллекту всё больше боятся того, что они создают

ИИ с каждым днём становится умнее, эффективнее и всё больше меняет мир. В 2018 году на Всемирном экономическом форуме в Давосе генеральному директору Google Сундару Пичаи было что сказать: «Искусственный интеллект — это, наверное, самая важная вещь, над которой когда-либо работало человечество. Я думаю об этом как о чём-то более глубоком, чем электричество или огонь». Комментарий Пичаи был встречен со здоровой долей скептицизма. Но почти пять лет спустя это высказывание выглядит всё более и более пророческим.

Профессора колледжей рвут на себе волосы, потому что текстовые генераторы с искусственным интеллектом теперь могут писать эссе так же хорошо, как типичный студент, что упрощает мошенничество, которое не может обнаружить ни один детектор плагиата. Работы, созданные искусственным интеллектом, выигрывают даже на государственных ярмарках.

Новый инструмент под названием Copilot использует машинное обучение для прогнозирования и завершения строк компьютерного кода, что делает возможным создание системы ИИ, которая могла бы писать сама себя. Система AlphaFold от DeepMind, которая использует искусственный интеллект для прогнозирования трёхмерной структуры практически каждого существующего белка, была настолько впечатляющей, что журнал Science назвал её прорывом 2021 года.

В то время как инновации в других технологических областях могут показаться вялыми, развитие ИИ идёт полным ходом. Быстрый прогресс подпитывает сам себя, и всё больше компаний вкладывают больше ресурсов в разработку ИИ и вычислительную мощность. Конечно, передача огромных пластов общества алгоритмам «чёрного ящика» создаёт множество проблем, которые уже начали способствовать реагированию регулирующих органов на текущие проблемы дискриминации и предвзятости ИИ. Но, учитывая скорость развития в этой области, давно пора выйти за пределы реактивного режима, в котором устраняются недостатки ИИ только тогда, когда они очевидны.

Системы, которые разрабатываются, становятся всё более мощными и всё более универсальными, и многие технологические компании прямо называют своей целью искусственный общий интеллект (AGI) — системы, которые могут делать всё, что может делать человек.

Нужно проектировать системы, внутреннее устройство которых человек понимает, и чьи цели можно формировать так, чтобы они были безопасными. Однако в настоящее время люди недостаточно хорошо понимают системы, которые создаем, чтобы понять, безопасно ли их спроектировали, пока не стало слишком поздно.

Есть люди, работающие над разработкой методов, позволяющих понять мощные системы ИИ и гарантировать, что с ними будет безопасно работать, но прямо сейчас состояние области безопасности далеко отстает от стремительно растущих инвестиций в создание систем ИИ более мощных, более способных и более опасных. Как сказал опытный программист видеоигр Джон Кармак, объявляя о своём новом стартапе в области искусственного интеллекта, поддерживаемом инвесторами, это «AGI или крах, с помощью Mad Science!»

Эта конкретная безумная наука может убить нас всех. Вот почему.

Человеческий мозг — самая сложная и способная мыслящая машина, когда-либо созданная эволюцией. Это причина, по которой люди — вид, который не очень силён, не очень быстр и не очень вынослив — находится на вершине планетарной пищевой цепи, и их число растёт с каждым годом, в то время как так много диких животных приближается к вымиранию. Имеет смысл, что, начиная с 1940-х годов, исследователи в области искусственного интеллекта начали играть с заманчивой идеей: что, если мы будем разрабатывать компьютерные системы с помощью подхода, похожего на то, как работает человеческий мозг?

Наш разум состоит из нейронов, которые посылают сигналы другим нейронам через соединительные синапсы. Прочность связей между нейронами со временем может увеличиваться или уменьшаться. Связи, которые используются часто, имеют тенденцию становиться сильнее, а те, которыми пренебрегают, имеют тенденцию ослабевать. Вместе все эти нейроны и связи кодируют воспоминания и инстинкты, суждения и навыки — само ощущение себя.

В 1958 году Фрэнк Розенблатт провёл доказательство концепции: простая модель, основанная на упрощённом мозге, который он научил распознавать закономерности. «Можно было бы создать мозг, который мог бы воспроизводить себя на конвейере и осознавал бы своё существование», — утверждал он. Розенблатт не ошибся, но он слишком опередил своё время. Компьютеры были недостаточно мощными, а данных было слишком мало, чтобы сделать этот подход жизнеспособным.

Только в 2010-х годах стало ясно, что этот подход может работать с реальными проблемами, а не с игрушечными. К тому времени компьютеры были в 1 триллион раз мощнее, чем во времена Розенблатта, и было гораздо больше данных для алгоритмов машинного обучения. Этот метод — теперь называемый глубоким обучением — начал значительно превосходить другие подходы к компьютерному зрению, языку, переводу, предсказанию, генерации и бесчисленному множеству других проблем. Сдвиг был почти таким же незаметным, как астероид, уничтоживший динозавров, поскольку системы искусственного интеллекта на основе нейронных сетей разбили все конкурирующие технологии во всём, от компьютерного зрения до перевода и шахмат.

«Если вы хотите получить наилучшие результаты во многих сложных задачах, вы должны использовать глубокое обучение», — говорит Илья Суцкевер — соучредитель OpenAI, который, среди прочего, создал модель генерации текста GPT-3 и генератор изображений DALLE-2. Причина в том, что системы, разработанные таким образом, обобщают, то есть они могут делать что-то помимо того, чему их учили делать. Они также очень компетентны, превосходя другие подходы с точки зрения производительности, основанной на контрольных показателях машинного обучения (ML), которые исследователи используют для оценки новых систем. И они масштабируемы. То, что здесь означает «масштабируемость», настолько же просто, насколько и важно: вложить больше денег и больше данных в нейронную сеть — сделать её больше, потратить больше времени на её обучение, использовать больше данных — и она будет работать всё лучше, лучше и лучше. Никто ещё не открыл пределы этого принципа, даже несмотря на то, что крупные технологические компании теперь регулярно проводят сногсшибательные многомиллионные тренировочные заезды для своих систем. Чем больше вкладываешь, тем больше получаешь.

Если есть что-то, чего модель генерации текста GPT-2 не могла сделать, GPT-3 обычно может. Если GPT-3 не может, InstructGPT (недавняя версия, обученная давать более полезные для людей ответы, чем GPT-3), вероятно, может. Было несколько умных открытий и новых подходов, но по большей части то, что сделано, чтобы эти системы стали умнее, просто увеличило их.

Используя старые подходы к ИИ, исследователи тщательно разрабатывали правила и процессы, которые они использовали для оценки получаемых данных, точно так же, как со стандартными компьютерными программами. При глубоком обучении улучшение систем не обязательно предполагает или требует понимания того, что они делают. Часто небольшая настройка существенно повышает производительность, но инженеры, разрабатывающие системы, не знают, почему.

Во всяком случае, по мере того, как системы становятся больше, интерпретируемость — работа по пониманию того, что происходит внутри моделей ИИ, и обеспечение того, чтобы они преследовали наши цели, а не свои собственные — становится всё труднее. И по мере того, как мы будем разрабатывать более мощные системы, этот факт превратится из академической загадки в огромный экзистенциальный вопрос.

Сейчас человек находится в той точке, когда с мощными системами ИИ может быть по-настоящему страшно взаимодействовать. Они умны и склонны к спорам. Они могут быть дружелюбными, а могут быть леденящими душу социопатами.

Люди должны чётко понимать, что эти разговоры делают и чего не демонстрируют. Чего они не демонстрируют, так это того, что GPT-3 является злом и замышляет нас убить. Скорее, модель ИИ реагирует на команду и играет — весьма неплохо — роль злой системы, замышляющей убить человечество. Но разговоры действительно показывают, что даже довольно простая языковая модель может явно взаимодействовать с людьми на нескольких уровнях, давая уверенность в том, что её планы благоприятны, и при этом, выдвигая различные рассуждения о том, как её цели могут навредить людям.

Текущие языковые модели остаются ограниченными. Им не хватает «здравого смысла» во многих областях, они всё ещё совершают основные ошибки в отношении мира, которые не сделал бы ребёнок, и без колебаний утверждают ложные вещи. Но сейчас миллиарды долларов поставлены на то, чтобы превысить эти нынешние ограничения. Технологические компании усердно работают над созданием более мощных версий тех же самых систем и над созданием ещё более мощных систем с другими приложениями, от персональных помощников ИИ до разработки программного обеспечения под управлением ИИ.

По мере того, как это будет сделано, вероятно, учёные продолжат добиваться определённого прогресса в решении многих современных проблем, созданных ИИ, таких как предвзятость и дискриминация, поскольку успешно идёт обучение системы не говорить опасные, насильственные, расистские и другие ужасные вещи.

По мере того, как системы становятся более мощными, импульс к быстрым исправлениям, запечатанным на системах, которые мы принципиально не понимаем, становится опасным. Такие подходы, как утверждает аналитик Open Philanthropy Project по искусственному интеллекту Аджея Котра в недавнем отчёте, «будут подталкивать систему искусственного интеллекта к тому, чтобы её поведение выглядело как можно более желательным для ... исследователей (в том числе в отношении свойств безопасности)».

Так что ИИ страшен и представляет огромную опасность. Но что отличает его от других мощных новых технологий, таких как биотехнология, которая может вызвать ужасные пандемии, или ядерное оружие, способное уничтожить мир? Разница в том, что эти инструменты, какими бы разрушительными они ни были, в значительной степени находятся под контролем человека. Если они вызовут катастрофу, то это произойдет потому, что люди намеренно решили их использовать или не смогли предотвратить их неправильное использование злонамеренными или небрежными людьми. Но ИИ опасен именно потому, что может наступить день, когда он вообще выйдет из-под контроля.

«Беспокойство заключается в том, что если мы создадим и потеряем контроль над такими агентами, а их цели опасны, результатом будет не просто ущерб, который возникает, например, при крушении самолёта или расплавлении атомной электростанции — ущерб, который, несмотря на все его издержки, остаётся пассивным», — утверждает в недавней статье Джозеф Карлсмит, аналитик-исследователь Open Philanthropy Project, изучающий искусственный интеллект. «Скорее, результатом станут высокоспособные нечеловеческие агенты, активно работающие над получением и сохранением власти над своим окружением — агенты, находящиеся во враждебных отношениях с людьми, которые не хотят, чтобы они преуспели. Ядерное загрязнение трудно очистить и остановить распространение. Но оно не пытается намеренно распространяться — и особенно не с большим интеллектом, чем люди, пытающиеся сдержать его».

Вывод Карлсмита о том, что одна вполне реальная возможность состоит в том, что системы, которые мы создаём, навсегда перехватят контроль над людьми, потенциально убивая почти всех живых, в буквальном смысле являются предметом научной фантастики. Но это потому, что научная фантастика взяла за основу то, о чём предупреждали ведущие учёные-компьютерщики ещё на заре ИИ, а не наоборот.

В знаменитой статье, в которой он представил свой одноименный тест для определения того, действительно ли искусственная система является «разумной», учёный-новатор в области ИИ Алан Тьюринг написал: Давайте теперь предположим, что эти машины действительно возможны, и посмотрим на последствия их создания. … Было бы много работы, чтобы попытаться, скажем, поддерживать свой интеллект на уровне стандарта, установленного машинами, поскольку кажется вероятным, что, как только метод машинного мышления запустится, ему не понадобится много времени, чтобы превзойти наши слабые силы. … Следовательно, на каком-то этапе мы должны ожидать, что машины возьмут на себя управление.

И.Дж. Гуд, математик, тесно сотрудничавший с Тьюрингом, пришёл к тем же выводам. В отрывке из неопубликованных заметок, которые Гуд сделал незадолго до своей смерти в 2009 году, он написал: «Из-за международной конкуренции мы не можем помешать машинам взять верх. ... мы лемминги». Результатом, продолжил он, является, вероятно, вымирание человечества.

Как перейти от «чрезвычайно мощных систем искусственного интеллекта» к «вымиранию человечества»? «Главная проблема [с высокоразвитым ИИ] — не жуткое эмерджентное сознание, а просто способность принимать высококачественные решения», — пишет Стюарт Рассел, ведущий исследователь ИИ в Центре искусственного интеллекта, совместимого с человеком, Калифорнийского университета в Беркли. Под «высоким качеством» он подразумевает, что ИИ способен достичь того, чего он хочет; ИИ успешно предвидит и избегает вмешательства, строит планы, которые увенчаются успехом, и воздействует на мир так, как задумал. Это именно то, чему мы пытаемся обучить системы искусственного интеллекта. Им не обязательно быть «сознательными»; в некоторых отношениях они даже могут оставаться «глупыми». Им просто нужно стать очень хорошими в воздействии на мир и иметь системы целей, которые не совсем понятны и не соответствуют человеческим целям (включая человеческую цель не вымирать).

Отсюда у Рассела есть довольно техническое описание того, что может пойти не так: «Система, которая оптимизирует функцию n переменных, где цель зависит от подмножества размера k<n, часто будет устанавливать оставшиеся неограниченные переменные в экстремальные значения; если одна из этих неограниченных переменных на самом деле небезразлична, найденное решение может оказаться крайне нежелательным». Таким образом, мощная система искусственного интеллекта, которая пытается что-то сделать, имея цели, которые не совсем совпадают с намерениями человека, может сделать это непостижимо разрушительным образом. Это не потому, что он ненавидит людей и хочет, чтобы они умерли, а потому, что ему всё равно, и он был готов, скажем, отравить всю атмосферу или вызвать чуму, если это окажется лучшим способом сделать то, что он хочет. Как выразился Рассел: «По сути, это старая история о джинне в лампе, или ученике чародея, или царе Мидасе: вы получаете именно то, о чём просите, а не то, что хотите».

Руководители и исследователи, работающие над ИИ, различаются в том, насколько сильно они беспокоятся о проблемах безопасности. И в DeepMind, и в OpenAI от Google есть группы безопасности, занимающиеся поиском решения этой проблемы, хотя критики OpenAI говорят, что командам безопасности не хватает внутренней силы и уважения. им нужно будет гарантировать, что небезопасные системы не будут разработаны, и что руководство будет более счастливо на словах поддерживать безопасность, мчась вперед с системами, которые не являются безопасными.

Основатель DeepMind Демис Хассабис в недавнем интервью о перспективах и опасностях ИИ высказал предостережение. «Я думаю, что очень часто, особенно в Силиконовой долине, существует своего рода хакерский менталитет вроде «Мы просто взломаем это и выложим туда, а потом посмотрим, что произойдёт. Я думаю, что это будет самая полезная вещь для человечества, такие как лечение болезней, помощь в изменении климата и всё такое. Но это технология двойного назначения — всё зависит от того, как мы, как общество, решим её развернуть — и для чего мы её используем».

Янн ЛеКун, руководитель группы искусственного интеллекта Facebook/Meta, недавно опубликовал статью, в которой описывает предпочитаемый им подход к созданию машин, которые могут «рассуждать и планировать» и «обучаться так же эффективно, как люди и животные». В журнале Scientific American он утверждал, что опасения Тьюринга, Гуда и Хокинга на самом деле не вызывают беспокойства: «Почему разумный ИИ хочет захватить мир? Это не так. Но хотя остаются разногласия по поводу того, чего ожидать от ИИ — и даже многие ведущие эксперты весьма неуверенны, — растёт понимание того, что дела могут пойти очень и очень плохо. В ходе опроса исследователей машинного обучения, проведённого летом 2022 года, средний респондент считал, что ИИ скорее хорош, чем плох, но имеет реальный риск стать катастрофой. Сорок восемь процентов респондентов сказали, что, по их мнению, существует 10-процентная или более высокая вероятность того, что последствия ИИ будут «чрезвычайно плохими (например, вымирание человечества)».

Стоит на мгновение остановиться на этом.

Учитывая ставки, может показаться странным, что отрасль в основном предоставлена для саморегулирования. Если почти половина исследователей говорят о 10-процентной вероятности того, что их работа приведёт к вымиранию человечества, то почему она проводится практически без надзора?

Технологическая компания не может самостоятельно создавать ядерное оружие. Но частные компании создают системы, которые, как они сами признают, вероятно, станут намного опаснее ядерного оружия. Проблема в том, что прогресс в области ИИ произошеёл необычайно быстро, оставив регулирующие органы позади. Регулирование, которое могло бы быть наиболее полезным — замедлить разработку чрезвычайно мощных новых систем — было бы невероятно непопулярным среди крупных технологий, и неясно, какие правила являются лучшими, кроме этого. Кроме того, хотя растущая доля исследователей машинного обучения 69% считают, что безопасности ИИ следует уделять больше внимания, эта позиция не является единодушной.

В интересной, хотя и несколько неудачной динамике, люди, которые думают, что ИИ никогда не будет мощным, часто оказывались в союзе с технологическими компаниями против работ по безопасности ИИ и правил безопасности ИИ: первые противостоят правилам, потому что они считают это бессмысленным, а вторые, потому что они думают это замедлит их. В то же время многие в Вашингтоне обеспокоены тем, что замедление прогресса в области искусственного интеллекта в США может позволить Китаю достичь этого первым, что вполне оправдано в духе холодной войны — Китай, безусловно, стремится к мощным системам искусственного интеллекта, и его руководство активно участвует в этом, но это подвергает нас очень серьёзному риску запуска в производство систем, которые преследуют свои собственные цели без нашего ведома. Но по мере роста потенциала ИИ становится всё труднее игнорировать опасности.

Бывший исполнительный директор Google Мо Гавдат рассказывает историю о том, как он заинтересовался ИИ в целом: исследователи робототехники работали над ИИ, который мог бы поднимать мяч. «И я вдруг понял, что это действительно страшно», — сказал Гавдат. «Это полностью заморозило меня. … Реальность такова, что мы создаём Бога».

Для Блейка Лемуана, эксцентричного инженера Google, который стал разоблачителем, когда пришёл к выводу, что языковая модель Google LaMDA разумна, именно тогда LaMDA начала говорить о правах и личности. Для некоторых людей это чат-бот Replika, представители службы поддержки которого устали слышать, что клиенты думают, что их Replika живая и разумная. Для других этот момент может наступить благодаря DALL-E или Stable Diffusion, или системам, выпущенным в следующем году, или в следующем месяце, или на следующей неделе, которые будут более мощными, чем любая из них.

В течение долгого времени безопасность ИИ сталкивалась с трудностями, будучи областью исследований, посвящённой далёкой проблеме, поэтому лишь небольшое число исследователей даже пытались выяснить, как сделать его безопасным. Теперь у него обратная проблема: вызов есть, и просто неясно, решит ли эту проблему человечество вовремя.