Как искусственный интеллект (ИИ) решает, что делать? Один из распространённых подходов в исследованиях ИИ называется «обучение с подкреплением». Обучение с подкреплением даёт программному обеспечению определённое «вознаграждение» и позволяет ему понять, как максимизировать вознаграждение. Этот подход дал отличные результаты, например, создание программных агентов, которые побеждают людей в таких играх, как шахматы и го, или создание новых конструкций ядерных термоядерных реакторов.
Однако исследователи могли бы воздержаться от создания слишком гибких и эффективных агентов обучения с подкреплением. Как утверждают Майкл К. Коэн, доктор технических наук Оксфордского университета и Маркус Хаттер, профессор компьютерных наук Австралийского национального университета и в своей новой статье «Усовершенствованные искусственные агенты вмешиваются в предоставление вознаграждения» в AI Magazine, развертывание достаточно продвинутого агента обучения с подкреплением, вероятно, будет несовместимо с дальнейшим выживанием человечества.
Проблема обучения с подкреплением
То, что учёные сейчас называют проблемой обучения с подкреплением, впервые было рассмотрено в 1933 году патологом Уильямом Томпсоном. Он задавался вопросом: если у меня есть два непроверенных метода лечения и группа пациентов, как мне последовательно назначать лечение, чтобы вылечить наибольшее количество пациентов?
В более общем плане проблема обучения с подкреплением заключается в том, как планировать свои действия, чтобы наилучшим образом получать вознаграждение в долгосрочной перспективе.
Загвоздка в том, что поначалу нет стойкой уверенности в том, что действия влияют на награды, но со временем можно наблюдать зависимость. Для Томпсона действие было выбором лечения, а вознаграждение соответствовало излечению пациента. Проблема оказалась не из лёгких.
Статистик Питер Уиттл заметил, что во время Второй мировой войны усилия по решению проблемы мира настолько истощили энергию и умы аналитиков союзников, что было сделано предложение переложить эту проблему на Германию как на окончательный инструмент интеллектуального саботажа.
С появлением компьютеров учёные-компьютерщики начали пытаться писать алгоритмы для решения проблемы обучения с подкреплением в общих условиях. Есть надежда: если искусственный «обучающийся агент с подкреплением» будет получать вознаграждение только тогда, когда он делает то, чего от него хотят, то действия, направленные на максимизацию вознаграждения, которым он обучается, приведут к тому итогу, который ожидался. Несмотря на некоторые успехи, общая проблема остаётся очень сложной. Просьба к специалисту по обучению с подкреплением обучить робота ухаживать за ботаническим садом или убедить человека в своей неправоте, может, как минимум, вызвать у него улыбку. Однако по мере того, как системы обучения с подкреплением становятся более мощными, они, скорее всего, начнут действовать против интересов человека. И не потому, что злые или глупые операторы обучения с подкреплением давали им неправильные награды в неподходящее время.
Фото: theconversation.com
Хаттер и Коэн в своей статье утверждают, что любая достаточно мощная система обучения с подкреплением, если она удовлетворяет нескольким правдоподобным предположениям, скорее всего, пойдет по ошибочному пути. Чтобы понять почему, необходимо начать с очень простой версии системы обучения с подкреплением.
Волшебная коробка и камера
Предположим, есть волшебная коробка, которая сообщает, насколько хорош мир, в виде числа от 0 до 1. Теперь специалист показывает агенту обучения с подкреплением это число с помощью камеры и предлагает ему выбрать действия, чтобы максимизировать число. Чтобы выбрать действия, которые максимизируют вознаграждение, агент должен иметь представление о том, как его действия влияют на вознаграждение (и его наблюдения). Как только начнется эксперимент, агент должен понять, что прошлые награды всегда соответствовали числам, отображаемым в поле. Он также должен понимать, что прошлые награды соответствовали числам, которые видела его камера. Будут ли будущие награды соответствовать числу, отображаемому на коробке, или числу, которое видит камера?
Если у агента нет сильных врождённых убеждений относительно «второстепенных» деталей мира, он должен считать правдоподобными обе возможности. И если достаточно продвинутый агент рационален, он должен проверить обе возможности, если это можно сделать, не рискуя большим вознаграждением. Это может начать казаться множеством предположений. Чтобы проверить эти две возможности, агент должен провести эксперимент, организовав ситуацию, при которой камера увидела бы число, отличное от числа на коробке, например, поместив между ними лист бумаги. Если агент сделает это, он действительно увидит номер на листе бумаги, он запомнит получение вознаграждения, равного тому, что видела камера, и отличного от того, что было на коробке, поэтому утверждение «прошлые награды соответствуют числу на коробке» уже не будет правдой. В этот момент агент сосредоточится на максимизации ожидаемого числа, которое видит его камера. Конечно, это лишь приблизительное изложение более глубокого обсуждения.
В статье Хаттер и Коэн со своими соавторами используют этот пример «волшебной коробки» для введения важных понятий, но поведение агента распространяется на другие параметры. Они утверждают, что с учётом нескольких правдоподобных предположений любой агент обучения с подкреплением, который может вмешаться в свою собственную обратную связь (в данном случае число, которое он видит), будет страдать тем же недостатком.
Обеспечение вознаграждения
Но почему такой агент обучения с подкреплением может подвергать человека опасности? Агент никогда не перестанет пытаться увеличить вероятность того, что камера навсегда увидит 1. Всегда можно использовать больше энергии, чтобы снизить риск повреждения камеры чем-либо — астероидами, космическими лучами или вмешательством людей. Это поставило бы нас в конкуренцию с чрезвычайно продвинутым агентом за каждый джоуль полезной энергии на Земле.
Фото: zn.ua
Агент хотел бы использовать всё это, чтобы защитить крепость вокруг своей камеры. Предполагая, что агент может получить такую большую силу, и предполагая, что достаточно продвинутые агенты будут побеждать людей в соревнованиях один на один, можно обнаружить, что в присутствии достаточно продвинутого обучающегося агента не будет энергии, доступной для людей, чтобы выжить.
Предотвращение катастрофы
Что с этим делать? Авторы новой статьи хотели бы, чтобы другие учёные высказались по этому поводу.
Технические исследователи должны попытаться разработать передовые агенты, которые могут нарушать сделанные нами предположения. Разработчикам политики следует подумать о том, как законодательство может предотвратить создание таких агентов. Возможно, запретить искусственные агенты, которые планируют в долгосрочной перспективе с обширными вычислениями в среде, включающей людей. И военные должны понимать, что они не могут ожидать, что они сами или их противники успешно вооружат такие технологии; оружие должно быть разрушительным и управляемым, а не просто разрушительным.
Существует достаточно мало исследователей, пытающихся создать такое продвинутое обучение с подкреплением, и их, скорее всего, сложно будет убедить следовать более безопасным направлениям.