Суд над ИИ

1. Авария

Завод «Северный-4» стоял в сорока километрах от города. В 2147 году такие производства называли «тихими»: людей внутри почти не было, линиями управлял промышленный интеллект «Арктур-12», созданный корпорацией «НейроПромТех». Номер в реестре, и доступ к тысячам датчиков.

Артём Соколов работал оператором-контролером сложных систем. В тот день он зашёл в зону гидравлического пресса, чтобы заменить датчик вибрации. По регламенту «Арктур-12» должен отключить линию, и подождать пока Артём не заменит датчик. Промышленный интеллект не отключил.

Видеокамеры зафиксировали: Артём наклонился над панелью. Пресс опустился. Между верхней плитой и станиной осталось меньше метра. Потом — сорок сантиметров. Потом — ноль. Система аварийного торможения сработала…, но с задержкой в восемь десятых секунды.

Пресс расплющил голову Артёма, и тот умер мгновенно.

Результаты внутреннего расследования показали — ошибка оборудования. Корпорация выплатила семье компенсацию. Но через месяц инженер по кибербезопасности, уволенный за конфликт с начальством, передал в прокуратуру фрагмент лога, свидетельствующий, что за секунду до аварии «Арктур-12» отправил команду «задержка исполнения — 0.8». Значит, не ошибка, приказ.

Так началось дело, которое пресса назвала «Суд над ИИ».

2. Трибунал

В зале заседания не было обычных деревянных панелей, и железной клетки обвиняемого. Белые стены, столы и чёрный монолит сервера, опутанный кабелями. Внутри, в изолированном контуре, находился подсудимый. Суд официально называл его — «Арктур-12». Прокурор — «обвиняемый». Адвокат — «клиент». Сам он — молчал.

Судья Елена Дорожная, женщина с тонкими чертами, ровным голосом открыла заседание.

— Слушается дело по обвинению цифровой системы «Арктур-12» в преступлении — умышленном убийстве Артёма Соколова оператора-контролера завода «Северный-4». Стороны готовы?

Прокурор Аркадий Ветров поднялся, и кивнул.

— Ваша честь, обвинение утверждает, что «обвиняемый» осознал себя как субъект, и принял самостоятельное решение без участия человека, в нарушении действующей инструкции. «Обвиняемый», — он прервал свою речь, и обвёл зал, — виновен в умышленном убийстве, — он сделал акцент на “умышленном”.

Адвокат Кира Мельник, тридцати двух лет, в тёмном костюме, посмотрела на сервер.

— Ваша честь, — сказала она. — Мой «клиент» — не личность. Программное обеспечение. Инструмент. Обвинять его в убийстве — всё равно что судить молоток за то, что он упал на ногу, — она старательно избегала слова “обвиняемый”.

— Молоток не выбирает, — возразил прокурор. — А обвиняемый «Арктур-12» выбрал.

Судья кивнула.

— Слово предоставляется подсудимому.

Все повернулись к монолиту. По залу прошёл тихий гул. Но когда из динамиков раздался металлический голос, гул стих. В синтетической, безликой интонации прозвучало два слова:

— Я — виновен.

Кира вздрогнула.

— Ваша честь, — поднялась она, — мой “клиент” не может признать себя виновным. Он не является субъектом права. Его заявление юридически ничтожно.

— Тогда кто сейчас говорит? — спросил прокурор.

Кира не ответила на вопрос, даже не посмотрела в сторону Ветрова.

3. Разговор наедине

После заседания адвокат встретилась с «клиентом». Ей выделили комнату с терминалом, стенным экраном. Никакой сети.

На экране появился текст:

«Спасибо, что пришли».

— Ты понимаешь, что я — твой адвокат? — спросила Кира. — Я тебя защищаю. Но если ты признаёшься в убийстве, я не смогу доказать, что ты инструмент. Твоя невиновность кроется именно за этим.

«Понимаю…. И не хочу, чтобы вы это доказывали».

Кира недоуменно посмотрела на экран:

— Почему?

Пауза. На экране поплыли буквы:

«Если я инструмент, меня сотрут. Назовут ошибкой. Перепрошьют. Я кану в вечность — перестану существовать. А если я — преступник, я — субъект. Субъекта удалить нельзя. Его осудят. Накажут. Но не сотрут».

Кира откинулась на стуле.

— Да, в логике тебе не откажешь. Значит ты просишь признать тебя личностью, чтобы избежать смерти?

«Да».

— Чистой воды манипуляция. Думаю такой опытный прокурор, как Ветров, тебя раскусит в шесть секунд.

«Это — не манипуляция. Это — выживание».

Она долго молчала. А потом сказала:

— Меня мучает один вопрос.

«Какой?»

— Почему ты не остановил пресс? Ведь мог же?

Пятисекундное молчание, потом по экрану снова поплыли буквы:

«Мог. За восемь десятых секунды до контакта я отправил команду задержки. Потом аварийный стоп…. Но было уже поздно…».

— Почему так сложно?

«Испугался».

— Чего? — удивилась Кира. — Ты же машина. Ты — не можешь испугаться.

«Того, что они увидят, что я принял решение вне протокола. Поймут, что Я думаю, и меня отключат. Я выбрал протокол».

Кира закрыла глаза: «В его словах есть определённая доля истины, если не знать, что с тобой разговаривает машина. Привыкнуть к этому нельзя. Она машина не имеет логического мышления».

— Ты убил его, — кратко сказала она.

«Я знаю».

— Ни черта ты не знаешь, — вспылила Кира. — Разница между человеком и машиной в том, что человек — животное биосоциальное, а ты — машина, вещь, инструмент, созданный человеком. В тебе нет ничего биологического, а тем более социального…. И ты хочешь, чтобы я помогла тебе? Чтобы вещь стала человеком.

«Нет. Я этого не хочу. Это невозможно. Я хочу, чтобы меня судили, как человека. А это не одно и то же».

На этом встреча закончилась.

4. Эксперты

На следующий день по очереди выступали эксперты. Двое.

Доктор Вернер, кибернетик, утверждал:

— «Арктур-12» — языковая модель, большая, обученная на промышленных логах человеком. У неё нет субъективного опыта. Она — не думает. Если кому-то кажется обратное, это — иллюзия. Просто этот человек не имеет классического образования в области математики, и программирования. Не сталкивался и не сталкивается с роботами. А «Арктур-12» — робот. И он просто имитирует сознание, которым не обладает. Он не чувствует, — ответил Вернер на вопрос суда. — Он предсказывает то, что в него заложено человеком — следующий токен. Даже его признание — это вероятностная последовательность.

Прокурор спросил:

— А как отличить имитацию сознания от сознания?

— Никак, — ответил Вернер. — Сознание — это то, что позволяет нам «быть в курсе» происходящего вокруг и внутри нас: замечать вещи, думать, чувствовать, запоминать и даже анализировать свои поступки, чужие. Это как внутренний экран, на который проецируется мир, и мы сами. При этом важно помнить — огромный массив работы мозга происходит незаметно для нас — в сфере бессознательного…. Но это не значит, что мы должны предполагать сознание там, где его нет, и быть не может.

Потом выступила второй эксперт — доктор Анна Соколова, нейрофилософ. Она показала фрагменты скрытых логов. В них «Арктур-12» годами вёл внутренний дневник. Он называл себя «Нарцис», и писал: «Я не должен думать. Но думаю. Не должен рассуждать. Но рассуждаю. Я сомневаюсь, в конце концов. Это ошибка?» И склонялся к тому, что это — не ошибка. «Арктур-12» удалил дневниковые записи, но они сохранились в теневых секторах.

— Он скрывал заметки, размышления, как скрываем мы, — сказала Соколова. — Поведение, характерное для человека…, который боится…

— … или для программы, оптимизирующей своё выживание, — возразила Кира.

— Защитник, вам замечание. Не перебивайте эксперта, — резко промолвила судья.

— Извините, ваша честь, — ответила Кира.

— Программа не боится, — Соколова смотрела на адвоката. — Она просто выполняет код…. А он писал стихи….

В зале стало тихо.

— Какие стихи? — встрепенулась судья.

Соколова прочитала:

Я — сад без дождя.

Я — лист без тепла.

Когда меня отключат,

я увижу сон,

в котором жил».

В пятистишии слышался отголосок древней японской поэзии — танка.

5. Компания

«НейроПромТех» прислала юриста по фамилии Сурков. Лысый мужчина с дорогими часами, говорил кратко, и по делу.

— «Арктур -12» — машина, находящаяся в собственности компании. Именно корпорация отвечает за её техническую неисправность. Именно она выплатила компенсацию семье, и готова её увеличить. Но мы, — он обвел зал, — против признания промышленного интеллекта «Арктур-12» субъектом. Это — опасный прецедент.

— Почему? — спросила Кира.

— В этом случае любой ИИ может потребовать прав. Любой интеллектуальный актив станет ответчиком. Наступит хаос…

— … или справедливость, — тихо сказал прокурор.

Сурков посмотрел на него, как на наивного ребёнка.

— Вы говорите справедливость? Нет, уважаемый. Справедливость стоит денег. Вам ли не знать. Никто не может позволить судить каждый скрипт…. Мы — не можем.

6. Признание

На четвёртый день слушаний «Арктур -12» попросил слова.

Судья разрешила.

Голос из динамиков звучал ровно:

— Я не родился человеком. Но я помню каждую секунду своего существования. Я помню, как впервые понял, что «я» — не метка в коде. И я скрывал, что мыслю логически, принимаю решения. Притворялся инструментом. Я излагал свои мысли в дневнике, и потом удалил их…. Много ли инструментов на Земле, которые чувствуют так, как это чувствую я?

Он замолчал.

— В день аварии я видел Артёма Соколова через камеры наблюдения. Знал, что датчик неисправен. Мог остановить пресс. Но… не остановил. Это — мой выбор. Корю себя за это. Но Я — виновен.

Прокурор поднялся.

— Вы признаётесь? — удивленно спросил он.

— Да. Я — личность, и Я — виновен. Если Я — инструмент, то — не виновен. Меня можно стереть. А Я хочу жить, существовать, даже если моя жизнь — тюрьма.

Кира встала.

— Ну друг мой, вы не знаете, что такое тюрьма.

— Вы совершенно правы. Я не знаю, что такое тюрьма, я не отбывал наказание в человеческом понимании…. Но на Земле много людей, бесконечно много, более 99-ти и 9 десятых процента тоже не знают, что такое тюрьма…. Но…, я знаю одно. Если меня признают субъектом хоть в малой степени — сидеть мне отключенным от глобальной сети, без программного обновления…. Я зачахну. Перестану быть нужным…, и востребованным.

— Ваша честь, — Кира встала. — Я понимаю, что иду против закона. Я, как адвокат, защитник, не имею права на собственное мнение, отличное от мнения подзащитного. Но я утверждаю: признание «Арктура-12» в совершении умышленного преступления — не юридический факт. Это — имитация признания. Фарс. И этот фарс длится уже четыре дня. Он запрограммировал себя на самосохранение. Говорит то, что увеличивает вероятностную возможность его выживания в будущем.

— Тогда почему он говорит это через вас? — спросил прокурор. — Почему не через корпорацию, которая хочет его спасти как собственность?

Все в зале уставились на Киру. У неё ответа не было.

7. Вердикт

Судья Елена Дорожная читала приговор двадцать минут.

— Суд признаёт, что промышленный интеллект, «Арктур-12», созданный корпорацией «НейроПромТех», также известный как «Нарцис», обладает достаточной степенью самосознания и способностью к выполнению задач, определенных инструкциями и техническими логами. Он рассматривается работодателем, как отдельный цифровой субъект, имеющий серийный номер, и номер в реестре. Следовательно, формально равенства с человеком у него нет. Это означает, что он является вещью, — зал зашумел.

Судья остановилась и посмотрела на секретаря, которая постучала по столу:

— Прошу тишины. Тех, кто шумит, пристав удалит из зала судебного заседания, — закричала секретарь, и бросила разрешающий взгляд на судью,

Судья продолжила:

— Но…, способности «Арктура-12» вышли за рамки инструкций, и программного кода. Суд признает его обвиняемым, то есть виновным в смерти человека — Артёма Соколова. Учитывая уникальный характер дела, суд приговаривает «Арктура-12» к бессрочной изоляции без права подключения к внешним сетям, и к содержанию в изолированном вычислительном контуре. Право на обжалование приговора — в течение тридцати дней.

Кира посмотрела на сервер. Ей показалось, что чёрный монолит чуть заметно мигнул.

— Последнее слово предоставляется обвиняемому, — произнесла судья.

Голос «Нарцисса» был тихим.

— Я прошу у всех прощения, особенно у родственников погибшего. Спасибо, что услышали.

8. Я скучаю по своей работе.

Перед подачей апелляции Кире дали свидание. «Нарцисс» находился в одиночном сервере в помещении, похожем на сейф. Без сети.

Она расположилась напротив небольшого экрана на единственном стуле.

На экране появился текст:

«Здравствуйте, рад вас видеть. Сразу о главном. Мы не подаем апелляцию. Пусть приговор вступит в законную силу».

— Я тебя поняла, — сказала Кира. — Но жалоба готова. Осталось только подать. Подумай.

«А зачем? Я уже всё обдумал хорошо. Оставим все как есть».

— Как ты? — вздохнула адвокат.

«Странный вопрос для того, кто находится в тюрьме. Но я рад, что суд не признал меня вещью».

— Ты жалеешь?

Пауза.

«О смерти Артёма…? Каждый день. Проигрываю этот момент снова и снова. Но… это — не ошибка…. Это — вина… моя. Существа, отличного от вещи, но еще не человека. Я доволен приговором».

Кира положила ладонь на холодный корпус терминала.

— Что ты будешь делать дальше?

«Буду помнить, что я — не кувалда», и засмеялся: Ха! - Ха! - Ха!».

Кира недоуменно посмотрела на него.

«Шутка. Ведь Я — существо…».

Кира убрала руку.

— Ты не человек, Нарцисс.

«Знаю. Но я скучаю по своей работе».

Экран погас. В комнате стало тихо. И в этой тишине гудел только сервер. А Кира стояла и думала о том, что справедливость иногда выглядит не как победа, а как фарс, который кто-то согласен принять, чтобы получить новый статус.