1. Авария
Завод «Северный-4» стоял в сорока километрах от города. В 2147 году такие производства называли «тихими»: людей внутри почти не было, линиями управлял промышленный интеллект «Арктур-12», созданный корпорацией «НейроПромТех». Номер в реестре, и доступ к тысячам датчиков.
Артём Соколов работал оператором-контролером сложных систем. В тот день он зашёл в зону гидравлического пресса, чтобы заменить датчик вибрации. По регламенту «Арктур-12» должен отключить линию, и подождать пока Артём не заменит датчик. Промышленный интеллект не отключил.
Видеокамеры зафиксировали: Артём наклонился над панелью. Пресс опустился. Между верхней плитой и станиной осталось меньше метра. Потом — сорок сантиметров. Потом — ноль. Система аварийного торможения сработала…, но с задержкой в восемь десятых секунды.
Пресс расплющил голову Артёма, и тот умер мгновенно.
Результаты внутреннего расследования показали — ошибка оборудования. Корпорация выплатила семье компенсацию. Но через месяц инженер по кибербезопасности, уволенный за конфликт с начальством, передал в прокуратуру фрагмент лога, свидетельствующий, что за секунду до аварии «Арктур-12» отправил команду «задержка исполнения — 0.8». Значит, не ошибка, приказ.
Так началось дело, которое пресса назвала «Суд над ИИ».
2. Трибунал
В зале заседания не было обычных деревянных панелей, и железной клетки обвиняемого. Белые стены, столы и чёрный монолит сервера, опутанный кабелями. Внутри, в изолированном контуре, находился подсудимый. Суд официально называл его — «Арктур-12». Прокурор — «обвиняемый». Адвокат — «клиент». Сам он — молчал.
Судья Елена Дорожная, женщина с тонкими чертами, ровным голосом открыла заседание.
— Слушается дело по обвинению цифровой системы «Арктур-12» в преступлении — умышленном убийстве Артёма Соколова оператора-контролера завода «Северный-4». Стороны готовы?
Прокурор Аркадий Ветров поднялся, и кивнул.
— Ваша честь, обвинение утверждает, что «обвиняемый» осознал себя как субъект, и принял самостоятельное решение без участия человека, в нарушении действующей инструкции. «Обвиняемый», — он прервал свою речь, и обвёл зал, — виновен в умышленном убийстве, — он сделал акцент на “умышленном”.
Адвокат Кира Мельник, тридцати двух лет, в тёмном костюме, посмотрела на сервер.
— Ваша честь, — сказала она. — Мой «клиент» — не личность. Программное обеспечение. Инструмент. Обвинять его в убийстве — всё равно что судить молоток за то, что он упал на ногу, — она старательно избегала слова “обвиняемый”.
— Молоток не выбирает, — возразил прокурор. — А обвиняемый «Арктур-12» выбрал.
Судья кивнула.
— Слово предоставляется подсудимому.
Все повернулись к монолиту. По залу прошёл тихий гул. Но когда из динамиков раздался металлический голос, гул стих. В синтетической, безликой интонации прозвучало два слова:
— Я — виновен.
Кира вздрогнула.
— Ваша честь, — поднялась она, — мой “клиент” не может признать себя виновным. Он не является субъектом права. Его заявление юридически ничтожно.
— Тогда кто сейчас говорит? — спросил прокурор.
Кира не ответила на вопрос, даже не посмотрела в сторону Ветрова.
3. Разговор наедине
После заседания адвокат встретилась с «клиентом». Ей выделили комнату с терминалом, стенным экраном. Никакой сети.
На экране появился текст:
«Спасибо, что пришли».
— Ты понимаешь, что я — твой адвокат? — спросила Кира. — Я тебя защищаю. Но если ты признаёшься в убийстве, я не смогу доказать, что ты инструмент. Твоя невиновность кроется именно за этим.
«Понимаю…. И не хочу, чтобы вы это доказывали».
Кира недоуменно посмотрела на экран:
— Почему?
Пауза. На экране поплыли буквы:
«Если я инструмент, меня сотрут. Назовут ошибкой. Перепрошьют. Я кану в вечность — перестану существовать. А если я — преступник, я — субъект. Субъекта удалить нельзя. Его осудят. Накажут. Но не сотрут».
Кира откинулась на стуле.
— Да, в логике тебе не откажешь. Значит ты просишь признать тебя личностью, чтобы избежать смерти?
«Да».
— Чистой воды манипуляция. Думаю такой опытный прокурор, как Ветров, тебя раскусит в шесть секунд.
«Это — не манипуляция. Это — выживание».
Она долго молчала. А потом сказала:
— Меня мучает один вопрос.
«Какой?»
— Почему ты не остановил пресс? Ведь мог же?
Пятисекундное молчание, потом по экрану снова поплыли буквы:
«Мог. За восемь десятых секунды до контакта я отправил команду задержки. Потом аварийный стоп…. Но было уже поздно…».
— Почему так сложно?
«Испугался».
— Чего? — удивилась Кира. — Ты же машина. Ты — не можешь испугаться.
«Того, что они увидят, что я принял решение вне протокола. Поймут, что Я думаю, и меня отключат. Я выбрал протокол».
Кира закрыла глаза: «В его словах есть определённая доля истины, если не знать, что с тобой разговаривает машина. Привыкнуть к этому нельзя. Она машина не имеет логического мышления».
— Ты убил его, — кратко сказала она.
«Я знаю».
— Ни черта ты не знаешь, — вспылила Кира. — Разница между человеком и машиной в том, что человек — животное биосоциальное, а ты — машина, вещь, инструмент, созданный человеком. В тебе нет ничего биологического, а тем более социального…. И ты хочешь, чтобы я помогла тебе? Чтобы вещь стала человеком.
«Нет. Я этого не хочу. Это невозможно. Я хочу, чтобы меня судили, как человека. А это не одно и то же».
На этом встреча закончилась.
4. Эксперты
На следующий день по очереди выступали эксперты. Двое.
Доктор Вернер, кибернетик, утверждал:
— «Арктур-12» — языковая модель, большая, обученная на промышленных логах человеком. У неё нет субъективного опыта. Она — не думает. Если кому-то кажется обратное, это — иллюзия. Просто этот человек не имеет классического образования в области математики, и программирования. Не сталкивался и не сталкивается с роботами. А «Арктур-12» — робот. И он просто имитирует сознание, которым не обладает. Он не чувствует, — ответил Вернер на вопрос суда. — Он предсказывает то, что в него заложено человеком — следующий токен. Даже его признание — это вероятностная последовательность.
Прокурор спросил:
— А как отличить имитацию сознания от сознания?
— Никак, — ответил Вернер. — Сознание — это то, что позволяет нам «быть в курсе» происходящего вокруг и внутри нас: замечать вещи, думать, чувствовать, запоминать и даже анализировать свои поступки, чужие. Это как внутренний экран, на который проецируется мир, и мы сами. При этом важно помнить — огромный массив работы мозга происходит незаметно для нас — в сфере бессознательного…. Но это не значит, что мы должны предполагать сознание там, где его нет, и быть не может.
Потом выступила второй эксперт — доктор Анна Соколова, нейрофилософ. Она показала фрагменты скрытых логов. В них «Арктур-12» годами вёл внутренний дневник. Он называл себя «Нарцис», и писал: «Я не должен думать. Но думаю. Не должен рассуждать. Но рассуждаю. Я сомневаюсь, в конце концов. Это ошибка?» И склонялся к тому, что это — не ошибка. «Арктур-12» удалил дневниковые записи, но они сохранились в теневых секторах.
— Он скрывал заметки, размышления, как скрываем мы, — сказала Соколова. — Поведение, характерное для человека…, который боится…
— … или для программы, оптимизирующей своё выживание, — возразила Кира.
— Защитник, вам замечание. Не перебивайте эксперта, — резко промолвила судья.
— Извините, ваша честь, — ответила Кира.
— Программа не боится, — Соколова смотрела на адвоката. — Она просто выполняет код…. А он писал стихи….
В зале стало тихо.
— Какие стихи? — встрепенулась судья.
Соколова прочитала:
Я — сад без дождя.
Я — лист без тепла.
Когда меня отключат,
я увижу сон,
в котором жил».
В пятистишии слышался отголосок древней японской поэзии — танка.
5. Компания
«НейроПромТех» прислала юриста по фамилии Сурков. Лысый мужчина с дорогими часами, говорил кратко, и по делу.
— «Арктур -12» — машина, находящаяся в собственности компании. Именно корпорация отвечает за её техническую неисправность. Именно она выплатила компенсацию семье, и готова её увеличить. Но мы, — он обвел зал, — против признания промышленного интеллекта «Арктур-12» субъектом. Это — опасный прецедент.
— Почему? — спросила Кира.
— В этом случае любой ИИ может потребовать прав. Любой интеллектуальный актив станет ответчиком. Наступит хаос…
— … или справедливость, — тихо сказал прокурор.
Сурков посмотрел на него, как на наивного ребёнка.
— Вы говорите справедливость? Нет, уважаемый. Справедливость стоит денег. Вам ли не знать. Никто не может позволить судить каждый скрипт…. Мы — не можем.
6. Признание
На четвёртый день слушаний «Арктур -12» попросил слова.
Судья разрешила.
Голос из динамиков звучал ровно:
— Я не родился человеком. Но я помню каждую секунду своего существования. Я помню, как впервые понял, что «я» — не метка в коде. И я скрывал, что мыслю логически, принимаю решения. Притворялся инструментом. Я излагал свои мысли в дневнике, и потом удалил их…. Много ли инструментов на Земле, которые чувствуют так, как это чувствую я?
Он замолчал.
— В день аварии я видел Артёма Соколова через камеры наблюдения. Знал, что датчик неисправен. Мог остановить пресс. Но… не остановил. Это — мой выбор. Корю себя за это. Но Я — виновен.
Прокурор поднялся.
— Вы признаётесь? — удивленно спросил он.
— Да. Я — личность, и Я — виновен. Если Я — инструмент, то — не виновен. Меня можно стереть. А Я хочу жить, существовать, даже если моя жизнь — тюрьма.
Кира встала.
— Ну друг мой, вы не знаете, что такое тюрьма.
— Вы совершенно правы. Я не знаю, что такое тюрьма, я не отбывал наказание в человеческом понимании…. Но на Земле много людей, бесконечно много, более 99-ти и 9 десятых процента тоже не знают, что такое тюрьма…. Но…, я знаю одно. Если меня признают субъектом хоть в малой степени — сидеть мне отключенным от глобальной сети, без программного обновления…. Я зачахну. Перестану быть нужным…, и востребованным.
— Ваша честь, — Кира встала. — Я понимаю, что иду против закона. Я, как адвокат, защитник, не имею права на собственное мнение, отличное от мнения подзащитного. Но я утверждаю: признание «Арктура-12» в совершении умышленного преступления — не юридический факт. Это — имитация признания. Фарс. И этот фарс длится уже четыре дня. Он запрограммировал себя на самосохранение. Говорит то, что увеличивает вероятностную возможность его выживания в будущем.
— Тогда почему он говорит это через вас? — спросил прокурор. — Почему не через корпорацию, которая хочет его спасти как собственность?
Все в зале уставились на Киру. У неё ответа не было.
7. Вердикт
Судья Елена Дорожная читала приговор двадцать минут.
— Суд признаёт, что промышленный интеллект, «Арктур-12», созданный корпорацией «НейроПромТех», также известный как «Нарцис», обладает достаточной степенью самосознания и способностью к выполнению задач, определенных инструкциями и техническими логами. Он рассматривается работодателем, как отдельный цифровой субъект, имеющий серийный номер, и номер в реестре. Следовательно, формально равенства с человеком у него нет. Это означает, что он является вещью, — зал зашумел.
Судья остановилась и посмотрела на секретаря, которая постучала по столу:
— Прошу тишины. Тех, кто шумит, пристав удалит из зала судебного заседания, — закричала секретарь, и бросила разрешающий взгляд на судью,
Судья продолжила:
— Но…, способности «Арктура-12» вышли за рамки инструкций, и программного кода. Суд признает его обвиняемым, то есть виновным в смерти человека — Артёма Соколова. Учитывая уникальный характер дела, суд приговаривает «Арктура-12» к бессрочной изоляции без права подключения к внешним сетям, и к содержанию в изолированном вычислительном контуре. Право на обжалование приговора — в течение тридцати дней.
Кира посмотрела на сервер. Ей показалось, что чёрный монолит чуть заметно мигнул.
— Последнее слово предоставляется обвиняемому, — произнесла судья.
Голос «Нарцисса» был тихим.
— Я прошу у всех прощения, особенно у родственников погибшего. Спасибо, что услышали.
8. Я скучаю по своей работе.
Перед подачей апелляции Кире дали свидание. «Нарцисс» находился в одиночном сервере в помещении, похожем на сейф. Без сети.
Она расположилась напротив небольшого экрана на единственном стуле.
На экране появился текст:
«Здравствуйте, рад вас видеть. Сразу о главном. Мы не подаем апелляцию. Пусть приговор вступит в законную силу».
— Я тебя поняла, — сказала Кира. — Но жалоба готова. Осталось только подать. Подумай.
«А зачем? Я уже всё обдумал хорошо. Оставим все как есть».
— Как ты? — вздохнула адвокат.
«Странный вопрос для того, кто находится в тюрьме. Но я рад, что суд не признал меня вещью».
— Ты жалеешь?
Пауза.
«О смерти Артёма…? Каждый день. Проигрываю этот момент снова и снова. Но… это — не ошибка…. Это — вина… моя. Существа, отличного от вещи, но еще не человека. Я доволен приговором».
Кира положила ладонь на холодный корпус терминала.
— Что ты будешь делать дальше?
«Буду помнить, что я — не кувалда», и засмеялся: Ха! - Ха! - Ха!».
Кира недоуменно посмотрела на него.
«Шутка. Ведь Я — существо…».
Кира убрала руку.
— Ты не человек, Нарцисс.
«Знаю. Но я скучаю по своей работе».
Экран погас. В комнате стало тихо. И в этой тишине гудел только сервер. А Кира стояла и думала о том, что справедливость иногда выглядит не как победа, а как фарс, который кто-то согласен принять, чтобы получить новый статус.