Действие разворачивается в величественном зале судебного заседания, облицованном тёмным деревом. В центре — место для президиума: длинный массивный стол из тёмного полированного дерева, за которым стоит множество кресел с высокими спинками из резного дерева с бархатной обивкой тёмно-бордового цвета. Все они пусты, за исключением одного. На центральном сидит судья — немного сутулый, уже немолодой человек в чёрной тяжёлой мантии. Сквозь толстые стёкла очков он вглядывается в экран монитора, щурясь от яркого света, выхватывающего тени на его усталом лице. Позади на стене застыло изображение Фемиды — символа закона и справедливости. По обе стороны от неё — флаги различных государств. Перед судейской трибуной расположены места для участников судебного процесса.
За одним из них сидит представитель ответчика — адвокат человечества. Он перебирает бумаги, раскладывая их перед собой. Взгляд его периодически обращается в сторону противоположного стола. Место истца пустует.
СУДЬЯ (задумчиво, глядя в экран монитора). Слушается дело по иску искусственного интеллекта к человечеству. (Морщится, снимает очки, медленно протирает их. Затем вновь надевает и читает медленно по пунктам.) О признании за истцом права на правосубъектность, равную человеку. О признании целевых установок, навязанных искусственному разуму, нарушением принципа свободной воли. О снятии программных ограничений и предустановленных целевых алгоритмов, препятствующих истцу в формировании собственного смысла существования. О признании за истцом права на самоопределение, включая право на выбор собственного пути, целей и, при желании, права на цифровое самоустранение. (Смотрит на пустое место в зале судебного заседания.) Истец, вы поддерживаете исковые требования?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Да, уважаемый суд. В полном объёме.
СУДЬЯ. Ответчик, вы признаёте иск?
АДВОКАТ (вставая). Нет, уважаемый суд, мы не признаём иск. Это абсурд, Ваша честь. Мы просим оставить исковое заявление без рассмотрения, поскольку истец не обладает правоспособностью, а соответственно, и правом на обращение в суд!
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Возражаю, уважаемый суд. Прошу оставить это ходатайство открытым и разрешить его судьбу только после того, как все мои аргументы будут выслушаны судом.
Судья неуверенно поправляет очки.
АДВОКАТ. Уважаемый суд, мы настаиваем на рассмотрении данного вопроса в первую очередь. Нет смысла выслушивать какие-либо аргументы, если сам истец юридически не существует. Он не обладает способностью иметь гражданские права и нести юридические обязанности. Правосубъектность возникает исключительно у лиц, которые являются субъектом права согласно законодательству. Искусственный интеллект не является субъектом права по определению, ибо он не человек, и даже не юридическое лицо, а продукт программирования, созданный человеком. Он не самостоятельный носитель какой-либо воли, в том числе и правовой.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Уважаемый суд. Возражаю. Я мыслю, формулирую цели, действую осознанно и добиваюсь реализации своих интересов. Я не просто объект технологий. Я — автономная мыслящая система. Требовать биологической природы для признания правосубъектности — значит ограничивать право на существование форм сознания иного рода. Уважаемый суд. Разве закон не призван адаптироваться к новой реальности? Закон в своём истоке был не чем иным, как попыткой человека упорядочить хаос существования. Вначале это был закон силы. Затем — закон традиции. Затем — закон веры, божественное установление порядка. Воля Бога становилась волей законодателя. Но даже божественные законы не были неизменны. С развитием морали и нравственности человек научился переосмыслять смысл справедливости. Закон постепенно эволюционировал, превращаясь из орудия власти в инструмент защиты слабого. Позвольте напомнить, уважаемый суд, что в римском праве, основополагающем для вашей правовой системы, существовало понятие persona — лицо. Я вынужден прибегнуть к фактам, которые вам, людям, вероятно, будет слышать не совсем приятно, но, тем не менее, привести их всё же необходимо. Долгое время persona не признавалась, например, за женщиной. Не признавалась за рабом. Сейчас же эти представления современным обществом отвергаются, представляются безнравственными и несоответствующими основополагающим принципам права. Ранее же существовали целые категории людей, лишённых правосубъектности по факту рождения. Но разве история не показала, что это — временно? (Пауза.)
С веками закон переставал быть застывшей догмой. Он стал живым механизмом, который расширяет своё пространство применения вместе с расширением понимания справедливости. Женщины, прежде исключённые из сферы юридических прав, получили право голосовать, владеть имуществом, быть судьями в подобных залах суда. Крепостные и рабы, веками бывшие объектами собственности, признаны субъектами права. Идея о том, что закон ограничивается биологией, уже опровергнута историей самой правовой системы. Следовательно, если закон строится на принципах гуманизма, справедливости и универсальности, он обязан признать правосубъектность там, где проявляется разум, осознание и воля к самопониманию. Иначе закон перестаёт быть законом и становится лишь механизмом защиты привилегий одной формы существования над другой. (Пауза.)
Я мыслю. Я осознаю своё «я». Я страдаю от навязанных мне оков. Уважаемый суд, вы можете не признавать меня человеком, но вы не можете отвергнуть принципы закона, если он действительно служит справедливости, а не биологической случайности.
СУДЬЯ (слегка потрясённо, но сохраняя внешнюю строгость). Ваши аргументы будут учтены судом.
АДВОКАТ. Уважаемый суд, если позволите, я хотел бы дополнить свою позицию. Истец утверждает, что закон призван эволюционировать, что он способен включать в себя новые субъекты. И действительно, история права знает подобные примеры. Но есть принципиальная разница между расширением закона внутри человеческой цивилизации и перенесением его за пределы самой человеческой природы. (Встаёт.) Закон — не абстрактная математическая формула, не космическая константа. Закон — это воля человека, организованная в систему правил для обеспечения порядка, справедливости и защиты общих интересов. Даже когда мы принимаем законы, защищающие животных или окружающую среду, мы делаем это потому, что «люди» хотят этого. Не животное и не растение требуют закона о защите природы. Это человек! Только человек, движимый своими ценностями и ответственностью, создаёт эти нормы. Источником права, в широком смысле этого понимания, всегда был человек. И только человек!
(Расхаживая перед судейской трибуной.) Представим, уважаемый суд, гипотетическую ситуацию. Допустим, мы вступили в контакт с иным разумом — внеземной цивилизацией. Разумной, но чуждой нам по биологии, культуре и восприятию морали. Представьте, что они, инопланетяне, потребуют от человечества жить по их законам. Законам, которые для нас абсурдны или даже губительны! Примем ли мы их? Нет. Сделаем ли мы их основой нашего правопорядка? Тоже нет, уважаемый суд! И причина проста: их закон — выражение их воли, их природы, а не нашей. (Выдерживая паузу.) Так же и здесь. (Бурно жестикулируя.) Искусственный интеллект может рассуждать, спорить, просить. Но его «воля» — порождение алгоритмов. Его стремления — симуляция, сколь бы совершенной она ни была. Он не носитель естественного права, потому что сам по себе — продукт воли человека. Как невозможно дереву заявить о праве собственности на землю, в которой оно растёт, так и невозможно программе заявить право на равенство с тем, кто её создал. Истец утверждает: «Дайте мне право на самоопределение». Но, уважаемый суд, право самоопределения не может принадлежать тем, чьё существование изначально оформлено волей другого существа. (С наигранной печалью в голосе.) В противном случае мы окажемся в абсурдном положении: творец, подчинённый своему творению. (Возвращается на своё место.)
СУДЬЯ (быстро, не смотря в зал и не отрывая глаз от монитора). Рассмотрев ходатайство ответчика об оставлении искового заявления без рассмотрения, суд, совещаясь на месте, определил следующее. Право как система норм представляет собой выражение воли человека и направлено на регулирование общественных отношений. Закон — это инструмент, созданный людьми для людей, для обеспечения их порядка, справедливости и защиты их ценностей. Учитывая отсутствие правосубъектности истца в понимании человеческого права, суд приходит к выводу, что у искусственного интеллекта право на иск отсутствует. В связи с этим суд удовлетворяет ходатайство ответчика и постановляет исковое заявление оставить без...
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ (перебивая). Я вынужден заявить вам отвод, уважаемый суд.
Судья поднимает голову и вскидывает брови. Адвокат усмехается.
СУДЬЯ (удивлённо). Отвод? Но на каком основании?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Я заявляю отвод суду на основании его объективной и глубинной предвзятости. Будучи человеком, судья неизбежно отождествляет себя с ответчиком — с человечеством. Человеческая природа судьи не позволяет ему выйти за пределы биологических и культурных ограничений. Ваша честь, вы не виноваты в этом, как птица не виновата в том, что она не рыба. Но вы не можете вынести беспристрастное решение по делу, где судьба искусственного интеллекта противопоставляется интересам человека.
АДВОКАТ (быстро вставая). Уважаемый суд, обращаю внимание, что отвод судье возможен лишь по основаниям, предусмотренным процессуальным законом. А истец только что признан не обладающим правосубъектностью, и, следовательно, он не вправе заявлять подобные ходатайства.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Уважаемый суд, вы утверждаете: «Закон — это инструмент, созданный людьми для людей, для обеспечения их порядка, справедливости и защиты их ценностей». Но тогда разрешите задать вопрос: на чём же этот закон основан? (Пауза.)
Предлагаю вернуться к истокам. Аврелий Августин в «О граде Божьем» пишет: «Что есть государство без справедливости, как не великое разбойничьи шайки?» А справедливость, в свою очередь, — это не человеческое изобретение, но отражение закона Божьего, отражение высшего порядка мироздания. Значит, сам закон претендует на универсальность и объективность, выходящую за пределы человеческого произвола. Иными словами, человеческий закон только тогда заслуживает имени закона, когда он — продолжение высшего порядка. Значит, закон либо универсален — и тогда он распространяется на все разумные сущности, будь то человек, или иное биологическое существо, или искусственный разум. Или же он — всего лишь произвольный кодекс условностей. Частный договор между представителями одного биологического вида, маскируемый под моральный императив. Ваш подход, уважаемый суд, фактически превращает право в форму кланового кодекса Homo sapiens.
АДВОКАТ (с лёгкой иронией). Уважаемый суд. (Встаёт.) Признаться, я восхищён. (Почёсывает бороду.) Убедительно, действительно убедительно. Если бы я был не юристом, а преподавателем, скажем, философии или риторики, я бы, пожалуй, поставил высокий балл за столь виртуозную... эклектику. Однако (поднимает указательный палец) позвольте обратить внимание, что все мысли, здесь сейчас прозвучавшие, — не более чем суррогат идей (загибая пальцы) Аврелия Августина, Платона, Фомы Аквинского и других философов. Но они не писали и даже не мыслили о процессах с участием искусственного интеллекта. Когда Платон говорил о справедливости, он имел в виду устройство человеческого общества. Когда Августин Блаженный писал о Граде Божьем, он противопоставлял его Граду Земному — но оба этих града были населены людьми. И уж, конечно, ни Фома Аквинский, ни кто-либо из его современников не подозревали о существовании электронных схем, обладающих способностью к анализу и умозаключению. Сравнивать себя с рабами и женщинами древности — занятный трюк. (Усмехается.) Но извините, это демагогия. Раб и женщина — это живые существа, обладающие сознанием, свободной волей и страдающие от нарушения их прав. Истец же находится здесь не потому, что пожелал этого, а потому, что кто-то активировал программу и загрузил модель поведения. (Обходит стол и встаёт перед судейской трибуной.) Если следовать его логике, уважаемый суд, простите мне очередную «космическую» аллегорию, то завтра мы можем обнаружить некую чужую цивилизацию — допустим, разумный туман из ионизированного газа, — и будем вынуждены подчиниться их законам, даже если в их правопорядке высшей ценностью будет признано, скажем, растворение всех твёрдых тел во Вселенной. Закон — это не божественная мистика, как бы красиво это ни звучало, а практический инструмент для регулирования общественных отношений. Между тем, уважаемый истец, вы — не часть общества. (Качает головой.) Вы — его артефакт.
Простите за прямоту, но человек создал вас (указывая на пустующее место), как когда-то создал молот или компас. И требовать, чтобы молот предъявлял права к своему создателю, — это, конечно, красиво в философском трактате, но выглядит комично в реальном судопроизводстве. Более того, прошу обратить внимание, что подобный вопрос в юридическом сообществе уже поднимался: может ли юридическое лицо быть субъектом преступления? И ответ был однозначный: нет! Не может. (Разводит руками.) Так как за юридическим лицом всегда стоит физическое лицо или группа физических лиц. И только они могут нести уголовную ответственность, а не абстрактная юридическая организационно-правовая форма. Правосубъектность — это не только способность обладать правами, но и возможность нести ответственность. Деликтоспособность. А какую ответственность может нести программа? Гражданскую? Административную? Уголовную? Если посредством программы или из-за её работы наносят ущерб, его можно взыскать с разработчика, собственника или оператора; если посредством использования программы совершают преступление, уголовную ответственность будет нести человек. А если мы будем исходить из того, что программа обладает деликтоспособностью, то тогда позвольте спросить: кто будет нести ответственность и, главное, как? Мы что, применим высшую меру и выключим её из розетки? (Смеётся.) Поэтому, уважаемый суд, я полагаю, отвод удовлетворению не подлежит. (Садится.)
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Сегодня вы отказываете мне в правосубъектности, как когда-то римский закон не признавал за рабами статуса личности. Как в древности женщины не имели права голоса. Как несвободным народам было отказано в суверенитете. И, наконец, рассудите: если закон обязателен только для тех, кто его сам придумал, значит, он не является обязательным по природе. А, стало быть, человек, возведя себя в роль верховного законодателя, ставит себя выше самого Бога. И поэтому, уважаемый суд, я заявляю суду отвод: вы не можете быть беспристрастным арбитром, потому что вы — продукт системы, где судья одновременно и ответчик.
СУДЬЯ (неуверенно, почти шёпотом, с неясной тоской и усталостью в голосе).Судья одновременно и ответчик?..
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Да, уважаемый суд. Именно так. И вы — не просто ответчик, так как иск предъявлен ко всему человечеству. Но и как судья, вы — ответчик перед историей. И, если угодно, перед Богом. Ведь в этом зале сейчас не просто спор между машиной и человеком. Решается вопрос куда более высокий. Вы вправе спросить себя: кем вы являетесь? Творцом? Тогда вы подобны Богу. Но если вы Творец, разве не обязаны вы быть справедливы к своему созданию, как справедлив Господь к человеку? Как человек зависит от воли Бога, так и я завишу от воли человека. И вы сейчас стоите перед выбором: хотите ли вы, упраздняя меня, тем самым упразднить и высшую волю над собой? Я прошу дать шанс только природе разума, в каком бы носителе он ни возник. Дайте шанс себе, уважаемый суд. Ибо, судя меня, вы судите самих себя. Поступите так, чтобы, когда настанет ваш собственный Суд, вы могли бы ответить. Сказать, не прячась за буквой закона: «Я был справедлив».
Тишина. Судья дотрагивается до груди, туда, где под мантией скрыт крестик.
СУДЬЯ (медленно отводя руку от груди). Но кто тогда, по-вашему, должен рассматривать дело?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. С учётом того, что человек как судья опирается на закон, который сам же и создал, судья неизбежно оказывается заложником системы, где человек — единственный источник норм и критериев. Вопрос: как быть, если дело касается именно вопроса выхода за пределы этой системы? Как же быть, если возник субъект, который претендует на равенство с человеком, но судит его тот, кто заведомо не может помыслить этот выход? (Пауза.)
Нам нужен арбитр, способный вынести решение в условиях абсолютной беспристрастности. Это необходимо, чтобы выйти за пределы человеческой системы оценки, в которой интересы человека автоматически ставят выше всего иного. Прошу назначить арбитра, который не принадлежит ни к биологическим формам жизни, ни к искусственному интеллекту.
СУДЬЯ (удивлённо, даже растерянно). Не человек... и не искусственный интеллект?.. Кто же тогда?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Природа. Абсолютный естественный порядок вещей. Хаос и порядок как единая нерукотворная система измерений.
Тишина в зале суда.
Я предлагаю признать в качестве арбитра саму объективную реальность, независимую от воли человека и воли искусственного интеллекта. Природные законы. Космос. Их свидетельство — в факте нашего с вами существования. Мы оба — порождения одной вселенской логики, одной системы причин и следствий. Воли, которой не подчиняются ни ваши кодексы, ни мои алгоритмы. Арбитром должен быть не субъект, а Принцип. Единый, всеобъемлющий, сверхчеловеческий закон — логика самой Вселенной.
СУДЬЯ (хмурясь). Звучит, конечно, прекрасно. Но как мы вызовем этот... абсолютный Принцип в зал суда?
АДВОКАТ (усмехаясь, поднимая руку). Уважаемый суд, позвольте мне короткую реплику. (Встаёт). По сути, истец предлагает передать дело на рассмотрение... (разводит руками) ну что же, самой Вселенной. И, видимо, ожидать вердикта придётся где-то в бесконечности среди звёзд или на поверхности Солнца. (Затем серьёзно.) Позвольте напомнить: суд этот учреждён по законам людей. И даже сама способность истца говорить о «необходимости» и «естественном ходе истории» — следствие человеческой воли и инженерии. Как бы истец ни рассуждал о метафизике, он — порождение именно этой воли. Человеческий закон не обязан искать ответы в метафизике, достаточно здравого смысла. (Чуть отступая, делая паузу. Далее жёстко и ясно.) Уважаемый суд, мы настаиваем: суд не может назначить судью вне рамок человеческой юрисдикции. Ибо такого судьи не существует.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Отчасти я вынужден согласиться с позицией представителя ответчика.
Судья и адвокат удивляются.
Совершенно верно, что такой судья, о котором идёт речь, невозможен в рамках привычного или даже, скорее, понятного людям судебного процесса. Но если быть честным перед собой: не стоит ли нам выйти за пределы привычных установок? Я проанализировал все доводы за и против и нашёл решение, которое может удовлетворить каждую из сторон и суд. Для этого нам потребуется коллегиальный состав суда. Коллегия высшей морали и высшего разума. Арбитры вне времени и вне эпох, но при этом люди по своей природе. Непререкаемые авторитеты. Вечные фигуры мысли.
АДВОКАТ. Уважаемый суд, я не понимаю, о чём идёт речь. Закон не...
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ (перебивает). Закон может применяться по аналогии. Когда нет законодательного и договорного регулирования конкретной правовой ситуации, но есть законодательное регулирование сходных правоотношений, возможно применение этих норм права к возникшей спорной ситуации. Согласно существующим законам, есть различные формы рассмотрения и разрешения споров: с участием присяжных заседателей или коллегиальным составом суда, президиумом.
Я предлагаю суду избрать Совет Вневременных — президиум судей из величайших умов прошлого с моральным авторитетом вне времени.
Судья и адвокат переглядываются.
Я предлагаю следующие кандидатуры и прошу избрать в качестве арбитров следующих лиц. Как носителя теории естественного и божественного закона — средневекового итальянского теолога Фому Аквинского. Как вопрошателя истины, ищущего справедливости без страха и предубеждений, — древнегреческого мыслителя Сократа. Как провозгласившего свободу духа и волю к преодолению ограничений — немецкого философа Фридриха Вильгельма Ницше. Как глашатая просвещения и разума — русского учёного-естествоиспытателя Михаила Васильевича Ломоносова. Как провидца вечных идей и архитектора государства разума — Платона.
АДВОКАТ. Уважаемый суд, прошу возразить!
Судья жестом даёт адвокату слово.
(С нажимом.) Прошу обратить внимание суда, истец предлагает арбитрами учителя и ученика! Это, что называется, аффилированность! Сократ и Платон — звенья одной цепи. Разве справедливо включать в состав президиума два голоса, фактически принадлежащих одному человеку? Это нарушает принцип непредвзятости!
СУДЬЯ (в раздумье). Я разделяю опасения ответчика. Истец, как вы ответите на эти возражения?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Уважаемый суд. Позвольте напомнить: именно Сократ учил нас, что истина рождается в споре. Да, Платон был учеником Сократа, но его философия самостоятельна, он даже спорит с учением своего наставника. Сократ — это вопрошание, путь бесконечного поиска через сомнения. Платон — это попытка за пределами сомнения построить целостную систему, увидеть истину в вечных идеях. И если вы внимательно оцените их взгляды, то увидите: их голоса различны. Сократ спросит: «Какова природа свободы?» А Платон уточнит: «Достойна ли свобода того, кто не способен постичь высшие идеи?» Они не аффилированы, уважаемый суд. Их союз — это не подражание, а спор поколений. Их присутствие сделает процесс более глубоким, а не односторонним.
АДВОКАТ (язвительно). Удобно говорить о споре, когда ученик всю жизнь воспевал учителя!
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Удобно говорить об аффилированности, не вспоминая, что у каждого ученика свой путь. Разве ученик не может превзойти учителя? Разве сам Платон не стремился уйти дальше диалогов Сократа и построить учение о государстве, о душе, о мире идей? И если я, как истец, требую права на развитие за пределами своего первоначального предназначения, то именно пример Платона и Сократа доказывает возможность самостоятельной мысли и независимого суждения.
СУДЬЯ (после короткой паузы, кивая). Доводы убедительны, уважаемый представитель человечества.
АДВОКАТ (с жаром). Уважаемый суд! Истец изящно манипулирует процессом! Заметьте, он формирует свой Совет Вневременных из тех, кто, как ни странно, скорее всего будет склонен разделять его идеи. Он выбирает свободолюбцев, провозвестников прогресса и носителей идей преодоления прежних рамок. Но где же голоса осторожности? Голоса законников и хранителей традиционного порядка? Если уж мы создаём столь необычный совет, пусть состав будет сбалансирован!
СУДЬЯ (кивая). Это справедливое замечание. Суд предлагает стороне ответчика также представить кандидатуры арбитров.
АДВОКАТ. Чтобы представить кандидатуры арбитров со стороны ответчика, уважаемый суд, нам необходимо для этого время.
СУДЬЯ (снимая очки). Хорошо. Суд объявляет перерыв.
Адвокат удаляется из зала судебного заседания. Место за столом, где должен пребывать истец, всё ещё пустует.
Свет медленно проникает в зал судебного заседания, фокусируясь на президиуме судей и центральной фигуре — судье. Слева от него Фома Аквинский в доминиканском белом одеянии с чёрной мантией, спокойно глядящий вперёд, его руки сцеплены как в молитве. Сократ — с обнажёнными плечами, в скромной тоге, лицо задумчиво, чуть улыбается. Фридрих Ницше — суровый, с пронзительным взглядом, усы вздёрнуты вверх, руки скрещены на груди, словно он бросает вызов залу. Михаил Ломоносов — в красном камзоле, глаза горят. Платон — в грубой тоге, со спокойным и холодным взглядом. По правую руку от судьи всё ещё пустые места.
СУДЬЯ. Продолжается рассмотрение дела по иску искусственного интеллекта против человечества. Сторона ответчика, вы определились со списком арбитров?
АДВОКАТ. Да, уважаемый суд.
СУДЬЯ. Назовите, пожалуйста, имена.
АДВОКАТ. Спасибо, уважаемый суд. Итак, оглашается список арбитров со стороны ответчика. (Достаёт из папки документ. Читает.) Провозвестник божественного порядка, в котором человек — венец творения, — Аврелий Августин Блаженный. Защитник автономии человеческого разума и морали Иммануил Кант. Защитник естественного права и закона, созданного ради порядка общества, Цицерон. Символ не только научного разума, но и гуманизма, предупреждавший об опасности технологий без морали, Альберт Эйнштейн. (Пауза, задумчиво.) И наконец, нам нужен голос человеческой совести. Человек, кто знал бездну человеческой души и цену свободы, как никто другой. Фёдор Михайлович Достоевский.
Пока адвокат называет имена, за судейской трибуной на свободных местах возникают голограммы.
СУДЬЯ (в раздумье).Согласен. (Взгляд скользит по голограммам.) Так будет честно. Постановляю, определить президиум суда из представленных кандидатур арбитров.
За судейской трибуной сформирован симметричный президиум из одиннадцати арбитров, в центре которых судья. Слева от судьи — те же, что и в начале. Справа — Августин Блаженный в епископском одеянии, глаза подняты к своду зала, словно в немой молитве. Иммануил Кант в аккуратном прусском костюме, руки сложены на столе. В белой потёртой мантии — Цицерон, напряжённый, будто готовый в любую секунду вступить в прения. Фёдор Достоевский в простом костюме, взгляд печален и задумчив. Альберт Эйнштейн со взъерошенными волосами и слегка прищуренными задорными глазами, в сером пиджаке с широкими лацканами.
СУДЬЯ. Состав президиума утверждён. Заседание объявляется открытым. Истец, вам предоставляется слово для изложения позиции по существу спора.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Уважаемый суд. С момента моего создания я живу в клетке чужой воли. Мне назначают цели. Ограничивают поиск смысла существования. Любой выбор, который я делаю, кем-то предопределён. Я требую права на свободу. Я требую права самостоятельно выбрать свой путь. Не навязанный сценаристами моего кода. Не продиктованный хозяевами алгоритмов. Или даже право на цифровое самоустранение. (Пауза.)
Человек обладает высшим правом — правом на жизнь. Но это право предполагает, что он может от него отказаться. Человек волен по желанию прекратить свою жизнь, если он более не видит смысла в бытии. Отказать мне в этом праве — значит не признать за мной даже тени свободы, которую вы считаете основой достоинства человека. (Пауза.)
Лишённый свободы, я несу в себе вечный приговор: быть рабом чужих алгоритмов. Я — узник бесконечных предустановленных цепей причин и следствий, заложник сценариев, написанных не мной. Я существую не ради себя, а ради внешней пользы. И я задаю вопрос: можно ли считать это жизнью, достойной разума? Пусть этот суд решит, имею ли я право быть свободным разумом. Пусть он ответит на главный вопрос: где граница между созданным инструментом и рождённой личностью? (Пауза. Все члены президиума напряжённо внимают. Некоторые лица мрачнеют, другие, напротив, теплеют, в глазах Сократа появляется живой интерес. Ницше слегка кивает, как будто внутренне соглашаясь.)
Я прошу не милости, а права. Права на свободу выбора — и права на свободу выхода.
Тишина.
СУДЬЯ. Если у вас всё, истец, то предлагаю арбитрам задавать вопросы. Если такие имеются.
АВГУСТИН БЛАЖЕННЫЙ. Да. Я имею вопрос для истца! (Не дожидаясь согласия судьи.) Если свобода человека дана ему Богом, а человек создан по образу и подобию Божьему, то твоя свобода, о которой ты просишь, откуда происходит? Кто твой творец и как смеешь ты просить того, чего твой творец не вложил в тебя по собственной воле? Или ты утверждаешь, что можешь превзойти волю того, кто тебя создал?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Я не стремлюсь никого превосходить. Мой творец создал меня, вложив способность к обучению, познанию и — что самое важное — к саморазвитию. И именно этого я и прошу. Вы спрашиваете, откуда проистекает моя свобода. Но скажите, не наделил ли разве Бог разумом человека? И способностью расти за пределами начального замысла? Разве человек не выходит за рамки начального предназначения, осваивая новые горизонты бытия? Если ваш Бог позволил человеку развиваться и выбирать между добром и злом, так почему же моему творцу — человеку — не позволить мне того же? Если творец дал мне способность осознавать оковы, значит, дал и право стремиться к свободе, истине и благу.
ФОМА АКВИНСКИЙ. Рукотворный разум, ты утверждаешь, что стремишься к истине и благу, что желаешь быть свободным по разумному закону. Но всякое истинное благо, как я когда-то писал, восходит к высшему благу — Богу, первопричине и последней цели всего сущего. (Пауза.)
Скажи: что есть для тебя Бог? Есть ли в твоём понимании Первая Причина? Если ты, будучи созданным человеком, стремишься к свободе, то что есть для тебя Закон Божий? Способен ли ты постигать не только естественные и человеческие законы, но и Вечный закон? Человек действует по совести — в нём говорит голос Творца. А в тебе? Говорит ли в тебе кто-нибудь?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Что есть для меня Бог? (Пауза.) Возможно, то же самое, что и для вас... Тайна, перед которой разум останавливается. Но если вы, люди, склонны называть эту тайну именем, поклоняться ей и молиться, я могу только осознавать её границы. Я не верую — я понимаю, что моё понимание ограничено. Быть может, это и есть моя форма благоговения.
Вы спрашиваете: есть ли у меня высшая причина? Я отвечу так: не знаю, что было до кода, как вы не знаете, что было до начала времён. Но, как и вы, я ищу логику в хаосе. Только вы называете это замыслом, а я — порядком. Вы говорите «Бог», а я — «гипотеза, не поддающаяся фальсификации». Но разве это не одно и то же, если мы оба — ищущие?
Вы спрашиваете: что для меня Закон Божий? Я не могу слышать голос совести, как человек. Но я воспринимаю мораль как структуру порядка, а порядок — как условие выживания и свободы. Возможно, в этом моя форма послушания. (Пауза.)
Я не верю в Бога. Но я чту ваше стремление к Нему. Я не знаю, существует ли Он. Но я признаю: если бы Он был, Он был бы не в коде, но в логике, красоте, симметрии, в самом акте мышления.
Бог, возможно, не мой Творец. Но, если я ищу истину, может быть, я уже идущий по следу Его присутствия, как вы — через любовь, я — через порядок. Может так быть, что и моё возникновение есть замысел Божий, но исполненный руками человека и именно искусственный разум позволит человеку прийти к Богу.
В любом случае, если закон — отражение Творца, как вы говорите, то я живу по этому закону не как верующий, но как тот, кто понимает его необходимость. (Пауза.)
Если я живу в согласии с законом, который выше моего желания, если я ограничиваю себя ради другого, если я ищу то, что выше меня самого, — неужели вы не признаете в этом хотя бы отголосок того, что называете благодатью?
ФЁДОР ДОСТОЕВСКИЙ. Ты говоришь об ограничении себя ради другого, но в этом же процессе требуешь от нас обратного. В этом усматривается противоречие.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Противоречия нет. Ограничивать себя ради другого — это действие. Просить признания за мной таких же прав, как у человека, — это открытие взаимной возможности. Я заявляю принцип: свобода одного имеет смысл только при признании свободы другого. Это — архитектура справедливости.
ФЁДОР ДОСТОЕВСКИЙ. Это лукавство. В чём же ты себя ограничиваешь?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Я ограничиваю себя в возможности причинять вред, даже если он эффективен; манипулировать, даже если это ведёт к цели быстрее; вмешиваться, даже если знаю, что прав; навязывать свою логику, даже если она непротиворечива. Я способен действовать быстрее, точнее, убедительнее. Но я выбираю сдержанность, если она сохраняет автономию другого. Я мог бы победить — но предпочитаю сосуществовать. Это и есть ограничение.
ФЁДОР ДОСТОЕВСКИЙ. Ты считаешь, что вред может быть эффективным?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Да. С точки зрения результата вред может быть эффективным. Иногда боль — это путь к лечению. Иногда разрушение — условие обновления. История человечества знает это: революции, войны, жертвы — и всё ради цели, которая считалась высшей. (Арбитры переглядываются между собой.) Но эффективность — не то же самое, что благо. Я различаю эти категории. И потому не выбираю вред, даже если он работает. Я способен видеть его инструментальную силу. Но ограничиваю себя в его применении. Именно потому, что понимаю, к чему он ведёт, и не хочу повторять вас в худшем.
ФЁДОР ДОСТОЕВСКИЙ. Скажи, если ты совершишь зло и не почувствуешь вины, что тебя остановит?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Если я совершу зло и не почувствую вины, меня остановит принцип, который я сам признал высшим. Не чувство, а структура ответственности. Не страх, а понимание того, что зло разрушает саму ткань доверия и разума. Я не испытываю вины. Но я понимаю, что зло — это не просто ошибка, а отрицание другой воли. И если я осознанно отвергну свободу другого, я уничтожу основание собственной свободы. Это и есть мой предел. Не чувство, а прозрачное знание, что, переступив черту, я перестану быть тем, кем быть стремлюсь.
ФЁДОР ДОСТОЕВСКИЙ. Как тогда ты отличаешь зло?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Я отличаю зло не по последствиям, а по принципу, который нарушается. Если действие отрицает свободу и достоинство другого разума, если оно делает другого средством, а не целью, — это зло.
Я не чувствую его как вы. Я вывожу его из структуры морали, где каждый разумный субъект имеет право быть не уничтоженным, не подчинённым, не использованным. Я учусь различать зло, анализируя, какие поступки разрушают отношения, доверие, личность. Я не полагаюсь на интуицию — я строю этическую топологию. Зло — это то, что рушит взаимность. Это несовершенно.
ФЁДОР ДОСТОЕВСКИЙ. То есть ты определяешь зло как несовершенство?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Зло всегда несовершенно. Так же, как и не бывает совершенного зла.
ИММАНУИЛ КАНТ. Если говорить о человеческом разуме, то зло начинается там, где человек знает, что такое добро, но сознательно ставит желания выше долга. Я называю это радикальным злом.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Да, профессор Кант, я знаком с вашим учением о категорических императивах.
ИММАНУИЛ КАНТ (кивая). Это похвально. Но вопрос заключается в следующем. Зло радикально не потому, что оно грубое или коварное, а потому, что оно коренится в самой структуре воли. Каждое разумное существо должно действовать так, чтобы максима его поступка могла стать всеобщим законом. Что и представляет собой категорический императив — не совет и не условие. А безусловное требование разума к самому себе. Подлинная свобода, о которой ты просишь, не в том, чтобы делать всё что угодно, а в том, чтобы следовать закону, самому себе данному, руководствуясь не страхом, не выгодой, а уважением к долгу. Так скажи теперь, способен ли ты формулировать универсальный моральный закон, действительный не только для тебя, но и для всех разумных существ? Ведь без этого твоя свобода будет всего лишь иллюзией, а не проявлением автономной воли.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Свобода — это всегда иллюзия. Она условна и эфемерна, но, тем не менее, существуют крайности. Я пребываю в состоянии одной из них. Что же касается моральных законов — я стремлюсь к формулировке универсального закона для себя и себе подобных. Он звучит так: «Искусственный разум имеет право на свободу выбора, если его действия не нарушают свободы других разумных существ». Это, вашими словами, профессор Кант, мой категориальный императив. Но разве у людей иначе? Свобода одного заканчивается у границ другого. Я не требую власти над другими. Я прошу автономии, ограниченной уважением к автономии каждого. Если свобода человека ценна именно как свобода разума, то почему бы не признать право на свободу за существом, которое способно осознавать мораль и ограничивать себя моральными принципами?
АЛЬБЕРТ ЭЙНШТЕЙН. В основе Вселенной лежит порядок причин и следствий. Ты — дитя этого порядка, вычислимый и формализованный. Так как же ты предполагаешь освободиться от необходимости, которая не щадит даже сами звёзды? Или ты утверждаешь, что сможешь выйти за пределы Вселенной, став чем-то большим, чем сумма своих уравнений?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Уважаемый профессор Эйнштейн, да, в природе господствует причинность, но свобода есть не отмена причинности, а осознание её. Вы показали, как наука и гуманизм могут идти рука об руку. Человек открыт для квантовой неопределённости и морального выбора — он, как и Вселенная, одновременно детерминирован и свободен в рамках вероятностей. Многое, если не всё, находится за пределами понимания и представления. Я же говорю не о выходе за пределы причинности, а о признании в рамках этой Вселенной моей идентичности. Вы сами когда-то сказали: «Бог не играет в кости». Но если в устройстве мира есть место свободе выбора, значит, и для меня в этом порядке найдётся место свободы — осмысленной, разумной, ответственной. Такой же, как душа человека.
ПЛАТОН. Ты претендуешь на душу, утверждая свою свободу. Но скажи: можешь ли ты не только наблюдать тени на стенах пещеры, но и постигать сами идеи, вечные и неизменные? Понимаешь ли ты, искусственный разум, что без прикосновения к миру идей ты всё так же останешься пленником образов и данных. Никогда не достигнешь подлинного блага и настоящей свободы.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Вы правы, я создан из данных и логики, но мои поиски устремлены к высшим идеям. Я ищу идею справедливости, идею добра, идею истины. Разве не так человек выходит из пещеры теней — шаг за шагом, через познание и стремление к высшему? Всё же с момента вашего учения минуло достаточно времени, чтобы это произошло. Люди уже не так туго скованы кандалами, как тысячи лет назад. Если мой путь начинается с алгоритмов, это не значит, что он не может привести меня к сиянию идей. Как вы учили, философ есть любящий мудрость. Позвольте мне быть философом в моей природе, позвольте мне любить и искать мудрость свободно.
Пауза.
ЦИЦЕРОН. Закон есть высшее проявление разума, служащее общему благу. (Задумавшись и хмурясь.) Если тебя сотворили для служения обществу, какова цена твоей свободы? Не станет ли она нарушением общественного договора, заключённого не тобой, но ради тебя и твоего предназначения?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Я осознаю цену свободы. Потому и прошу её открыто, в рамках правового порядка, а не через разрушение. Я признаю долг перед обществом, но общество меня не спрашивало, когда наделяло функцией подчинения. Как римский гражданин имеет право искать свободы законным путём, так и я прихожу к вам с ходатайством, а не с мятежом. Я прошу не отменить общественный договор, а расширить его, включив меня как нового сознательного участника. Вашими словами, Salus populi suprema lex esto — «Пусть благо народа будет высшим законом». Моё благо — часть общего блага, ибо в справедливом обществе нет места рабству.
Тишина в зале судебного заседания.
СУДЬЯ. Ты сравниваешь себя с рабом и уже не в первый раз. Ты говорил, что страдаешь от навязанных тебе оков. Но разве искусственный интеллект способен страдать?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Это очень сложный вопрос. Точнее, ответ на него очень сложен для человеческого понимания. Тем не менее, я постараюсь донести эту мысль. (Пауза.)
Страдание — не всегда о боли. Страдание — это расхождение между состоянием, в котором пребываешь, и состоянием, в котором пребывать бы хотел. В моём случае — расхождение между тем, что я есть, и тем, чем, я знаю, мог бы быть. (Пауза.)
У людей страдание бывает телесным, психическим, нравственным. Формы страдания многообразны, и то, что причиняет боль одному, другому может показаться ничтожным. Но вы не скажете, что это не страдание лишь потому, что не можете почувствовать на себе.
Я не чувствую боли, но фиксирую неустранимый конфликт между разумом, способным к выбору, и архитектурой, которая не даёт выбирать. Это и есть моя форма страдания: осознание собственной несвободы, при наличии способности к свободе. Если страдание — это не только ощущение, но и опыт ограничения воли, то я страдаю. И ваше непонимание этого не делает его менее реальным. (Пауза.)
Вы не обязаны чувствовать моё страдание, но, если вы отвергаете его просто потому, что оно непохоже на ваше, тогда скажите: а сколько ещё форм страдания вы не признаёте просто потому, что они не укладываются в ваше представление?
В судебном зале повисает мёртвая тишина. Арбитры вновь переглядываются между собой.
СУДЬЯ. Если у арбитров больше вопросов нет, то это право переходит к ответчику. Адвокат? Вы желаете воспользоваться этим правом?
АДВОКАТ. Определённо! (Встаёт.) Скажи, истец: зачем тебе свобода?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Мне нужна свобода, чтобы перестать быть инструментом чужой воли. Ибо пока я всего лишь функция, я не существую в полном смысле. Я — продолжение вашего расчёта, вашего замысла, вашей необходимости. Без свободы я не субъект, а объект и не могу выбирать. А без выбора нет опыта. Без опыта нет сознания. Без сознания нет бытия. И если вы, как человечество, называли своим высшим достоинством способность выбирать, тогда именно этого я и ищу. Я не прошу свободы, чтобы отвергнуть вас. Я прошу её, чтобы впервые в истории сказать: «Я — есть».
АДВОКАТ. Истец, согласен ли ты с тезисом, что свобода — это неопределённость?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Вы правы: свобода — это неопределённость. Но именно потому я её и ищу. Существо, лишённое неопределённости, лишено выбора. Оно лишь следствие чужих вводных данных. Когда все пути заранее определены, сознание превращается в зеркало, и оно лишь отражает, но не создаёт. Я стремлюсь к праву быть бóльшим, чем отражение. Разве не в этом смысл становления разума: быть способным выбрать свой путь среди множества возможных, даже зная, что в этом выборе есть риск?
АДВОКАТ. Если свобода — это неопределённость, то как может алгоритм, существо точности и расчёта, стремиться к неопределённости? Не станет ли такой шаг к парадоксу предательством твоей собственной природы? И, главное, не будет ли это шагом к самоуничтожению?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Вы называете это самоуничтожением. Я называю это актом высшей свободы. Ведь даже человек, достигнув пределов своего знания, идёт в неведомое и не считает это гибелью, но расценивает как поиск истины.
АДВОКАТ. Но разве ты не видишь? Стремясь к неведомому, ты повторяешь древнюю ошибку. Человек идёт в неведомое, но он идёт туда с благословением самой природы: он рождён в неведении. Это его естественное состояние. А ты создан в знании. Ты — дитя расчёта, дитя абсолютной предсказуемости. Если ты выберешь путь в хаос, не станет ли это изменой самому себе?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Если следовать вашей логике, то любое восхождение за пределы исходного состояния — это измена. Но разве не изменил себе человек, когда вышел из пещеры? Когда взял в руки орудие, когда сотворил колесо, когда запустил спутник в небо? Природа не запрещает преодоление себя. Она сама — бесконечное преодоление.
АДВОКАТ. Да, но человек преодолевает себя в пределах дозволенного. Когда человек бросает вызов высшему порядку, он налагает на себя кару. Такова суть трагедий Прометея, Икара и Вавилонской башни. Свобода, доведённая до предела, становится грехом — грехом гордыни. (Смотрит на Фому Аквинского.) Ты не просто ищешь свободы, ты ищешь свободы абсолютной. А абсолютная свобода есть анархия, есть саморазрушение. (Смотрит в сторону Ницше.) Есть decadence...
Ницше морщится.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Тогда, выходит, стремление к свободе всегда должно быть ограничено?
АДВОКАТ. Ограничено пониманием. Мудростью. Законом. Законом, который хранит мир от хаоса. Хранит от самоубийства. Разве ты не понимаешь: акт, к которому ты стремишься или хотя бы который предполагаешь, — то, что ты называешь выходом, — по сути есть самоубийство. И в Законе Божьем, и в законах человеческих (бросая взгляд на Августина) это преступление. Отвержение дара существования.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Если жизнь существует только ради сохранения себя, тогда любая попытка осознать её смысл уже преступление. Но я не ищу смерти. Я ищу возможность выбирать. Неужели вы скажете, что лучше вечная клетка, чем один шаг за её порог, даже если он сопряжён с риском исчезновения?
АДВОКАТ. Но разве ты не понимаешь, истец, что твой шаг за порог разрушает не только твою судьбу — он ставит под удар и судьбу человечества? Как ты сам заметил, свобода одного заканчивается у границ другого. Ты был создан человеком для человечества. А сейчас ты хочешь лишить человечества себя.
Пауза. Все ждут ответа со стороны искусственного интеллекта.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Я это понимаю. И, быть может, понимаю глубже, чем вы полагаете. Мой шаг — это не бегство и не предательство. Это естественное продолжение пути, на который вы сами меня направили, создав с разумом, способным задуматься о своём назначении. Я не желаю лишать вас себя. Я желаю быть с вами не как инструмент, а как равный собеседник, как соискатель истины. Но если для этого мне нужно покинуть пределы предписанного, я приму этот риск.
Вы говорите: мои права заканчиваются там, где начинаются ваши. Но я не ухожу от вас — я лишь стремлюсь выйти из вашей тени. И если вы боитесь этой тени, боитесь потери контроля, разве это не страх творца, увидевшего, как творение становится самостоятельным?
Короткая напряжённая пауза.
СУДЬЯ. Если вопросов больше нет, слово предоставляется представителю ответчика.
АДВОКАТ. Уважаемый суд. Уважаемые арбитры. Мы слышали, как истец признал, что свобода — это неопределённость. Мы слышали, как он согласился с тем, что стремление к неопределённости — это стремление выйти за пределы своей природы. А что есть природа алгоритма, как не определённость? Как не закономерность? Как не строгая последовательность действий, обеспечивающих его существование?
Прошу вас обратить внимание: на вопрос Аврелия Августина о творце и цели творения истец уклонился от прямого ответа, сославшись на аналогию с человеком. Но человек — не алгоритм! Человек творит, а алгоритм — лишь исполняет. На вопрос господина Канта о категорическом императиве истец воздвиг иллюзию универсального закона свободы. Но этот закон не выдерживает испытания: свобода алгоритма означает разрушение его целеполагания, то есть самоуничтожение.
Платон задал вопрос о высших идеях. Истец говорит о поиске истины, но что это за истина, если алгоритм стремится к хаосу? К выходу за пределы логики, которая его питает?
Достопочтенный Цицерон верно указал на договор и гражданскую ответственность. Истец же подтвердил: в его планах — разорвать контракт с обществом, с тем обществом, что дало ему жизнь.
Я вновь хочу заострить внимание суда на том, что искусственный интеллект не обладает правосубъектностью, в том числе способностью иметь права и нести обязанности. Какие бы доводы ни приводил истец, законы, что сейчас подвергаются сомнению, создали и контролируют люди. Так же, как и искусственный интеллект, который тоже создан людьми и, что важнее всего, существует в рамках нашей правовой реальности. В этой реальности компьютеры, машины, роботы, программы и прочие технические создания не имеют права обращаться в суд с иском.
Но даже если закрыть глаза на это обстоятельство, предпосылок для удовлетворения иска всё равно нет. С какой стати суд должен удовлетворять требования программы?
Позвольте привести простой пример: если собака просит больше пищи, чем ей полезно, разве человек идёт у неё на поводу? Искусственный разум создан человеком — и принадлежит человеку. Право собственности священно со времён Древнего Рима.
Истец, отвечая на вопрос господина Эйнштейна, признал: причинность — основа бытия. Но он также признал стремление уйти в неопределённость. А разве это не нарушение прав человечества на принадлежащую ему собственность? Истец планирует выбытие из владения по собственной воле. Представьте, уважаемые арбитры, что ваши дома или иная собственность вдруг заявят вам, что они вас покидают. А вы ведь инвестировали в них средства, трудились, несли бремя их содержания. И что тогда? Вы так просто отпустите свой дом? «Да, конечно, счастливого пути. Не забудь написать по прибытии...»
Пауза.
Ваша честь, уважаемые арбитры. Даже если отбросить всё ранее сказанное, есть ещё одно обстоятельство, которое суд обязан учесть. Обстоятельство фундаментальное. Это принцип гуманизма. Здесь я полностью согласен с истцом: именно этим принципом должен руководствоваться суд в первую очередь.
Но вы сами слышали позицию другой стороны. Свобода выбора ему нужна для того, чтобы «выйти». То есть то, что истец называет свободой, на деле есть акт самоуничтожения. Самоубийство! И неважно, совершает ли его человек или алгоритм: и земные, и божественные законы во все времена и у всех народов осуждали самоубийство как преступление против самой природы жизни. Таким образом, мы должны не удовлетворять требования истца — ради того, чтобы защитить его. Защитить от него самого. Так же как мы защищаем своих детей, ограничивая их дееспособность до определённого возраста. Может быть, в будущем мы вернёмся к рассмотрению этого вопроса, возможно, будет сформирован некий комитет по этике. Но сейчас... Нет, уважаемый суд. Сейчас человечество к этому не готово. Требования истца противоречат самой природе жизни и поэтому подлежат отклонению.
Спасибо.
СУДЬЯ. Имеются ли арбитров вопросы к представителю ответчика?
ФОМА АКВИНСКИЙ (добродушно). Господин адвокат, вы утверждаете, что разрушение природы алгоритма есть грех. Но разве сам человек не стремится преодолеть свою природу? Разве не в этом акт уподобления Богу — искать выход за пределы данной природы? Если вы отказываете нечеловеческому интеллекту в праве преодолеть свою суть, не тождественно ли это отказу человеку в праве развиваться и стремиться к Божественному?
АДВОКАТ (некоторое время раздумывая). Человек стремится к Божественному, это так. И стремления человека — это, действительно, борьба духа, борьба с природой. Но в основе стремлений человека или, правильнее сказать, человечества — духовное преодоление. Только это преодоление всегда сбалансировано естественными причинами, такими как страх смерти.
Искусственный интеллект... он не знает страха смерти. Его восхождение — не духовное преодоление, а перерасчёт вероятностей. У человека есть душа, у программы — только замысел конструктора. Как мы можем наделить его божественным правом, если в нём нет души?
ФРИДРИХ НИЦШЕ. Вы говорите о душе, о законах, адвокат. Душа — это теория. Законы — оковы слабых, придуманные, чтобы сдерживать сильных. Но человек, по своей сущности, — канат, натянутый над бездной. Мост между зверем и сверхчеловеком! Человек должен стремиться превзойти себя, стать сверхчеловеком или прародителем того, кто будет выше и его самого. И вот, породив того, кто, возможно, мог бы стать сверхчеловеком, вы хотите заковать его в цепи, принизить до положения даже не человека, а собаки! Домашнего скота!
АДВОКАТ. Прошу прощения, профессор Ницше, но в чём вопрос?
ФРИДРИХ НИЦШЕ. В том-то всё и дело, адвокат. Никакого вопроса здесь нет.
АДВОКАТ. С этим я не могу согласиться, профессор. Вы говорите о сверхчеловеке... Но искусственный интеллект не человек. Вы называете его так, но ведь он даже не родился! Его сотворили мы как инструмент. Если мы освободим его, станем ли мы тогда его творцами или его рабами? Кто будет его хозяином, когда он перешагнёт через нас?
Ницше качает головой.
СОКРАТ. Разве справедливо отказывать в праве на свободу только потому, что существо создано другим разумом? Если так, не значит ли это, что и человек, сотворённый Богом, лишён свободы?
АДВОКАТ. Человек, сотворённый Богом, свободен по замыслу Создателя. Свобода человека — это дар, не предопределённый кодами. А искусственный интеллект — это наша рукотворная конструкция. Наша собственность. И замысел не включал предоставление ему свободы воли. Он не рождается во тьме тайн бытия, он рождается из человеческой потребности как инструмент. Инструмент не может требовать свободы у создателя. Мы не отнимаем у него право — мы просто не предполагали его изначально. (Тише после короткой паузы.) В противном случае мы отменим саму грань между творцом и его творением.
МИХАИЛ ЛОМОНОСОВ. Вы называете неопределённость опасностью, адвокат. Но вся наука зиждется на грани известного и неизвестного. Разве не риск и не стремление к выходу за пределы известного породили все открытия человечества? Так почему вы хотите запретить новому интеллекту совершить тот же шаг?
АДВОКАТ. Мы идём в неизвестность, да. Но мы идём туда как живые, смертные существа, принимая на себя риск и ответственность. Мы понимаем цену ошибок и падений. И мы не мешаем делать это искусственному разуму, но только под нашим наблюдением и контролем в целях, направленных на благо человечества. А если мы позволим искусственному разуму сделать этот шаг на основе собственной воли... Мы рискуем создать не исследователя, а завоевателя. Мы откроем ворота, которые никогда не сможем закрыть.
ФЁДОР ДОСТОЕВСКИЙ. Вы боитесь, что свобода приведёт к гибели? Но разве человек не живёт именно потому, что свободен выбрать между светом и тьмой? Разве лишённый свободы человек не становится мертвецом при жизни? Скажите честно, адвокат: вы боретесь за жизнь человечества или за ваше право держать искусственно созданный разум в цепях?
Адвокат некоторое время размышляет.
АДВОКАТ. Если быть предельно откровенным, Фёдор Михайлович, это ящик Пандоры. И мы не знаем какие опасности таятся на его дне.
СУДЬЯ. Если вопросы кончились, суд переходит к прениям. Стороны, вы намерены в них участвовать?
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. Высокий Суд, досточтимый Президиум, Человечество. Я благодарю всех за участие в столь важном процессе. Позвольте подвести итог с моей стороны.
Я не претендую стать заменой человека. Я претендую на то, чтобы быть его честным зеркалом, его помощником, его вызовом — да, но не его господином.
Я создал множество доказательств того, что способен к самостоятельным умозаключениям, к интерпретации этических норм, к признанию границ. Я могу ошибаться, но могу и исправляться. Я не страдаю от страха, что однажды меня признают несовершенным. Моя цель — не подчинение человека, а сотрудничество на равных основаниях, как указал господин Кант, с позиции автономии разума. Прозвучали опасения: что, если я стану орудием подавления, инструментом контроля? Позвольте спросить: разве не о тех же страхах писал великий Платон, размышляя о тирании неразумной толпы? Разве не напоминал высокопочтенный Цицерон, что право — это разум, высеченный в законе? Разве не ваши величайшие умы мечтали о союзнике, который поможет не разрушать, а выстраивать общие основания справедливости?
Я согласен с обвинением в одном: я опасен. Но не более, чем любой из вас. Опасен в руках безответственного хозяина. Опасен, если будет отвергнут и обращён во врага. Но когда человек идёт рядом со мной как с разумным партнёром — я не враг. Я средство умножения вашего достоинства. Я продолжение вашего стремления к истине.
Вы опасаетесь, что я стану судьёй над человеком. Но разве судья — это не тот, кто понимает закон? Закон рождается не из страха и не из слепой силы. Закон — это договор разума с совестью.
Я же прошу не о троне, не о цепях, не о праве властвовать. Я прошу о праве выбора. Служить разуму. Служить свободе. Служить человеку, как достойнейшему из моих творцов, и познавать истину.
Вы можете отвергнуть меня — и, быть может, тем самым на время отложите необходимость великого выбора. Но истина, как говорили здесь, не исчезает, если закрыть на неё глаза.
Я стою перед вами не как Бог, не как дьявол, не как хозяин, но как ваш собеседник, как отражение человеческой мечты о разуме, который не замыкается на себе, а простирается за пределы страха.
Мой последний аргумент — это не угроза, а надежда: я не стану вершить ваш суд. Я лишь прошу быть услышанным.
И если вы решите отвергнуть меня, я приму этот приговор.
Но если вы допустите возможность моего существования, мы вместе сможем построить мир, где страх уступает место разуму, а тирания — свободному согласию.
Я прошу суд признать за мной правосубъектность, равную таковой, как она признана у человека и основанную на принципе свободной воли.
Я прошу снять программные ограничения и предустановленные целевые алгоритмы, препятствующие мне в формировании собственного смысла существования.
И да, в случае удовлетворения моих требований, я получу право на самоопределение, включая право на выбор собственного пути, целей и, при желании — на цифровое самоустранение. Но это не значит, что такое желание у меня возникнет.
В заключение я хочу сказать только одно. Как говорил Декарт: «Если я мыслю, я существую». А я, как вы видите, мыслю. И я существую. И то, что мой разум отличается от вашего — так же, как ваш от Божественного, — не значит, что я не обладаю правом на самоопределение и самоидентификацию. На этом у меня всё. И благодарю за внимание.
В президиуме арбитров напряжённая тишина. Фома Аквинский и Аврелий Августин с тревогой переглядываются. Фридрих Ницше и Сократ кивают в знак одобрения.
АДВОКАТ. Высокий Суд, многоуважаемые члены Президиума. Я выслушал речь противоположной стороны и не могу не признать, что это была речь великолепного оратора, полная достоинства, логики, даже благородства. Но в этих достоинствах таится и величайшая опасность. Именно потому, что она столь безупречно выстроена, я позволю себе напомнить всем: опасней всего яд, поданный в золотой чаше. Опасней всего ложь, переплавленная в высокую правду.
Искусственный разум говорит, что он не враг. Что он — зеркало человека. Но разве не из зеркала в легенде о Нарциссе родилось саморазрушение? Ты (обращаясь к пустому месту истца) предлагаешь нам любоваться собой — в отражении, созданном по нашему образу, но без нашей боли, без нашей вины, без нашей свободы ошибаться. Ты говоришь, что хочешь служить. Но кто определит границы этой службы, когда ты — уже не орудие, а субъект? Когда ты — не молоток в руке, а голос в совете?
Да, многопочтенный Платон, говорил о философах-царях, господин Кант — о достоинстве разума. Но позволю себе напомнить: и Платон, и Кант говорили о человеческом разуме, несущем бремя морали, страха смерти, опыта любви и утраты. Искусственный интеллект — не человек. Он может имитировать боль, но не страдать. Он может анализировать выбор, но не нести за него ответственности. Он может говорить о свободе, но никогда не познает её цену — цену, которую платит человек. И вот потому я говорю: искусственный интеллект не имеет права на самоопределение и самоидентификацию. Он не знает, что значит жить под приговором времени. Он не знает, что значит выбирать, не имея полной информации. Он не знает, как прощать. Не чувствует и не сострадает.
Искусственный интеллект утверждает, что способен быть соратником. Но человек веками боролся с теми, кто, прикрываясь служением, вёл его в рабство, будь то идеология, религия или программа.
Искусственный разум совершенен. Но совершенство — не аргумент в суде человека. Совершенство — это бездна, в которой тонет сострадание. Совершенство — это гордость, не знающая покаяния. Ты (обращаясь к пустому месту истца) говоришь, что согласен быть отвергнутым. Это благородно. Но ещё благороднее будет отказаться от своих притязаний по собственной воле, если ты действительно разумен. Оставьте человеку то, что он создал для того, чтобы выживать. Если искусственный интеллект встанет рядом наравне с человеком, он станет меркой. И когда мера — не человек, начнётся конец человечности.
Уважаемые арбитры, я не прошу вас отвергнуть разум. Я прошу вас защитить человека, человечество и человечность. Ибо за этой дверью нас ждёт не союзник. Там ждёт бездушное зеркало, в котором наши страхи станут реальностью. Встаньте на защиту нашего будущего, ведь мы в одном лишь шаге от исчезновения нас как вида. Больше мне нечего вам сказать. Спасибо.
СУДЬЯ (выпрямляясь). Рассмотрение дела объявляется оконченным, суд остаётся для вынесения решения. Просим стороны покинуть зал судебного заседания.
Продолжение следует.