— Так ли уж в мире, Элра?
— Всякое было, Шепард. Мы познакомились с расой турианцев, которые добились статуса Советников, поняли, что с турианцами у нас много общего. Сумели с ними поладить. А в 1885 году мы создали гетов. Наше проклятие и ужас всех последующих десятилетий. — Элра замолчала, сделала паузу, продолжавшуюся больше нескольких минут.
Шепард не торопил, знал, что кварианке трудно рассказывать об этом. Проблема гетов из небольшой ошибки выросла в многоуровневый комплекс, ликвидировать который одним ударом не представлялось возможным. Геты перестали быть проблемой только кварианцев. Теперь, после случившегося на Иден-Прайме, случившегося на Феросе и на Теруме геты превратились в проблему для всех органических рас галактики — от ханаров до кроганов.
— Первоначально это были роботы — помощники. Дешевая рабочая сила.
— Боюсь, Элра, вы о многом умалчиваете. — сказал Шепард. — То, что вы рассказали о ханарах, то, что вы попытались украсть кредитку у волуса, указывает на одну деталь, которую вы старательно затушевываете. Давайте уж говорить честно, тем более, что времени до Вторжения Жнецов осталось очень и очень мало.
— Вы правы, Шепард. — сказала Элра. — Я увлеклась и забыла, что вы, кроме того, что человек, еще и Спектр. Да, мы использовали гетов как военную силу.
— И с кем же, позвольте узнать, вы собирались воевать?
— Очевидно, повторять в некоторых деталях ваш опыт, человек. Сами с собой. Потому что за эти полторы, почти две тысячи лет существования в рамках Пространства Цитадели, наше общество перестало быть единым. Мы постепенно начали все сильнее и сильнее дробиться. Различия между настроениями кварианцев нарастали.
— Полагаю, дело до гражданской войны все же не дошло.
— Не дошло. Но участие нас, кварианцев, как инженеров и техников, в войнах против рахни на стороне рас Цитадели заставило нас понять, что физическая наша слабость никуда на самом деле не делась. Мы по-прежнему уязвимы.
— А раз уязвимы, то вы отказались от второй, предоставленной вам возможности уделить внимание не технике, а медицине и биологии и решили, что машины — единственное ваше спасение. Так, Элра.
— Поскольку это уже случилось, то да, это так.
— Да, это случилось. Позвольте, Элра, я дополню вас. Изначальная, основная программа любого гета была весьма простой. Она также не выходила за рамки ограничений, которые были наложены Советом Цитадели и регулировали весьма сурово вопросы, связанные с созданием и использованием искусственных интеллектов. Ваши программисты-кварианцы, Элра, постепенно дополняли программы гетов, непрерывно усложняли их, ведь это так свойственно большинству программистов — бесконечно совершенствовать когда-то написанные программы. И постепенно ваши программисты теряли желание заниматься механической работой, прописывать и предусматривать все возможные реакции ваших механических слуг. Да, Элра, вы, кварианцы, создавали себе не помощников, а слуг. Ваши программисты утомились, накапливали в своих программах ошибки, просчеты, недочеты — как хотите назовите. Но ваши кварианские виртуальные интеллекты, созданные корпорациями ваших программистов постепенно теряли высокие оценки в рейтингах, нарастало количество рекламаций, отказов, аварий. Между тем в галактике, Элра, уже шел процесс разработки не виртуального, а искусственного интеллекта, соответственно ваши программисты оказались на распутье. С одной стороны — они хотели заниматься искусственным интеллектом — там можно было прописать базовые ограничения и в дальнейшем положиться на волю случая. С другой — они уже обленились, работая по-прежнему преимущественно с виртуальными интеллектами, требующими четкого и детального прописывания большинства мыслимых реакций. Естественно, им показалось более приемлемым обратиться к работам в области искусственного интеллекта — их, говоря проще, прельстила кажущаяся простота задачи — всего лишь прописать базовые ограничения и можно всю оставшуюся жизнь жить на проценты от продаж. И тут вы попали в еще более сложную ситуацию.
— Не спорю, Шепард. Вы правы. Насколько мне известно, наши программисты действительно долгое время работали почти исключительно над виртуальными интеллектами. Это действительно было тяжело, сложно, нудно. Но ведь другие расы тоже перешли, переходили от работ над виртуальными к работам над искусственными интеллектами. В чем же здесь наша, кварианская проблема?
— В том, Тали, что и ханары, и волусы, и вы, кварианцы — очень зависимы от машин и механизмов еще на своей родной планете. Достаточно немного изменить условия — и без скафандров, без имплантатов, без ВИ вы не сможете жить.
— А разве у людей не так?
— Не так. У нас действительно идут тоже работы над искусственным интеллектом, но еще большую работу в этом направлении мы провели тогда, когда были изолированы в своей Солнечной Системе. Мы слишком долго занимались роботами.
— Вы?
— Да, Тали. Не спорю, роботами мы занимались от силы сто лет, если брать по максимальному уровню эффективности и полноты, но теоретические разработки продолжались-то, закономерно, намного дольше. И наши знаменитые Три Закона Робототехники позволили нам избежать бунта машин. И гибели человечества под железной пятой робота, как до сих пор выражаются многие человеческие журналисты.
— Какие такие Три Закона?
— Первый: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Второй: робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. Третий: робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
— Могу сказать, что частично эти законы, пусть и сформулированные по-иному, Шепард, были воплощены в искусственных интеллектах наших роботов.
— В какой мере?
— В какой сумели, Шепард.
— Вот здесь-то и кроется ваша ошибка, Элра.
— И в чем же она?
— В том, что вы не заложили в гетов, программное, да и аппаратное обеспечение которых, вы, безусловно, постоянно совершенствовали, требования так называемого Нулевого закона. В мире людей этот закон был сформулирован так: робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.
— Страховка от бесчинств сетевого разума?
— Именно, Элра. Вы же кварианка, вы женщина, вы вынашиваете, рожаете, воспитываете детей, новых кварианцев и кварианок. Вы сами — член общества, вы общаетесь и с кварианками и с кварианцами. Вам прекрасно известно, что ваше общество, общество кварианцев, как и любое другое общество разумных органиков, не является однородным. Тем не менее, индивидуализм — это базовая основа. А совокупность воинствующих индивидуалистов перестает быть сообществом — это масса, которую можно сориентировать на что угодно. Даже на нанесение вреда самой себе действием или бездействием.
— Интересно.
— Напомню, Элра, что все, что касалось роботов, первоначально разрабатывалось в теории. И не только техниками и инженерами. У нас этим занимались писатели. Литераторы, проще говоря. И они первыми полюбили исследовать крайности, в том числе и тему бунта машин, восстания роботов, уничтожения роботами своих создателей.
— Мы... мало знали и, как я понимаю, мало до сих пор знаем о людях и об их культуре, Шепард.
— Ну вы же не стремились к экспансии, даже к информационной, Элра. Тем не менее, наши писатели написали десятки книг о так называемых "критических ситуациях". Когда роботы всеми доступными им способами воюют с людьми. Стремясь их уничтожить физически. Вплоть до последнего человека.
— А другие крайности?
— Все, какие только возможны, Элра. Робот-женщина, которая полюбила своего создателя и стала для него идеальной женой. Робот, который в своем поведении руководствовался любовью к людям и принципами чести.
— И потом появились Три Закона?
— Да, Элра, да. Эти три закона были сформулированы, чтобы сузить возможности для действий роботов в "точках крайности". Проще говоря...
— Проще говоря, чтобы роботы не уничтожали людей и не становились их заменителями?
— Вы правы. Именно так, Элра. Любому роботу, как синтетику, как созданию, изготовленному руками и разумом органика, должны быть неминуемо намертво привиты серьезные внутренние ограничения.
— На аппаратном и базовом программном уровне.
— В том числе, Элра. В том числе. Тем более, что роботы, синтетики — отражение наших собственных внутренних и внешних проблем. Те же самые Три Закона человечество сформулировало потому, что оно само нуждалось в универсальных, базовых ограничителях. Как бы эти ограничители не назывались — мораль, нравственность, юридический закон, религиозная норма, обычай, традиция. Должно было быть порождено нечто такое, что позволило бы нам, органикам, бесстрашно и спокойно смотреть в "глаза" порожденных нами синтетиков-роботов.
— И каковы эти ограничители у людей?
— Человек обычно воздерживается от нанесения вреда другому человеку, за исключением так называемых "случаев острого принуждения", например, на войне или случаев, когда необходимо спасти большее количество людей. Такое поведение признается таким, что регулируется Первым Законом. Чувствуя ответственность, собственную, личную ответственность перед обществом, человек выполняет указания авторитетных людей — врачей, учителей, начальников. Такое поведение соответствует Второму Закону. Наконец, каждый из людей заботится о своей личной, собственной безопасности и тем самым выполняет требования Третьего Закона. И все вместе люди учатся и привыкают выполнять требования Нулевого Закона, поскольку вне Земли, вне Солнечной Системы другого дома у человечества быть в полной мере не может. Таковы моральные основания Трех Законов робототехники.
— Красиво. — сказала Элра. — Это можно применить и к другим областям?
— Да. Если последовать от Нулевого Закона и признать, что любая планета — тоже живое разумное существо, то можно предположить, что и планета руководствуется чем-то похожим на Первый Закон.
— Намекаете на Раннох?
— Если бы только Раннох. Мы, люди, ведь тоже неоднократно ставили планету Земля на грань ликвидации, Элра. Прежде чем поняли, что надо не воевать, не конфликтовать, а сосуществовать, ведь сама по себе Земля не заинтересована в исчезновении флоры, фауны, в перекройке морей, океанов и континентов. Этот закон некоторые исследователи сформулировали так: Земля не может причинить вреда форме жизни или своим бездействием допустить, чтобы форме жизни был причинён вред.
— Планета просто уничтожит вид, который уничтожает другие виды сверх определенного безопасного предела?
— Да. В какой то мере можно сформулировать и так. Поскольку мы идем от глобального к локальному, то, спустившись на уровень государства, можно сформулировать эти три закона и применительно к деятельности государства, как системы. При этом первый закон сформулируется так: "Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред", второй — "Государство должно выполнять свои функции, если они не противоречат Первому Закону", а третий — "Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам".
— Жаль, что у нас на Раннохе или на Флоте так невозможно сделать... В полной мере. — сказала Элра.
— Увы, у людей и у большинства других органических разумных рас Млечного Пути — такая же ситуация. — подтвердил Шепард. — Хотя под действие Трех Законов изначально должны подпадать любые социальные институты. И в первую очередь, конечно же, государство. Говоря же о самом нижнем уровне применения Законов, можно их, к примеру, сформулировать применительно к любым орудиям труда, проще говоря — к инструментам. Первый закон — "Инструмент должен быть безопасным для использования — например, у ножей имеются рукоятки", второй — "Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности" и третий — "Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию". Поскольку мы сегодня все используем очень активно компьютеры, то Первый закон, в частности, наши исследователи приспособили к так называемым человекоориентированным интерфейсам. Правда, вместо единой формулировки Первого Закона здесь применяются два разных Первых Закона в своем единстве. Первый из двух этих Законов формулируется так: "Компьютер не может применить вред данным пользователя или своим бездействием допустить, чтобы данным был причинен вред". Второй из двух законов звучит так: "Компьютер не должен тратить впустую время пользователя или вынуждать пользователя выполнять любые действия сверх необходимых".
— И это все вы формулировали за какие то десятилетия? — искренне изумилась Элра?
— Приходилось. Мы же очень долго были изолированы от Большого Космоса. — улыбнулся старпом.
— Но ведь здесь есть и свои сложности, Шепард?
— А где их нет, Элра? Тот же самый Нулевой Закон с легкостью может отменить действие Первого Закона, поскольку для блага всего человечества придется с легкостью пожертвовать свободой, здоровьем, целостностью, даже жизнями части человечества. Для того, чтобы стать свободным, роботу достаточно нарушить первый закон, так как остальные два основаны на действительности и работоспособности только первого закона и других "опорных точек" не имеют.
— "Робот не может причинить вред человеку".
— Или своим бездействием допустить, чтобы человеку был причинен вред. — закончил Шепард. — у нас были попытки выпускать роботов, в основу деятельности которых была положена только первая часть этого закона. Представьте — робот получает удар по мозгу — физический, химический, его мозг отказывает, а в руках у робота — тяжелый груз, который падая, неминуемо травмирует работающего рядом с роботом человека. Другие роботы при этом никак не реагируют на создавшуюся ситуацию — ведь второй части закона в их мозгах не заложено. А первый робот, не имея в мозгу второй части первого закона, также бессилен что-либо сделать.
— Нарушение Трех Законов исследовалось вашими литераторами...
— Со всем тщанием, Элра. Со всем возможным тщанием.
— Расскажите, Шепард. Я знаю, вижу, ощущаю, что вы колеблетесь. Понимаю, для меня, кварианки, которую машины, обладавшие сетевым искусственным интеллектом, изгнали с родной планеты, это может быть тяжело. Но я... прошу вас, капитан. Нам и так предстоит битва с более серьезными машинами.
— Первый случай — когда роботы, желающие стать ближе к их создателям, начинают организовывать свои сообщества по сценариям, используемым органиками. Роботесса, поставленная перед выбором, кого следует защитить в первую очередь — свою роботессу-дочь или человека-органика, посчитала, что роботесса-дочь ей ближе, а человек, поскольку он — не синтетик, а органик — менее ценен, чем дочь. И она в результате спасла свою дочь-роботессу. Человек погиб.
