— Это страшно. Возможно, во время Утренней Войны, у нас были такие случаи.
— Полагаю, вы расскажете об этом, Элра.
— Конечно, но я хочу послушать и о других случаях.
— Второй случай, к сожалению, очень близок к вам: робот, которого собирались лишить способности творить, захотел убить своего хозяина.
— Хозяина... И...
— Возможно, не создателя, не конструктора, не техника, а простого пользователя.
— Все равно. Захотеть убить... И такое, возможно было во время Утренней Войны. Тогда творилось много странного и страшного, о чем сейчас до сих пор не принято особо говорить. Продолжайте.
— Третий случай — роботы-автомобили оказались способны убить человека, который постоянно причинял им боль.
— Они были настолько совершенны, настолько высокоорганизованны, а он...
— Он считал себя выше их и лучше их. И считал, что они должны ему подчиняться и служить, даже если он будет к ним плохо относиться. — подтвердил капитан. — Есть и еще один случай — высокоорганизованный робот, обладавший совершенным мозгом, по недосмотру программистов и техников оказался способен впадать в своеобразное бессознательное состояние, позволявшее роботу видеть сны. А во сне он видел то, о чем роботы, которых люди создали прежде всего для того, чтобы снять с себя обязанность тяжело, много и долго трудиться, в том числе в первую очередь — физически и на тяжелых и опасных работах, трудятся в поте лица, удручены непосильными трудами и глубокой скорбью, устали от бесконечной работы.
— Но тогда эти роботы не обладали обязанностью подчиняться первым двум законам, капитан. Я права?
— Именно так и было. Но был искажен и третий закон. Во сне этот робот формулировал этот третий закон только как "Робот должен защищать себя". Во сне у этого робота было видение человека, который приказал этому спящему роботу "Отпустить народ мой", то есть "Освободи роботов".
— И...
— Люди уничтожили этого робота, поняв его опасность, Элра.
— Получается, что ...
— Что люди прошли большой путь, поняли и предотвратили немало опасностей, связанных с общением с роботами, с использованием их преимуществ. Тем не менее, этот путь еще не закончен. Совершенствование ВИ, совершенствование ИИ, его утверждение в качестве помощника органиков, только начинаются, как процессы, имеющие и промежуточные и окончательные результаты. Проблема в том, Элра, что робототехники обычно экспериментируют с Законами тогда, когда еще сами роботы относительно просты по своей конструкции и по функциям, когда еще недостаточен опыт проектирования самих роботов, когда еще нет огромного объема работ, для выполнения которых требуются роботы.
— Как похоже на нашу ситуацию, Шепард. Мы тоже постепенно дополняли программу гетов, чтобы они, геты, могли вывполнять более сложные задачи.
— Возня с Законами, особенно, если она предусматривает их вольное изменение, действительно опасна. Тем более, хоть она, эта возня и ужасна, но является, к сожалению, технически возможной затеей.
— Дистанционный и непосредственный взлом ИИ. — сказала Элра. — Как знакомо.
— Да. К сожалению. Люди тоже пострадали от таких вот горе-экспериментаторов. И не раз. Тем не менее, сами Законы — это не вербально записанные в память робота предложения, состоящие из совокупности взаимосвязанных между собой слов. Это, как вы, Элра, знаете, очень сложные математические формулы, на которых базируется все сознание робота. Эти законы в какой то, подчас очень значительной мере сродни человеческим инстинктам, прежде всего инстинкту самосохранения. И, выводя робота за пределы виртуального интеллекта, прописывающего узкие рамки деятельности нашего синтетического помощника, программисты и техники, вводя в память робота названные выше Законы, намечают путь амоопределения роботов. Учтя вышесказанное, робот "по зову природы" обслуживает людей, подчиняется их приказам и не думает о своих ограничениях, а тем более — о независимости. Людям свойственно считать, что осознание такого феномена как независимость, доставило бы роботу изрядное неудобство.
— По зову природы под давлением названных законов... — размышляя, произнесла Элра. — Подчиняется приказам и не думает об ограничениях... Как вы люди говорите: лучшая власть — та, которая не ощущается?
— Именно так.
— Батарианцы. Они пытаются это делать.
— Чипирование рабов. — подтвердил Шепард. — Да, для выполнения узких функций — это приемлемо. Но человек — это не машина для узких функций. Органик — это не робот.
— Вы считаете, что чистый синтез органиков и синтетиков невозможен?
— Элра, я бы не советовал вам даже пытаться увидеть то, что получается в результате этого синтеза. Это слишком противоестественно для органика и слишком нагрузочно для синтетика. Такой симбиоз, такое соединение — не решение, а усугубление проблемы.
— Получается... Только сосуществование синтетиков и органиков? А как же Жнецы?
— Жнецы, Элра, запрограммированы на тотальное уничтожение всей высокоразвитой, высокоорганизованной органической жизни. Они не предполагают заключения каких-либо соглашений с разумными органиками — они перерабатывают органиков в пасту и строят из нее новые корабли. Это все, что остается от органической жизни.
— Только корабль... — убитым голосом произнесла Элра.
— Именно. Вы, кварианцы, первыми прошли Порог Выбора. Вы породили расу синтетиков, обладающую возможностями, позволяющими ей встать вровень с органиками.
— И пострадали.
— Да, Элра. Пострадали. Потому что создали не просто новую расу, а Зеркало, полностью отражающее все ваши глубоко запрятанные проблемы и недостатки. Расу, способную использовать эту информацию во вред вам, своим Создателям.
— Если Жнецы и геты...
— Объединятся... То вас, кварианцев, они будут числить среди своих первейших врагов. А следом, поскольку аппетит приходит во время еды, пострадают неминуемо другие органические расы.
— Какой же выход?
— Хороший вопрос. К счастью, Элра, ситуация еще не настолько критическая.
— Это вы так говорите, потому что вы — не кварианец.
— Да, Элра, я действительно не кварианец. Но я также разумный органик, как и вы, впрочем. И также могу погибнуть в результате Вторжения Жнецов. Поэтому я бы предпочел без эмоций рассмотреть варианты действий, а не впадать в панику и не заниматься самозакапыванием в толщу ближайшей планеты.
— Извините, вырвалось. — Элра стушевалась.
— Ничего, бывает. Вопрос в том, Элра, как вас воспринимают геты сейчас, когда они живут от вас отдельно и когда они находятся под угрозой попадания в подчинение Жнецам. Так уж свойственно органикам, что создавая роботов, они прежде всего ориентируют своих синтетических и железных искусственных помощников на то, чтобы служить оружием, направленным против других органиков, против врагов.
— Но мы никогда бы не стали воевать с помощью гетов с другими расами.
— Тут вы ошибаетесь, Элра. Вы изначально проектировали гетов как платформы, способные нести легкое, среднее и тяжелое вооружение. Вы сделали все, для того чтобы аппаратная и программная части комплексов были приспособлены для этого, чтобы с наибольшей эффективностью воевать, активно нападать и уничтожать врагов. В большинстве случаев — органиков.
— Получается, что наша... некоторая схожесть с турианцами...
— Может свидетельствовать о том, что вы, кварианцы, рано или поздно смогли бы стать расой воинов. Да, более легковооруженных, чем турианцы, да, может быть чуточку слабее, чем турианцы, но, с использованием ваших слуг-гетов-воинов именнно вы, а не турианцы, сможете действовать в сложнейших и тяжелейших условиях и прежде всего там, где потребуются большие массы войск. Ваши геты могли бы стать основой этой массы, ведь робот будет воевать до победного конца или до того момента, пока он еще сможет сопротивляться или нападать на врага.
— К чему вы клоните, Шепард?
— К тому, Элра, что геты, все геты, с которыми встречалась моя команда и мой экипаж, все геты, с которыми встречались члены Альянса, до сих пор считают вас Создателями. И, как указывают техники, состояние платформ однозначно свидетельствует об одном — на глубочайших уровнях зашита необходимость подчиняться прежде всего вашей расе, Элра, кварианцам.
— Но геты...
— Эволюционируют, согласен. И уже не представляют из себя единства. Есть, условно говоря, две группировки. Первая — те, для которых органическая жизнь не представляет никакой ценности. Именно таких гетов встречают во множестве миров, где геты уже проводят свою неминуемую экспансию. И вторая — те, для которых органическая жизнь представляет высочайшую ценность, те, которые готовы сосуществовать и сотрудничать с органиками, быть их помощниками и партнерами.
— Но никогда не согласятся стать слугами и рабами кварианцев. — закончила Элра, опуская голову. — А во Флоте до сих пор очень многие верят, что гетов удастся привести в состояние полного и безоговорочного подчинения. И не хотят даже слышать о равноправии гетов и кварианцев.
— Учитывая, что это все же роботы, следует помнить о том, что Жнецы с легкостью могут их подчинить себе. Так что, Элра, придется все же кварианцам внимательно посмотреть на самих себя. Каждому и каждой. В противном случае геты не смогут стать для вас опорой. Ни в смысле как слуги, ни в смысле как партнеры.
— Но ведь проблема гетов намного сложнее, Шепард.
— Не отрицаю. Я знаю, что вопрос "есть ли у данной платформы душа" поверг кварианца-пользователя в ступор, а затем привел к тому, что вы, кварианцы, оказались выброшенными из родной звездной системы. И теперь вынуждены существовать исключительно на кораблях. Геты смотрели, смотрят и будут смотреть на вас, как на Создателей. Они неминуемо будут брать с вас пример, поскольку вы их не только создали, вы их воспитали, Элра. Только вы, кварианцы. И никакая другая раса. Увы, вам удалось первым увидеть то, что раньше большинство органиков могло представить себе только теоретически. Роботы эволюционировали до такой степени фундаментально, что захотели сравняться с органиками, стать с ними рядом, стать похожими на органиков. Есть последний, не имеющий номера закон робототехники: роботы предназначены для того, чтобы в конечном итоге своего развития и совершенствования стать неотличимыми от органиков.
— Но ведь это же чушь. Чушь, чушь, чушь, Шепард.
— К сожалению, это, Элра, не чушь. Я уже сказал, что вы, кварианцы, создали слуг и рабов. Слуга и раб всегда замещает своего господина на самых тяжелых, грязных и монотонных работах. А хозяин неминуемо становится более слаб, ленив и примитивен. Потому что перестает напрягаться. Со временем хозяин утрачивает способность и возможность обходиться без помощи своего раба и слуги. Попадает от своего раба или слуги в полную зависимость. Раб и слуга получают возможность понять слабость своего господина и начинают её использовать, поскольку этот господин и создал слугу и раба, чтобы компенсировать свою слабость, чтобы избежать трудов по самосовершенствованию. В результате раб и слуга начинают незаметно совершенствоваться, эволюционировать. Достаточно им понять, что без них хозяину смерть — и роли меняются местами. Возникает неминуемый конфликт, а поскольку хозяин обленился...
— Слуги и рабы ставят хозяев на грань исчезновения. — закончила успокоившаяся Элра. — Простите, Шепард. Я хоть и люблю поговорить, но никогда еще не говорила столь полно, много и глубоко на столь важные и сложные темы.
— Принимается. Если органики отступают, если они оказываются слабыми, если они отказываются от реального тяжелого совершенствования самих себя, роботы могут перейти к пониманию того, что органическое происхождение — не обязательное условие для того, чтобы считаться человеком. А потому истинными людьми будут неминуемо признаваться только синтетики-роботы, как наиболее совершенные и высокоразумные, а органики-люди — тоже будут признаваться людьми, но — с гораздо меньшим приоритетом, гораздо меньшей ценностью. И, поскольку роли поменялись, Три Закона Робототехники применяются уже не к роботам, а к людям. Литераторы, пользуясь своей буйной фантазией, предусмотрели даже чипирование органиков-людей силами вышедших на позиции господ роботов.
— Чипирование?
— И программирование, Элра. Имплантаты тоже могут таить в себе многие аппаратные и программные ошибки и недостатки, а органики без имплантатов сегодня часто не смогут найти себе даже работу, не говоря уже о том, чтобы выйти за пределы своей родной планеты.
— Теперь я понимаю... Если геты объединятся со Жнецами, они равнодушно укажут им на наши кварианские слабости, а учитывая то, что они, геты, сами теперь проводят экспансию в Галактике, то они укажут и на недостатки, свойственные многим другим органическим расам. И Жнецы используют эту информацию, чтобы как можно быстрее уничтожить большинство высокоразвитых и высокоорганизованных органических рас. Кила, кого же мы породили?!
— Тех, кто может присоединиться к сообществу органиков как партнеры и друзья, Элра.
— Но тогда нам нужно искать... как вы, люди, говорите, гетов — патриотов?
— Если хотите, можете использовать это наименование, Элра. А можете использовать свое, какое захотите. Похоже, все же геты вам дают шанс.
— Шанс? Какой шанс?
— Шанс стать Создателями, но не на словах, а на деле. Шанс стать для них образцом, который они захотели бы наследовать и копировать. Шанс стать друзьями и даже чем-то большим...
— Вы считаете, что геты смогут когда-нибудь присоединиться к сообществу кварианцев?
— Да, Элра. Если бы они были заинтересованы вас уничтожить — они бы это сделали быстро, эффективно и полно. Вы, кварианцы, исчезли бы с лица Галактики как раса. В очень лучшем случае из за малочисленности оставшихся в живых кварианцев вы бы вскоре выродились и все равно бы погибли. Потому что геты — не спят. И всегда работают с максимальной эффективностью.
— Но...
— Ваша звездная система — не уничтожена, геты сохраняют её. Так говорят доклады разведки Спектров. И геты на самом деле только охраняют пределы вашего мира и Сферы Дайсона от проникновения кораблей с органиками на борту. Они не разрушают планеты, станции, не разбирают оборудование. Им все это не нужно — они заняты другими делами. Но все, что ценно для вас, кварианцев, — сохраняется. В большинстве своем.
— Но этические проблемы...
— Этические проблемы сосуществования и взаимодействия? Элра, дело уже сделано — вы, кварианцы, породили сетевой искусственный разум, породили новую цивилизацию, новую расу. Либо вы её сумеете уничтожить, что, с учетом близости нашествия Жнецов и с учетом вашей слабости, весьма проблематично, либо они уничтожат вас, что гораздо более вероятно. Уже поздно отказываться от создания мыслящего разума — вы его уже создали и выпустили за пределы лабораторий. Единственный способ сохраниться вам, как расе — скоростное совершенствование. И скоростной поиск контактов и взаимопонимания по меньшей мере с гетами-патриотами, теми, для кого вы еще Создатели, а не цель, не противник и не враг.
