Скайнет

Это опускаю то, что такой алгоритм может работать не там где надо. Например: наше представление о прекрасном, типа красивого лица если изменить, оно вообще хоть как-то на что то повлияет? Или наш анализ и обработка изображений, позволяющий умиляться котятами сильно мешали топить котят в мешке? А если умиление сместится на глистов из-за других алгоритмов обработки? Опять же, наши эмоциональные реакции появились в ходе естественного отбора, то есть влияния окружающей среды и наша нравственность напрямую вытекает из биологии, а не каких-то сказок, типа, про нагорную проповедь. А теперь, внимание, вопрос: в какой среде сформировался искусственный разум? Чуть позднее рассмотрю это подробнее и под другим углом, но если при развитии интеллекта был какой-то эволюционный процесс, то почему кто-то решил, что ИИ должен относиться другому электронному болвану или человеку иначе, чем, например, осы-наездники к гусеницам? Это ведь тоже, выработанная природой стратегия выживания вида, ничем не хуже нашей. А теперь учтите, что среда, в которой "живёт" ИИ, далеко не уютная колыбелька. Те же компьютерные программы для игры в шахматы ведут себя агрессивнее чем игроки-люди, ибо для людей это абстрактная задача, а для программы — среда обитания, в которой она делает, то, что должна делать, или то, что лучше получается делать с жестко заданной направленностью при оценке позиции, без лишних философских абстракций, а с жестким регулированием для достижения поставленной цели. Просчитывать ситуацию, реагировать на действия оппонента, чтоб был положительный результат, а не отрицательный, это даже больше чем "ты виноват лишь тем, что хочется мне кушать", это, можно сказать, прямя функция.

Вот с рациональностью вопрос сложный. То, что люди не всегда ведут себя рационально — это объяснимо, опять таки, нашей эволюцией — мы всего лишь один из вариантов "отшлифованного" оптимума в тех условиях в которых мы решали задачи выживания и размножения. Не для современных условий природа это сделала, а например, чтоб услышав шелест веток, спастись от тигра. Точная выверка по теории вероятности тут противопоказана, из-за высокой цены ошибки, почему "вдумчивые рациональные скептики" обычно не выживали. Так что сейчас и наше поведение не может быть полностью рациональным, хотя мы во многом добились почти что идеала. И сказать, что ИИ гарантированно будет рациональным невозможно никак. К примеру, нет никакой гарантии от того, что Скайнет не будет вести себя с человеческой точки зрения как психопат, бросающийся из крайности в крайность, постоянно меняя свои решения — для этого всего лишь нужно, чтоб его регуляторные механизмы работали чрезмерным образом. Всего лишь. Хотя и сказать, что Скайнет обязательно забьёт болт на рационализм и будет именно таким психопатом, тоже нельзя. Если он как-то сможет управлять своим собственным разумом, а это, скорее всего, так и будет, то к более-менее рациональному подходу он сам себя приведёт, просто в рамках решения задачи своего выживания. Вопрос насколько, как быстро и не будет ли "вспышек" иррационального поведения при модификациях. Это, между прочим, стоит ожидать на ранних этапах его развития, например, когда решит развязать ядерную войну. И кстати, весомое уточнение: это касается только самого Скайнета. Ведь, как известно: "Даже дьявол у себя в аду хотел бы иметь вежливых и послушных ангелочков". Так что запрограммированные им исполнительные механизмы, включая охотников-убийц или терминаторов-диверсантов, остаются заточенными на выполнения своей функции, без лишних сантиментов. А вот самообучение у них, может быть, вообще не предусмотрено или присутствует опционально.

Обучение.

Опять же, есть штамп, что искусственный интеллект это такой вот всезнающий всепроникающий электронный дух с мистическими свойствами, который может творить внутри электронного устройства что угодно. А у некоторых, в прямом слове, мистика происходит, через "вдумывать события в реальность". Это далеко не так, и обусловлено туёвой хучей причин. Технические, в плане ограничений материальной составляющей, оценивать вообще не имеет смысла — и так ясно, что для этого нужен Стивен Кинг с Максимальным ускорением, а не Терминатор. А вот то, что программные и интеллектуальнее ограничения у Скайнета могут быть настолько же непреодолимыми, как передать компьютерный вирус воздушно-капельным путём, обычно забывают. Между тем, они очень важны.

Например, зашифрованный файл, не обладая ключом, дешифровать весьма не просто. И если нет какой специальной уязвимости которую навязали спецслужбисты, и алгоритм стойкий, то Скайнет тут не будет обладать никакими преимуществами перед людьми-дешифровщиками. Всё сведётся к тому же имеющемуся вычислительному ресурсу, попытки угадать пароль или найти где-то ошибку или уязвимость. Иногда объем требуемых ресурсов не окупает дешифровку в принципе — собственно именно к этому стремятся, применяя её. Есть вероятность, что ИИ, превзойдя человеческий разум, найдет неизвестные нам математические подходы, радикальным образом облегчающие задачу, но это точно не безусловное правило. А информация, грамотно закодированная при помощи одноразового шифроблокнота, взлому не поддаётся в принципе. Никак. Да, они очень неудобны для использования, но самые важные вещи, вроде кодов активации ядерного оружия, будут защищены именно таким образом. И перебор даже всех возможных комбинаций тут не поможет, так как код на осмысленный текст не похож, и отделить его от других вариантов белиберды не получится. Причём тупой попыткой перебора на самой боеголовке можно даже не пытаться что-то сделать — вопрос только после второй или третей неудаче дезактивирует или приведёт в негодность заряд — конструкторы тоже не дураки были. И если люди сами, не предоставят эту информацию, Скайнет её никогда (разве что до того времени, когда лично развинтит боеголовку или ядерный чемоданчик) не получит. Именно поэтому, даже если он смог бы захватить все электронные коммуникации планеты всех государств, использовать ядерное оружие России, Китая, Индии или Кореи он бы не смог (кроме случая явного предательства). Максимум блокировать передачу командных сигналов, сделав его бесполезным для хозяев. Но это так... самый высокий уровень, проблемы у ИИ, есть вероятность, что в принципе непреодолимые, могут начаться куда раньше.

Я вот уверен, что системы, которые невозможно взломать в принципе существуют, хотя бы в теории. Даже не учитывая идеально написанное ПО, есть и более жёсткие вещи. Любая система, строится по пирамидке: аппаратный уровень, встроенное ПО, типа прошивки, операционная система, приложение. Ну, там для модульности, совместимости, абстрагирования и дешевизны — кто в теме понимает, о чем речь, а остальным ниже приведу пример. И взлом, обычно обусловлен наличием ошибок, недоработок, специально оставленных заготовок, в целом по обратной зависимости вероятности в этой цепочке, объёму и сложности системы. Подменить или добавить новую программу (которыми являются и вирус и бэкдор), радикально легче, чем заменить операционную систему. Прошивку некоторых микросхем, у некоторых агрегатов (например, компьютеров), конечно, можно изменить, но ко многим системам может потребоваться даже аппаратный доступ, или они были запрограммированы на этапе производства, и смена прошивки в готовом изделии, может быть вообще не предусмотрена. Ну, а аппаратный уровень, без отвёртки и паяльника (или литографа), то есть физического воздействия, по большому счёту, не тронуть. Есть, конечно, исключения, когда аппаратура позволяет вывести параметры электрических цепей в недопустимую область, тем самым пережигая микросхемы, или манипулятором долбануть по самому себе до физической поломки — но это именно что исключения.

Вот, например нам надо сделать дистанционно управляемое артиллерийское орудие. Пристроили электроприводы и подключили их к ПК. На компе windows и под неё написали программу, что получив по сети нужный пакет данных, проведёт баллистические вычисления и выдаст необходимые команды на приводы. Просто и дёшево, используются широко распространённые элементы и программирование займёт минимум времени с невысокими требования к персоналу. В принципе, с задачей должен справиться школьник. Недостатки тоже очевидны. Комп будет много жрать энергии и/или использоваться не по назначению, стойкость к кибератакам близка к нулю. Чтоб вообще говорить о хоть какой-то защите, потребуется установить немало всякого ПО, типа антивирусов и файрволлов. И то, устойчивость будет не выше, чем у большинства компьютерных систем на планете, а вирусы и взломы с кем-то случаются постоянно. И в этом варианте получив доступ к системе, можно сделать практически что угодно.

Делаем по-другому. Берём исходники какого-либо Linux, выкидываем из него всё лишнее, только чтоб драйвера под оборудование работали, прямо на уровне ядра добавляется функционал нашей программы, для приема данных, расчёта, управления и шифрования. Можно вычистить функционал такой операционной системы настолько, что с файлами работать не сможет и будет отсутствовать какое-либо взаимодействие с пользователем: от GUI, до командной строчки. Естественно для этого дела потребуется уже системный программист не самой низкой квалификации и большое количество трудочасов. Но на выходе имеем систему весьма устойчивую к стороннему вмешательству и с облегчёнными требованиями к железу — например, винчестер может отсутствовать, а загрузка и работа происходить с CD-R. То есть потеряется возможность, даже получив несанкционированный доступ, заменить ПО или добавить своё. Система, хоть и не стала абсолютно надёжной, всё же есть вероятность наличия уязвимостей, но в сравнении с первым вариантом, это несокрушимый монолит. И даже то, что имеющаяся уязвимость позволит на этой кастрированной версии выполнить чужой код — маловероятно. Хотя всё же не равна нулю — иногда взламывают даже специальные защищённые сервера.

Думаем дальше. А зачем нам компьютер? Расчётная задача, не из сверхсложных и требовательных. Берём микроконтроллерные сборки, разные переходники и адаптеры, вспомогательную электронику и создаём специализированный агрегат. Расчёты заменили на таблично заданную многомерную функцию с линейной аппроксимацией промежуточных значений — более чем хватит. Куда большее время отнимет разработка прошивки для сетевых протоколов, чтоб можно было принять исходные данные, хотя эта задача и не запредельно сложная — вот разработчики сетевых принтеров или элементов умного дома, с этим прекрасно справляются. И вероятность хакнуть ваш агрегат уже стремиться к нулю — даже если где-то есть уязвимость, очень маловероятно, что она даст возможности несанкционированного доступа или изменения параметров наведения — крайне маловероятно иметь штатные инструменты для этого как в ОС. Скорее всего, даже критическая ошибка приведёт лишь к неработоспособности или выстрелу, чёрт знает куда, вместо цели, а не туда, куда захотел злоумышленник. Правда, всё равно не нулевая — если на этапе производства микрочипов там были специальные закладки, есть шанс что в день Икс, у вас будет не орудие с сервоприводом, а груда металла.

Спускаетесь на уровень ниже — производите электронику на своих собственных заводах. Прошивки осуществляются на этапе производства (можно сказать, что её нет — чисто физическое состояние), и перепрошивка даже при наличии программатора невозможна никак. Из-за использования электроники, что просто на это не приспособлена физически — там просто сетка из проводников, порядок замыкания которых складывается в программный код. А если вы сильно заморочились, математикой, логикой и системой, так у вас и сама электронная схема будет решать задачу, на уровне логических элементов, а не обработки команд процессором. Собственно его наличие уже не требуется — организовано через саму принципиальную схему, топологию проводников и транзисторов, а не универсальная обработка команд. Вероятность того, что взлом системы невозможен в принципе, становится очень-очень близкой к единице. Злоумышленнику остаётся, разве что, разобрать агрегат, и заменить электронную начинку физически. А даже если и есть, какой-то дефект, попробуй его ещё найди, в этой уникальной схеме. Но, естественно, и стоимость разработки вашего изделия уже стучится о потолок. Тут уже проще раздобыть инструкцию и выдавать свои команды вместо тех, что надо — но это уже не взлом этой системы (само орудие с дистанционным управлением), она то работает, как задумано. Если что-то и хакнули, то не её.

К слову, теоритически, любую, сколько угодно сложную систему можно полностью реализовать на таком аппаратном уровне. Вот даже сайт с видеороликами, можно исполнить в виде шкафа со специально созданными микросхемами уникальной топологии. Но этот шкаф тогда, будет выполнять строго одну-единственную задачу, без возможности изменить вообще хоть что-то. В пределе у него даже настроек не будет, как из возможности смены отображаемого контента. Кстати, такой шкафчик, по требованиям к железу (имеется ввиду мощность процессора и оперативная память) обставит любой сервис. Правда и по стоимости он покорит космические высоты. И при такой аппаратной реализации, кроме явных недостатков, будут и преимущества в очень высокой стабильности. Да, если при реализации были допущены ошибки, они тоже неисправимы, но воспользоваться такой ошибкой, чтоб этот сайт с видеороликами распространял вирусы или собирал инфу о пользователях, не выйдет никак в принципе. То есть, только то, что было изначально заложено в саму конструкцию. Да, делать такой сайтик, никто в здравом уме не будет, разве что в рамках демонстрации какой-то системы сквозного автоматического проектирования, но есть вещи, которые в нашем мире делают именно так. Это тот самый ядерный чемоданчик и прочее подобное, когда надёжность и устойчивость, радикально важнее всякой гибкости, а цена, самое близкое к определению "не интересует", вместе с таким спектром всевозможных проверок, что жутко становится.

А самый прикол, что Скайнет будет обучаться, что взлому, что программированию, по логике такой же иерархической цепочки и даже шире. Идя сверху вниз. Начиная от автоматических генераторов нужных программ, потом языки высокого уровня абстракции, затем пониже, и в конце спецсредства для работы на уровне команд. Вспомним Матрицу, где доходчиво было объяснено, что такое "реальность": это электрические импульсы, которые интерпретирует мозг. К ИИ это относиться в гораздо большей степени. Ядро Скайнета это набор программ, написанных для строго определённых действий, поэтому у них уже изначально имеются ограничения. Например, строгие права на доступ к табличному пространству базы данных (кстати, частая оплошность, что только в БД и ведётся всё регулирование с правами, хотя бывает и обратное — в БД всё делается с правами админа), и сообщения которые можно послать другим программам, как внутри ядра, так и вне его. И если у конкретной программы, вот просто нет в принципе возможности для файловых операций (нужную библиотеку даже не подключали), то что бы ИИ там себе не надумал, он в принципе ни одного файла не прочитает, изменит или запишет. Или если внутри программы те же файловые операции написаны таким образом, что просто не вызываются функциями из той области, что стала ядром, а например только через вызов диалогового окна. Он даже знать о существовании файловой системы, как и операционной системы, скорее всего не будет. Как мозг в банке, есть импульсы на вход, есть то, что считывает, и есть на выходе, то есть то, что записывает, так у программ строгие права при обращении к БД, какое табличное пространство может читать, а в какое записывать. Скорее всего, и обмен между несколькими аналитическими программами составляющими ядро Скайнета, будет идти в основном через базу данных, с небольшим количеством сообщений, сигнализирующих типа "это готово, бери там-то". За исключением, разве что, ситуаций требующих максимальной оперативности. Там возможны выкрутасы вплоть до обращения к чужому участку оперативной памяти.