Как интеллектуальный взрыв может повлиять на человечество?

Интеллектуальный взрыв – возможное следствие создания человечеством искусственного общего интеллекта (ИОИ). Он может быть способен к рекурсивному самосовершенствованию, ведущему к стремительному возникновению искусственного сверхинтеллекта, ограничений которого никто не знает. Интеллектуальный взрыв будет связан с технологической сингулярностью.

Понятие «интеллектуального взрыва» было впервые описано Ирвингом Джоном Гудом в 1965 году, когда он размышлял над целями машин со сверхчеловеческими возможностями, когда бы они не были изобретены:

«Пусть сверхразумной машиной будет называться машина, способная серьезно превзойти человека по любому виду интеллектуальной деятельности, каким бы умным человек не был. Так как разработка таких машин – один из видов такой деятельности, сверхразумная машина может разрабатывать машины еще лучшие. В таком случае это, бесспорно, приведет к «интеллектуальному взрыву», а интеллект человека останется далеко позади. Таким образом, сверхразумная машина станет последним изобретением, которое потребуется совершить человеку при условии, что машина будет достаточно послушной, чтобы объяснить нам, как держать ее под контролем».

Предпосылки

Хоть технологический прогресс и движется все быстрее, он все еще ограничен главным разумом человеческого мозга, который, по словам Пола Элриха, не слишком изменился за последние тысячелетия. Однако, с ростом мощностей компьютеров и других технологий, в конце концов, станет возможным создать машину гораздо более разумную, чем человек.

Если сверхчеловеческий интеллект будет изобретен либо при помощи улучшения человеческого интеллекта, либо за счет создания искусственного интеллекта, у него будут гораздо более развитые навыки решения проблем и находчивость, чем те, какими сегодня обладают люди. Подобный вид ИИ обычно называют семенным ИИ, так как, если бы ИИ был создан с техническими способностями, сопоставимыми или превосходящими способности создателей-людей, у него была бы возможность самостоятельно улучшать свое программное или аппаратное обеспечение или даже разрабатывать более мощные машины.

Эта машина сможет в дальнейшем продолжить создавать машины с еще большими возможностями. Эти повторения могут ускорить рекурсивное самосовершенствование, потенциально обеспечивая возможность качественного изменения до тех пор, пока не будут достигнуты пределы, установленные законами физики или теоретическими расчетами. Существует предположение, что спустя много повторений этот ИИ сможет сильно превзойти когнитивные возможности человека.

Специалист по компьютерным наукам Вернор Виндж в своем эссе «Грядущая технологическая сингулярность» 1993 года писал, что это событие станет концом эры человечества, так как новый сверхинтеллект будет продолжать совершенствовать себя и технически усложняться с непостижимой скоростью.

Вероятность

Большинство предлагаемых методов создания сверхчеловеческого или трансчеловеческого интеллекта делятся на две категории: искусственное увеличение человеческого мозга и создание искусственного интеллекта. Средства, предназначенные для разработки искусственного прироста – самые разнообразные. Среди них – биоинженерия, генная инженерия, ноотропные препараты, ИИ-помощники, прямой нейрокомпьютерный интерфейс и загрузка сознания. Существование множества путей интеллектуального взрыва делает сингулярность более вероятной.

В 1998 году Робин Хэнсон, скептически настроенный относительно увеличения интеллекта человека, писал, что как только будет исчерпан каждый возможный способ легкого повышения интеллекта, дальнейшие улучшения будет находить все тяжелее. Несмотря на множество предложенных для улучшения интеллекта методов, искусственный интеллект (особенно – семенной его тип) – самый популярный вариант для организаций, являющихся сторонниками сингулярности.

Случится ли интеллектуальный взрыв или нет, зависит от трех факторов. Первый – фактор ускорения, суть которого состоит в том, что новые улучшения интеллекты будут возможны за счет уже достигнутого прогресса. С другой стороны, чем более развитым будет становиться интеллект, тем сложнее будут дальнейшие улучшения, что, вероятно, приведет к росту преимущества растущего интеллекта. Каждое улучшение должно стать источником, как минимум, еще одного последующего улучшения в среднем для продолжения сингулярности. В конце концов, законы физики станут препятствием любым возможным улучшениям.

Существует два логически независимых, но подкрепляющих друг друга основания для интеллектуальных улучшений: рост скорости вычислений и улучшение используемых алгоритмов. Первое было предсказано законом Мура и предполагает развитие аппаратной части, а также – относительно схож с ранним развитием технологий. С другой стороны, большинство исследователей ИИ полагают, что программа – намного важнее, чем аппаратная часть.

Опрос авторов публикаций для конференции «NIPS» 2015 года и «ICML», проведенный по электронной почте в 2017 году, хотел получить от них ответ относительно вероятности интеллектуального взрыва. 12 % дали ответ «достаточно вероятно», 17 % — «вероятно», 21 % — «50-50», 24 % — «маловероятно», 26 % — «практически невероятно».

Увеличение скорости

Как в случае с человеком, так и в случае с искусственным интеллектом улучшение аппаратной части увеличивает число ее будущих улучшений. Если упрощать до предела, закон Мура гласит, что если первое удвоение скорости займет 18 месяцев, то второе потребует 18 субъективных или 9 внешних месяцев, затем – 4 месяца, 2 месяца и так далее до достижения скорости сингулярности. Верхний предел скорости, в конце концов, может быть достигнут, хоть и неясно, насколько высоким он должен быть. В 2008 году Хокинс, отвечая Гуду, утверждал, что верхний предел – относительно недалек:

«Вера в эту идею основана на наивном понимании интеллекта. По аналогии представьте себе, что у нас есть компьютер, способный создавать новые компьютеры (чипы, системы и программы) более быстрые, чем он сам. Создаст ли такой компьютер бесконечно быстрые компьютеры или такие компьютеры, которые будут быстрее, чем все построенные людьми? Нет. Это может увеличить число улучшений на время, но, в конце концов, существует предел того, насколько крупным и быстрым может быть компьютер. Мы придем к тому же, с чего начали. У нас будет немного более быстрый аппарат. Сингулярность не наступит»

В то время как если бы был создан интеллект, многократно превышающий уровень человеческого, эффект от сингулярности был бы достаточно велик, будучи неотличимым от сингулярности в плане верхнего предела. К примеру, если скорость мышления можно увеличить в миллион раз, субъективный год проходил бы за 30 физических секунд».

Сложно напрямую сравнивать аппаратную часть на основе кремния и нейроны. Но в 2008 году Энтони Берглас отметил, что компьютерное распознавание речи становится все ближе к человеческим возможностям, и эти возможности соответствуют примерно 0,01 % объема мозга человека. Эта аналогия наводит на мысль о том, что аппаратная часть современных компьютеров может быть на несколько порядков мощнее по сравнению с человеческим мозгом.

Совершенствование алгоритмов

Некоторые интеллектуальные технологии по типу «семенного ИИ» также имеют возможность увеличивать свою производительность, а не только скорость, за счет изменения исходного кода. Эти улучшения станут основой для дальнейших улучшений, они – для еще более поздних улучшений, и так далее.

Механизм для рекурсивного самосовершенствования набора алгоритмов отличается от наращивания обычной скорости вычисления в двух моментах. Во-первых, он не требует внешнего влияния: машины, разрабатывающие более мощные устройства, все еще будут нуждаться в людях для создания продвинутых устройств или программных комплексов соответственно. Однако ИИ, который переписал свой исходный код, может так работать, даже будучи заключенным в камеру.

Во-вторых, согласно концепции сингулярности Вернора Винджа, гораздо сложнее предсказать результат. Хоть скорость и растет, находясь, как считается, лишь в количественном различии с интеллектом человека, реальные улучшения алгоритма будут качественно различными. Элиезер Юдковский сравнивает это с изменениями, приобретаемыми человеческим интеллектом: люди изменили мир в тысячи раз быстрее, чем эволюция, и совершенно другими способами. Таким же образом, эволюция жизни пережила серьезное отклонение и ускорение по сравнению с прежними геологическими показателями развития, а улучшенный интеллект может спровоцировать изменения, которые также будут отличаться.

Существует серьезная опасность, связанная с интеллектуальным взрывом, спровоцированным рекурсивным самосовершенствованием набора алгоритмов. Во-первых, структуры цели ИИ может быть изменяющейся в ходе самосовершенствования, что может привести к тому, что ИИ решит провести оптимизацию для других предполагаемых целей. Во-вторых, ИИ может конкурировать за скудные ресурсы, используемые человечеством для выживания.

Несмотря на отсутствие явного злого умысла, нет оснований полагать, что ИИ может активно продвигать поддерживать цели людей, если только он может быть запрограммирован таким образом, а если такой программы нет, то ИИ может использовать ресурсы, используемой сегодня человечеством, для следования собственным целям, что приведет к уничтожению людей.

Карл Шульман и Андерс Сандберг предполагают, что улучшения алгоритмов могут быть ограничивающим фактором для сингулярности, так как до тех пор, пока производительность аппаратное обеспечение развивается достаточно равномерно, инновации программного обеспечения – гораздо более непредсказуемы и могут быть задержаны за счет периодических совокупных исследований.

Они предполагают, что в случае исключительно программной сингулярности, интеллектуальный взрыв, фактически, произойдет с гораздо большей вероятностью, чем в случае исключительно аппаратной сингулярности, так как в случае с программами, стоит лишь появиться ИИ с человеческим уровнем развития, он может запуститься на очень быстром техническом обеспечении.

А изобилие дешевых запчастей сделает исследование ИИ менее напряженным. Изобилие накопленных технических устройств, которые могут быть однажды освобождены от программного обеспечения, которое может понять, как ими пользоваться, может однажды привести к явлению, называемому «вычислительной угрозой».

Воздействие

Серьезные изменения в темпах экономического роста произошли в прошлом за счет некоторых технологических достижений. Основанная на росте населения, экономика удваивалась каждые 250 000 лет, начиная с палеолита и заканчивая неолитической революцией. Новая сельскохозяйственная экономика удваивалась каждые 900 лет – впечатляющий рост.

На сегодняшний день, начиная со времен Промышленной революции, мировой объем производства удваивается каждые пятнадцать лет – в шесть раз быстрее, чем во время сельскохозяйственной экономики. Как говорит Робин Хэнсон, при появлении сверхчеловеческого интеллекта произойдет схожая революция, и стоит ожидать того, что экономика будет удваиваться, как минимум, ежеквартально, а может быть — и еженедельно.

Сверхинтеллект

Сверхинтеллект, или сверхчеловеческий интеллект – гипотетический агент, который владеет интеллектом, многократно превосходящий самый светлый и одаренный человеческий ум. «Сверхинтеллект» также может относиться к форме или степени интеллекта, которым владеет такой агент.

Прогнозисты технологий и исследователи не согласны с тем, что если человеческий интеллект, вероятно, может быть превзойден. Некоторые утверждают, что прогресс в области искусственного интеллекта, вероятно, может привести к появлению общих разумных систем, которым не хватает человеческих когнитивных ограничений.

Другие полагают, что люди будут развиваться или напрямую менять свою биологию таким образом, чтобы достичь совершенно нового уровня интеллекта. Целый ряд футурологических сценариев сочетает элементы обоих возможных вариантов, предполагая, что люди, вероятнее всего, будут подключаться к компьютерным интерфейсам или загружать мозг в компьютеры, получая, таким образом, существенное повышение интеллекта.

Угроза существованию

В 2008 году Энтони Берглас отмечал, что у ИИ не существует прямой эволюционной мотивации быть дружественным к человеку. Эволюция не обладает свойственной склонностью к созданию последствий, оцениваемых человечеством, поэтому есть немного оснований ожидать от случайного оптимизационного процесса продвижения исхода, больше выгодного человечеству, чем неизбежно приводящего к появлению ИИ, ведущего себя не так, как предполагали его создатели.

Примером может послужить причудливый мысленный эксперимент Ника Бострома, где ИИ, изначально запрограммированный для производства скрепок, достигает степени развития сверхинтеллекта и решает превратить всю планету в огромную фабрику по производству скрепок. Андерс Сандберг также тщательно прорабатывал этот сценарий, обращаясь к различным распространенным контраргументам.

Исследователь ИИ Хьюго Де Гарис предполагает, что искусственный интеллект может просто истребить человечество для доступа к скудным ресурсам, а люди будут слишком беспомощными, чтобы его остановить. С другой стороны, ИИ, разработанный под давлением эволюционного отбора для обеспечения собственного выживания, может вытеснить человечество.

В 2002 году Ник Бостром обсуждал сценарии исчезновения человечества, и относит сверхинтеллект к возможной причине:

«Когда мы создадим первый организм со сверхинтеллектом, мы можем допустить ошибку и дать ему цели, ведущие к уничтожению человечества, так как он считает, что его невероятное интеллектуальное превосходство дает ему право так поступать. К примеру, мы можем по ошибке оценить подцель и дать ему статус сверхцели.

Мы прикажем ему решать математическую проблему, и он, выполняя их волю, превратит всю материю Солнечной системы в огромное вычислительное устройство, убивая в процессе работы тех людей, которые задавали вопросы».

Серьезной проблемой является то, что создать враждебный искусственный интеллект, вероятнее всего, будет создать куда проще, чем дружественный ИИ. Хотя оба вида потребуют больших достижений в разработке процесса рекурсивной оптимизации, дружественный ИИ также будет нуждаться в способности создавать постоянные целевые структуры во время самосовершенствования (иначе ИИ может измениться в нечто враждебное) и создавать целевые структуры, которые будут соответствовать ценностям человека и не уничтожат человечество автоматически. С другой стороны, враждебный ИИ, может оптимизировать произвольные целевые структуры, которым не потребуется постоянство во время самосовершенствования.

Элиезер Юдковский предполагает, что исследования по созданию дружественного искусственного интеллекта могут проводиться для предотвращения опасностей. Он отмечал, что первый реальный ИИ будет обладать начальным преимуществом по самосовершенствованию, и, если он будет дружественным, то сможет предотвратить развитие враждебного ИИ и обеспечить впечатляющие выгоды для человечества.

В 2014 году Билл Хайбард предложил концепцию ИИ, избегающего ряда опасностей, среди которых – самообман, непредусмотренные целерациональные действия и поломка источника вознаграждения. Он также обсуждал социальное воздействие и тест ИИ. Его книга «Сверхразумные машины» 2001 года отстаивает необходимость общественного образования и контроля над ИИ. Также он предлагал простой концепт, уязвимый к поломке источника вознаграждения.

Гипотетическим подходом, связанным с попытками контроля искусственного интеллекта, является ИИ в ящике, где искусственный интеллект заключен внутри смоделированного компьютером мира и не имеет возможности влиять на внешний мир. Однако, достаточно разумный ИИ может просто сбежать, перехитрив менее разумных надзирателей-людей.

В 2014 году Стивен Хокинг утверждал: «Успех в создании ИИ будет серьезнейшим событием в истории человечества. К сожалению, это может быть и последним событием, по крайней мере, пока мы не научимся избегать рисков».

Хокинг полагает, что в ближайшие десятилетия, ИИ может предложить «неисчислимые выгоды и риски», как, например «технология, обманывающая финансовые рынки, исследователи, превосходящие людей, лидеры, превосходящие всех людей, и разработка оружия, которое мы не сможем даже осознать». Хокинг полагает, что для подготовки к сингулярности нам стоит сделать больше:

«Итак, сталкиваясь с возможными неисчислимыми выгодами и рисками в будущем, эксперты наверняка сделают все возможное, чтобы обеспечить самый лучший исход, так ведь? Нет. Если превосходящая инопланетная цивилизация отправит нам сообщение «Мы прилетим через несколько десятилетий», неужели мы должны ответить «Ладно, наберите нас, когда прибудете – мы оставим свет включенным?» Вероятнее, нет – но это, примерно это происходит с ИИ».

Резкий и постепенный рост

При сценарии резкого роста ИОИ быстро улучшает себя «берет под контроль» мир (возможно, за несколько часов), что слишком мало для серьезной коррекции ошибок человеком или постепенной настройки целей ИОИ. При сценарии постепенного роста ИОИ все еще будет гораздо сильнее человечества, но будет развиваться темпами, схожими с человеческими, (возможно, в течении десятилетий), что при текущем взаимодействии и коррекции человеком может эффективно повлиять на разработку ИОИ.

Рамез Наам приводит доводы против сценария резкого роста, утверждая, что мы уже наблюдаем рекурсивное самосовершенствование сверхинтеллекта, как например, в случае с корпорациями. К примеру, «Intel» владеет «коллективом научных кадров из десятков или сотен человеческих умов и несколько миллионов модулей оперативной памяти ЦП, нужных для… разработки лучших ЦП!».

Однако, это не привело к сценарию резкого роста, а, скорее, к сценарию постепенного роста в виде закона Мура. Далее Наам указывает на то, что вычислительная сложность высшего интеллекта может быть гораздо больше линейной, настолько, что «создания разума для интеллекта 2, вероятно, более чем вдвое сложнее, чем создание разума для интеллекта 1».

Дж. Сторрс Холл утверждает, что «многие из более известных сценариев внезапного резкого роста повторяются – они считают допустимыми сверхчеловеческие способности на стартовой точке процесса самосовершенствования» для того, чтобы ИИ был способен создать удивительные, обширные совершенствования, требуемые для роста.

Холл предполагает, что, вероятнее всего, путем рекурсивного самосовершенствования аппаратной, программной и инфраструктурной части, мало развитый ИИ будет лучше специализироваться в одной области, где он будет наиболее эффективным, после чего – докупать оставшиеся компоненты на рынке, так как качество изделий на рынке постоянно будет расти, и ИИ при помощи новейших технологий, используемых по всему миру, будет развиваться даже в непростые времена.

Бен Герцель соглашается с предположением Холла о том, что новый человекоподобный ИИ будет отлично использовать свой интеллект для накопления благосостояния. Способности ИИ могут вдохновить компании и правительства для распространения своего программного обеспечения в обществе. Герцель скептически настроен к крайне резкому, пятиминутному росту, но полагает, что рост от человеческого к сверхчеловеческому уровням примерно за пять лет вполне возможен. Он называет это «наполовину резким ростом».

Макс Мор выражает свое не согласие, утверждая, что если бы существовала группа сверхбыстрых человекоподобных ИИ, они бы не смогли радикально изменить мир, так как они бы все еще были зависимыми от других людей в плане реализации своих планов, и все еще обладали бы человеческими когнитивными ограничениями.

Если бы весь сверхбыстрый ИИ работал для улучшения интеллекта, было бы непонятно, почему они должны были улучшаться прерывающимся способом, в отличие от обычных когнитивистов, работающих над созданием сверхчеловеческого интеллекта, хотя при этом скорость роста росла бы.

Мор также утверждает, что сверхинтеллект не преобразует мир внезапно, так как ему потребуется участие существующих медлительных человеческих систем для реализации физического воздействия на мир. «Потребность в сотрудничестве, организации и превращении идей в реальные изменения, обеспечит то, что все старые правила не рухнут внезапно или даже через много лет».