Спасет ли искусственный интеллект человечество — или уничтожит его?

На этой неделе разыгрался резкий раскол по поводу будущего искусственного интеллекта, когда четыре выдающихся технолога и трансгуманиста обсуждали, спасет ли создание общего искусственного интеллекта, или AGI, человечество или уничтожит его.

Панель, организованная некоммерческой организацией Humanity+, собрала одного из самых ярых «пессимистов» ИИ, Элиезера Юдковски, который призывал остановить разработку передового ИИ, вместе с философом и футуристом Максом Мором, вычислительным нейробиологом Андерсом Сандбергом и почетным президентом Humanity+ Наташей Вита-Мор.

Их обсуждение выявило фундаментальные разногласия по поводу того, может ли AGI быть согласован с выживанием человека или его создание сделает вымирание неизбежным.

Проблема «черного ящика»

Юдковски предупредил, что современные системы ИИ принципиально небезопасны, потому что их внутренние процессы принятия решений не могут быть полностью поняты или контролируемы.

«Любой черный ящик, вероятно, закончится с удивительно похожими проблемами на текущую технологию», предупредил Юдковски. Он утверждал, что человечеству нужно будет отойти «очень, очень далеко от текущих парадигм», прежде чем передовой ИИ сможет быть разработан безопасно.

Общий искусственный интеллект относится к форме ИИ, которая может рассуждать и учиться в широком диапазоне задач, а не быть созданной для одной работы, такой как генерация текста, изображений или видео. AGI часто ассоциируется с идеей технологической сингулярности, потому что достижение этого уровня интеллекта может позволить машинам совершенствоваться быстрее, чем люди могут за ними угнаться.

Юдковски указал на аналогию «максимизатора скрепок», популяризированную философом Ником Бостромом, чтобы проиллюстрировать риск. Мысленный эксперимент описывает гипотетический ИИ, который превращает всю доступную материю в скрепки, продолжая свою фиксацию на единственной цели за счет человечества. Добавление большего количества целей, сказал Юдковски, не улучшит безопасность значительным образом.

Ссылаясь на название своей недавней книги об ИИ, «Если кто-то это построит, все умрут», он сказал: «Наш заголовок не как будто может быть вас убьет», сказал Юдковски. «Наш заголовок: если кто-то это построит, все умрут».

Но Мор оспорил предпосылку, что чрезмерная осторожность предлагает самый безопасный результат. Он утверждал, что AGI может предоставить человечеству лучший шанс преодолеть старение и болезни.

«Самое важное для меня, это то, что AGI может помочь нам предотвратить вымирание каждого человека, который живет из-за старения», заявил Мор. «Мы все умираем. Мы движемся к катастрофе, один за другим». Он предупредил, что чрезмерное ограничение может подтолкнуть правительства к авторитарному контролю как единственному способу остановить разработку ИИ во всем мире.

Сандберг позиционировал себя между двумя лагерями, описывая себя как «более оптимистичного», оставаясь более осторожным, чем трансгуманистические оптимисты. Он рассказал о личном опыте, в котором он чуть не использовал большую языковую модель для помощи в разработке биологического оружия, эпизод, который он описал как «ужасающий».

«Мы приближаемся к точке, где усиление злонамеренных действующих лиц также вызовет огромный беспорядок», сказал Сандберг. Тем не менее, он утверждал, что частичная или «приблизительная безопасность» может быть достижимой. Он отверг идею о том, что безопасность должна быть совершенной, чтобы быть значимой, предполагая, что люди могут по крайней мере сойтись на минимальных общих ценностях, таких как выживание.

«Так что если вы требуете идеальной безопасности, вы ее не получите. И это звучит очень плохо с этой точки зрения», сказал он. «С другой стороны, я думаю, что мы действительно можем иметь приблизительную безопасность. Этого достаточно».

Скептицизм относительно согласования

Вита-Мор критиковала более широкую дискуссию о согласовании, утверждая, что концепция предполагает уровень консенсуса, который не существует даже среди давних сотрудников.

«Понятие согласования — это схема Поллианны», сказала она. «Это никогда не будет согласовано. Я имею в виду, даже здесь мы все хорошие люди. Мы знаем друг друга десятилетиями, и мы не согласованы».

Она описала утверждение Юдковски о том, что AGI неизбежно убьет всех, как «абсолютистское мышление», которое не оставляет места для других результатов.

«У меня проблема с широким заявлением, что все умрут», сказала она. «Подходя к этому как футурист и прагматичный мыслитель, это не оставляет никаких последствий, никакой альтернативы, никакого другого сценария. Это просто прямолинейное утверждение, и я задаюсь вопросом, отражает ли это своего рода абсолютистское мышление».

Обсуждение включало дебаты о том, может ли более тесная интеграция между людьми и машинами смягчить риск, создаваемый AGI — то, что генеральный директор Tesla Илон Маск предлагал в прошлом. Юдковски отверг идею слияния с ИИ, сравнив это с «попыткой слиться с вашим тостером».

Сандберг и Вита-Мор утверждали, что по мере того, как системы ИИ становятся более способными, людям нужно будет интегрироваться или сливаться более тесно с ними, чтобы лучше справляться с миром после AGI.

«Вся эта дискуссия — это проверка реальности того, кто мы есть как люди», сказала Вита-Мор.