Гари Маркус.

“Я не уверен, что простым увеличением количества воспринимаемых данных можно достичь точности, необходимой для вождения на Манхэттене. Можно получить точность 99,99 %, но даже этого будет недостаточно".

Основатель и генеральный директор стартапа GEOMETRIC INTELLIGENCE, профессор психологии и нейробиологии в Нью-Йоркском университете.

Гари Маркус – автор и редактор ряда книг, в том числе бестселлера Guitar Zero. Известен критикой глубокого обучения и утверждает, что для дальнейшего прогресса в ИИ-системы потребуется включить врожденные когнитивные структуры человека.

Мартин Форд: Вы написали книгу о несовершенстве человеческого мозга. Получается, вы не верите в то, что, полностью скопировав мозг, мы сможем подойти к сильному ИИ?

Гари Маркус: Полное копирование означает перенос как достоинств, так и недостатков. В то время как брать целесообразно только те вещи, которые люди делают лучше современных машин. На самом деле не имеет значения, насколько сильный ИИ будет похож на человека. Просто сейчас люди – единственные, кто умеет делать выводы и строить планы на основе множества данных и продуктивно их обсуждать, поэтому важно понять, каким образом они это делают.

Моя первая книга, опубликованная в 2001 г., называлась The Algebraic Mind («Алгебраический разум»). В ней нейронная сеть сравнивалась с мозгом. Я анализировал, что нужно сделать для ее усовершенствования, и приведенные там аргументы до сих пор актуальны. В следующей книге The Birth of the Mind («Рождение разума») я описал, как на генетическом уровне закладываются врожденные способности. Развивая идеи Ноама Хомского и Стивена Пинкера, я попытался понять, как врожденность выглядит с точки зрения молекулярной биологии и нейробиологии. Мне кажется, что эта информация тоже по-прежнему актуальна.

В 2008 г. вышла моя книга Kluge: The Haphazard Evolution of the Human Mind («Клуг: бессистемная эволюция человеческого разума»). Термин kluge означает временное решение, которое может быть неэффективным, не допускающим расширения и сложным в обслуживании. Именно так во многих отношениях выглядит человеческий разум. На материале множества дискуссий о том, оптимально ли устроены люди, я попытался с эволюционной точки зрения понять, почему мы не оптимальны.

М. Ф.: Наверное, потому, что эволюции приходится работать с уже существующей структурой? Вернуться в отправную точку и внести изменения в конструкцию невозможно.

Г. М.: Именно так. Большая часть книги посвящена сравнению структуры памяти с другими системами. Например, наша слуховая система близка к теоретическому оптимуму. То же самое можно сказать и о зрении – поразительно, но при благоприятных условиях человек может разглядеть даже фотон. При этом наша память далека от оптимума.

В компьютер можно быстро загрузить все произведения Шекспира, и он их никогда не забудет. Человеческая память не может похвастаться подобной емкостью и стабильностью. Наших предков интересовала в основном статистическая информация вида: «На горе больше еды, чем под ней». При таком подходе не имеет значения, в какие конкретно дни собирались статистические данные, важно помнить общую тенденцию.

В отличие от позвоночных, компьютеры используют адресную память, где каждой ячейке соответствует свой адрес, что позволяет хранить информацию практически бесконечно. Чтобы человек смог помнить так же, потребуется вносить изменения в слишком большое количество генов.

При этом компьютерные системы позволяют создавать гибриды, такие как поисковая система Google, которая сначала задействует контекстно-адресную память для поиска по ключевым словам, а затем с помощью адресной памяти определяет, где лежит нужная информация, и корректно отвечает на запросы.

М. Ф.: Можете рассказать более подробно?

Г. М.: Человеческую память могут активизировать различные факторы. Вплоть до позы. То, что человек запоминал стоя, ему будет проще вспомнить стоя. Или печально известный пример, когда человек готовится к экзамену в нетрезвом виде – вероятность успешной сдачи повышается, если он придет в аналогичное состояние.

Не похоже, чтобы наш мозг обладал механизмами адресации отдельных воспоминаний. Вместо этого человек посылает мозгу запрос вида: «Напомни, как испечь пирог». И в ответ получает набор относящихся к данному вопросу воспоминаний, хотя понятия не имеет, где физически они хранятся.

При этом воспоминания человека имеют свойство размываться и перемешиваться. Поэтому очевидцы одного события могут давать разные показания. К сожалению, воспоминание о том, что произошло с вами в определенный момент, невозможно сохранить отдельно от более поздних размышлений или информации, которую вы увидели по телевизору или прочитали в газете.

М. Ф.: Это интересно.

Г. М.: В книге «Клуг» я утверждаю, что существует два вида памяти, и людям достался менее эффективный. Но нельзя перестроить ее с нуля, поэтому новые конструкции приходится строить поверх существующих. Это напоминает аргументы, которые Стивен Джей Гулд приводил в своей книге о большом пальце панды.

Наша память несет с собой и такие вещи, как предвзятость подтверждения. Люди склонны лучше помнить факты, которые согласуются с их точкой зрения. Компьютер же ищет все, что соответствует заданному критерию. При этом он умеет пользоваться оператором НЕ. Например, я могу найти в базе данных все понятия, не попадающие в заданный критерий. А человеческий мозг легко умеет искать только совпадения.

Или другой пример когнитивных искажений – эффект фокусировки. Скажем, ответы на два вопроса – насколько вы счастливы в браке и насколько вы довольны своей жизнью, будут зависеть от того, в каком порядке они будут заданы.

М. Ф.: Это напоминает эффект привязки, который иллюстрируется экспериментом Даниэла Канемана. Когда сообщенное людям случайное число влияет на их дальнейшие предположения.

Г. М.: Да, это вариация того, о чем я говорю. Если я попрошу вас посмотреть последние три цифры на банкноте, а затем спрошу, когда была подписана Великая хартия вольностей, с большой вероятностью увиденное повлияет на ваш ответ.

М. Ф.: Изначально вы работали над вопросами понимания человеческого языка, а затем основали стартап и помогали запуску ИИ-лабораторий в компании Uber.

Г. М.: Я ощущаю себя как Джозеф Конрад, который писал по-английски, хотя его родным языком был польский. Он понимал, как этот язык функционирует. Я пришел в ИИ из когнитивистики.

В детстве я занимался программированием, но к моменту поступления в аспирантуру стал больше интересоваться тем, как устроено мышление. Моим научным руководителем стал Стивен Пинкер – популяризатор науки, специалист в области экспериментальной психологии, психолингвистики и когнитивных наук. Мы исследовали, как дети знакомятся с прошедшим временем, а затем учились применять двухслойные и многослойные персептроны.

В 1986 г. Дэвид Румельхарт и Джеймс Макклелланд опубликовали статью Parallel Distributed Processing: explorations in the microstructure of cognition («Параллельно распределенная обработка: исследование микроструктуры познания»), в которой показывалось, что нейронную сеть можно научить, как ребенка, использовать прошедшее время английского языка. Проблема была в том, что дети делают другие ошибки. Мы предположили, что у детей работает гибридная система из формально применяемых правил и принципа, по которому работают нейронные сети.

М. Ф.: Вы говорите о том, что дети образуют прошедшее время неправильных глаголов, пользуясь правилом для обычных глаголов?

Г. М.: Да, дети иногда придают неправильным глаголам свойства правильных. Машинный анализ 11 000 фрагментов детской речи привел нас к гипотезе, что дети склонны использовать для образования прошедшего времени некое правило. С одной стороны, они добавляют стандартное окончание «-ed», но одновременно используют ассоциативную память: если в прошедшем времени человек употребляет глагол sing как sang, ему будет проще вспомнить, что глагол ring в прошедшем времени звучит rang. Но если встречается новое слово, которое не похоже на слова, слышанные ранее, для образования прошедшего времени будет использовано стандартное правило.

Дело в том, что нейронные сети очень хорошо распознают сходство, но испытывают трудности при распознавании вещей, которые ни на что не похожи, но подпадают под некое правило. Так было в 1992 г., и, по сути, ситуация до сих пор не изменилась. Работа большинства нейронных сетей определяется данными, при этом они не обладают высоким уровнем абстракции. Например, система распознавания объектов на изображениях приняла дорожный знак, покрытый наклейками, за холодильник с едой и напитками.

М. Ф.: Вы исследуете механизмы, отвечающие за понимание речи и обучение языку. Расскажите об экспериментах, которые вы проводили.

Г. М.: С 1999 г. изучая взрослых, детей и младенцев, я обнаружил, что люди хорошо подмечают общие тенденции. Например, семимесячные дети после двух минут прослушивания примеров искусственной грамматики обучались распознавать правила построения предложений. Прослушав предложения вида «la ta ta» и «ga na na», построенные по схеме ABB, младенцы замечали, что «wo fe wo» построено уже по другой схеме (ABA), в то время как предложение «wo fe fe» использует ту же конструкцию.

Критерием служила длительность взгляда. Оказалось, что после изменения схемы младенцы смотрели на экспериментатора дольше. Получается, дети с самого раннего возраста умеют распознавать довольно глубокие языковые абстракции. Позднее другой исследователь показал, что этим свойством обладают и новорожденные.

М. Ф.: Насколько я знаю, вы снова заинтересовались ИИ благодаря суперкомпьютеру Watson фирмы IBM.

Г. М.: Я скептически относился к этому проекту и сильно удивился, когда в 2011 г. суперкомпьютер победил в телевикторине «Своя игра». Я снова заинтересовался сферой ИИ и, в конце концов, понял, чем был обеспечен успех Watson. Дело в том, что перед ИИ была поставлена более узкая задача, чем казалось на первый взгляд. Так происходит почти во всех случаях, когда ИИ демонстрирует впечатляющие успехи. В телевикторине примерно 95 % ответов представляли собой заголовки страниц «Википедии».

Примерно в то же время я начал писать для еженедельника The New Yorker статьи о нейробиологии, лингвистике, психологии, а также ИИ. Тогда, пять лет назад, я сомневался, что глубокое обучение сможет освоить повышение уровня абстракции и выстраивание причинно-следственных связей. Сейчас эти вопросы все еще не решены.

М. Ф.: В 2014 г. вы основали стартап Geometric Intelligence, который приобрела компания Uber, а вы после этого стали главой их ИИ-лаборатории. Расскажите, как все происходило.

Г. М.: В январе того года я решил основать собственную компанию. Пригласил замечательных людей, в том числе одного из лучших специалистов по машинному обучению – моего друга Зубина Гахрамани. За следующие несколько лет я многое узнал о машинном обучении. Мы искали более совершенные способы обобщения и обучали алгоритмы извлекать информацию из данных. Мы научили машины решать произвольные задачи, такие как распознавание символов из базы MNIST, используя вдвое меньший объем данных, чем методы глубокого обучения.

О наших успехах начали говорить, и в декабре 2016 г. стартап купила компания Uber. Я некоторое время работал в ней, помогая с запуском Uber AI labs. Сейчас я оттуда ушел, изучаю возможности использования ИИ в медицине и много думаю о робототехнике.

В январе 2018 г. я написал две статьи[18], а также пару вещей для платформы социальной журналистики Medium. В одной я рассказывал, что глубокое обучение не приведет нас к общему ИИ. Вторая статья была посвящена тому, что по крайней мере в биологии все системы начинаются с некой внутренней структуры. И для понимания мира важна врожденная структура, присутствующая в нашем мозге.

Данное от природы и полученное от воспитания часто противопоставляются. Но на самом деле эти вещи работают совместно. Природа дает нам механизмы обучения, которые позволяют использовать приобретаемый опыт интересными способами.

М. Ф.: Наличие структур показали эксперименты с младенцами, которые умеют распознавать лица.

Г. М.: Именно так. Это подтверждают мои эксперименты с восьмимесячными детьми, а недавно в журнале Science была опубликована статья, в которой утверждалось, что способность к логическим выводам появляется только после первого года жизни. Дело в том, что термин «врожденный» не означает появляющийся в момент рождения. Борода начинает расти после полового созревания. Большая часть человеческого мозга развивается уже вне матки, при этом развитие начинается относительно рано.

Жеребята почти сразу начинают ходить и обладают сложным зрением, позволяющим видеть препятствия. У человека подобные механизмы включаются в первый год жизни. Когда ребенок учится ходить, мы наблюдаем процесс созревания. Голова с полностью развитым мозгом оказалась бы слишком большой и не смогла бы пройти через родовые пути.

М. Ф.: Получается, что, если сразу после рождения мы обладали бы способностью ходить, все равно пришлось бы ждать развития мышц.

Г. М.: Да, мы рождаемся не до конца развитыми, и многое из происходящего с нами в первые месяцы заложено генетически. Об обучении в этом случае речи не идет. Козленок уже через пару дней после рождения может спускаться по склону горы. Он не учится этому методом проб и ошибок. Я думаю, что геном человека передает шаблон того, как должен работать мозг, а ребенок потихоньку все это развивает. При этом в шаблон уже заложены механизмы обучения.

Почему-то есть тенденция создавать ИИ с минимумом предварительных знаний. Мне это кажется неразумным. Информацию о мире нужно сразу встраивать в системы ИИ, нежели разрабатывать их с нуля.

М. Ф.: Все врожденные вещи в мозге, вероятно, появились в результате эволюции. В ИИ-системах их можно или закодировать, или использовать эволюционный алгоритм для их автоматической генерации.

Г. М.: К сожалению, эволюция – это довольно медленный и неэффективный процесс. Для получения хороших результатов нужны триллионы организмов и миллиарды лет. Вряд ли в лабораторных условиях таким путем можно далеко продвинуться в разумные сроки.

Кроме того, первые 900 млн лет эволюции ничего особо захватывающего не происходило. Разные версии бактерий сменяли друг друга, что не представляет особого интереса. Затем процесс ускорился, появились позвоночные, млекопитающие, приматы и, наконец, мы. Причиной ускорения стало, если можно так выразиться, множество накопленных подпрограмм и библиотечного кода. А чем больше подпрограмм, тем быстрее можно создавать более сложные вещи. Одно дело внести в мозг приматов ряд генетических изменений, чтобы получить человека, но с уровня бактерии подобный скачок невозможен.

Люди, которые используют для тренировки нейросетей эволюционные алгоритмы, часто начинают практически с нуля. Они пытаются развить отдельные нейроны и связи между ними, но лично я считаю, что в процессе биологической эволюции люди обладали очень сложными наборами генетических процедур. По сути, работать следует с существующими наборами генов, но в контексте эволюционного программирования реализовывать это пока никто не умеет.

Думаю, рано или поздно к этому все придет, но пока ученые играют в бога, создающего мир за семь дней.

М. Ф.: А как может выглядеть процесс встраивания врожденных качеств в ИИ-систему?

Г. М.: Этот вопрос состоит из двух частей: функциональная часть – что нужно сделать и механическая – каким образом.

В начале 2018 г. на базе собственных исследований и работ Элизабет Спелке из Гарварда я написал статью, где перечислил необходимые вещи[19]. В этот список попали манипулирование символами, представление абстрактных переменных и операции с ними, умение отличать значение слова (оно обозначает конкретный объект или тип объектов), понимание причинно-следственной связи, инвариантность перевода, представление о связанных траекториях движения объектов в пространстве и времени, осознание многообразия мира.

Глубокое обучение с подкреплением дает впечатляющие, но крайне нестабильные результаты. Например, в компании DeepMind ИИ обучили игре Breakout от Atari. И на первый взгляд ИИ отлично справился: нашел способ рикошетить от стен так, чтобы сбить максимальное количество кирпичей. Но стоит переместить ракетку вверх на три пиксела, и чудо закончится, ведь система не знает, что такое стена и рикошет.

М. Ф.: Для понимания объектов и концепций нужен более высокий уровень абстракции.

Г. М.: Именно так. Возможно, даже имеет смысл сразу встраивать определенные понятия, например «объект». Вспомните, как люди учатся распознавать цвета. В сетчатке глаза присутствует три типа цветовых рецепторов, чувствительных к разным участкам спектра. Дальше ребенок постепенно узнает, как называются цвета, которые он видит. Но без врожденной способности различать цвета вторая часть становится невозможной. Поэтому ИИ-системам может понадобиться врожденное представление о существовании объектов и о том, что их появление и исчезновение происходят неслучайным образом.

Представьте мир, в котором существует машина для телепортации, как в сериале «Звездный путь», и в любом месте в любой момент может появиться что угодно. На таких данных учиться невозможно. Изучать свойства объектов позволяет тот факт, что в пространстве и времени объекты перемещаются по связанным траекториям, и так сложилось за миллиарды лет эволюции.

М. Ф.: Можно ли создать сильный ИИ с помощью существующих в настоящее время инструментов и какие препятствия стоят на пути к нему?

Г. М.: Глубокое обучение я считаю инструментом, отлично подходящим для классификации шаблонов. Пока нет ничего эффективнее. Но оно не учит рассуждать и делать выводы на абстрактном уровне. Не очень подходит для работы с языком в случаях, когда требуется реальное понимание. Плохо справляется с ситуациями, которые раньше не возникали, и в случаях с неполной информацией. Поэтому его необходимо дополнять другими инструментами.

В более широком смысле, накопленные людьми знания о мире можно записать символически с помощью математики или предложений естественного языка. И мы хотим объединить эту символическую информацию с другой информацией, получаемой путем субъективного восприятия.

Психологи говорят о связи между информацией, которая обрабатывается снизу вверх (взгляд на изображение), и обрабатываемой сверху вниз (интерпретация увиденного на базе личного опыта).

Современные системы глубокого обучения имеют дело с восходящей информацией. Они могут интерпретировать пикселы, но не объект.

В статье Adversarial Patch («Состязательный патч»)[20] демонстрируется способ обмануть систему глубокого обучения, добавив на изображение стикер. Система без проблем распознает изображенный на фото банан, а затем рядом наклеивается картинка, напоминающая выкрашенный в ядовитые цвета тостер. Человек сразу скажет, что это банан и забавная наклейка, в то время как система глубокого обучения уверенно опознает всю картинку как тостер.

Дело в том, что она пытается указать на наиболее заметный фрагмент изображения, поэтому ее внимание привлекает высококонтрастный, яркий тостер, а неяркий, однотонный банан она игнорирует.

Этот пример доказывает, что системы глубокого обучения получают только восходящую информацию, за обработку которой у человека отвечает затылочная доля. Они не умеют воспроизводить процессы, происходящие в лобных долях, то есть рассуждать о том, что на самом деле происходит.

Для создания сильного ИИ должны воспроизводиться оба процесса. На мой взгляд, следует добавить к глубокому обучению манипуляции с символами.

М. Ф.: Какая компания или проект ближе всего подошли к созданию сильного ИИ?

Г. М.: Меня впечатлил проект Mosaic, над которым работают в AI2. Это вторая попытка решить проблему, над которой бился Дуг Ленат, – как преобразовать человеческие знания в форму, понятную программному обеспечению. Множество информации нигде не зафиксировано. Например, никто специально не фиксирует факт, что тостеры меньше автомобилей.

М. Ф.: То есть требуется добавить формальную логику?

Г. М.: Тут возникают два связанных вопроса. Во-первых, каким образом мы вообще получаем знания? Во-вторых, хотим ли использовать для манипуляции ими символическую логику?

Мне кажется, что от символической логики не следует отказываться, и надеюсь, что кто-то найдет способ ее добавить. Самым крупным проектом такого рода был Cyc Дуга Лената, начатый примерно в 1984 г. Этот закрытый проект оказался не очень эффективным. Сейчас, когда о машинном обучении известно намного больше, AI2 предпочитает делать вещи с открытым исходным кодом, в работе над которыми может принять участие сообщество.

М. Ф.: Когда, по вашим расчетам, может появиться сильный ИИ?

Г. М.: Понятия не имею. Есть множество причин, не дающих создать сильный ИИ здесь и сейчас. Можно назвать разве что доверительный интервал, как в статистике: период между 2030 г. и, в случае большой удачи, 2050 г., а в худшем случае – 2130 г. Думаю, что в 1994 г., работая над книгой «Дорога в будущее», Билл Гейтс не осознавал, как сильно интернет изменит мир. ИИ хорошо финансируется, и, возможно, мы сможем продвинуться вперед.

М. Ф.: Итак, вы предполагаете, что прорыв может случиться или через 12, или через 112 лет.

Г. М.: В сильном ИИ особых достижений не наблюдается. Например, персональный помощник Siri, появившийся в 2010 г., не сильно отличается от созданной в 1966 г. программы ELIZA, которая пародировала диалог с психотерапевтом, реализуя технику активного слушания. До понимания естественного языка нам по-прежнему далеко. Но я все равно склонен к оптимистичным прогнозам.

М. Ф.: Да, ИИ больше не ограничен стенами университетов, он занял центральное место в бизнес-моделях крупных компаний, таких как Google и Facebook.

Г. М.: Сейчас на ИИ тратится намного больше денег, чем раньше, хотя в 1960-х гг., до начала так называемой «зимы ИИ» инвестиции в эту сферу также были достаточно большими. Но важно понимать, что хотя деньги – необходимое условие для продолжения исследований, они не гарантируют, что решение проблем будет найдено.

М. Ф.: Тогда давайте поговорим о более узкой технологии – беспилотных автомобилях. Когда, по вашему мнению, в произвольное место можно будет вызвать такси, которым управляет ИИ?

Г. М.: Как минимум через 10 лет.

М. Ф.: Практически такой же срок вы называли в прогнозе для сильного ИИ.

Г. М.: Дело в том, что вождение в мегаполисах связано с необходимостью постоянно обрабатывать непредсказуемые ситуации. Для ИИ могут стать проблемой даже такие простые элементы, как защитные барьеры. Людей в таких случаях выручает здравый смысл. Современные беспилотные автомобили используют карты с высокой детализацией и технологию LIDAR, зрительная система человека работает хуже машинной, но люди лучше понимают, что происходит вокруг. Я не уверен, что простым увеличением количества воспринимаемых данных можно достичь точности, необходимой для вождения на Манхэттене. Можно получить точность 99,99 %, но даже этого будет недостаточно.

М. Ф.: Может, начинать нужно с автомобилей, которые ездят по заранее определенному маршруту?

Г. М.: Есть вероятность, что подобное скоро появится в городе Феникс. Осталось разработать маршруты без поворотов налево, чтобы как можно меньше приходилось пересекаться с людьми. По такому принципу уже работают монорельсовые дороги в аэропортах.

На беспилотный автомобиль влияет все – мокрый снег, слякоть, град, листопад, вещи, которые могут упасть с проезжающего мимо грузовика. Чем дальше мы продвигаемся в сторону системы, свободно взаимодействующей с окружающим миром, тем больше проявляется сложностей. У нас уже есть системы, которые приближаются к сильному ИИ по своей открытости. Именно поэтому мой прогноз в обоих случаях оказался практически одинаковым.

М. Ф.: Вы согласны с тем, что мы находимся на пороге новой промышленной революции, которая полностью изменит рынок труда?

Г. М.: Это действительно произойдет, хотя и медленнее, чем думают многие. Например, внедрение беспилотных автомобилей оказалось более сложным делом, чем предполагалось, поэтому водителям пока волноваться не о чем, а вот многочисленные сотрудники ресторанов быстрого питания и кассиры скоро могут остаться без работы. Рано или поздно фундаментальные изменения неизбежно произойдут.

Проблемы из-за автоматизации начнутся к 2030 г. или, в лучшем случае, к 2070 г. Придется менять структуру общества, потому что в какой-то момент доступных рабочих мест станет меньше, чем трудоспособного населения.

Некоторые говорят, что после исчезновения большинства рабочих мест в сельскохозяйственном секторе появились новые рабочие места в промышленности, но мне этот аргумент кажется неубедительным. На получение первого работающего алгоритма для беспилотного автомобиля может потребоваться лет 50 работы и миллиарды долларов, но как только такие алгоритмы появятся, миллионы водителей потеряют работу в течение нескольких лет.

Новые профессии, конечно, появляются, но там не требуется большое количество людей. Например, предприниматель на YouTube может зарабатывать миллионы долларов, снимая видео. Но я сомневаюсь, что в этой нише смогут найти место потерявшие работу водители. В эпоху, когда небольшая группа может создать такой проект, как Instagram, трудно представить новую отрасль, которая предоставит миллионы рабочих мест.

М. Ф.: Примерно половина трудоустроенных людей сейчас занимается рутинной предсказуемой деятельностью, которая рано или поздно подвергнется автоматизации.

Г. М.: На самом деле все не так просто, как кажется на первый взгляд. В отличие от людей, ИИ-системы не понимают данных, представленных на естественном языке. Например, машина не может самостоятельно извлекать информацию из медицинских карт. Это рутинная и совсем несложная задача, но до ее автоматизации пока далеко.

М. Ф.: Можно ли решить проблему безработицы введением универсального базового дохода?

Г. М.: Реальной альтернативы универсальному базовому доходу я не вижу. И он неминуемо будет введен. Вопрос в том, удастся ли мирно договориться или начнутся массовые беспорядки.

М. Ф.: В США сейчас наблюдается настоящая эпидемия наркомании, которая вполне может быть связана с потерей работы из-за автоматизации на предприятиях и отчаянием, которое испытывают люди.

Г. М.: Возможно, это правда, но я не вижу однозначной связи между потерей работы и наркоманией. Более того, для многих наркотиком становятся смартфоны. Допускаю, что в итоге мы окажемся в мире, состоящем из виртуальной реальности и пособий.

М. Ф.: Но ИИ несет в себе и другие опасности. Например, Илон Маск активно говорил об экзистенциальных угрозах. Как вы думаете, у нас есть повод для беспокойства?

Г. М.: Беспокоиться следует о том, что люди могут использовать ИИ во зло. Именно в этом заключается реальная проблема, ведь ИИ все сильнее встраивается в нашу жизнь и становится все более уязвимым для хакерских атак. Нет повода переживать из-за того, что системы ИИ захотят съесть нас или превратить весь мир в скрепки. Я не утверждаю, что это невозможно, но реальных доказательств того, что подобное может случиться, нет. Зато очевидно, что машины становятся все более мощными, а мы пока толком не умеем решать вопросы информационной безопасности.

М. Ф.: А что вы думаете о проблеме выравнивания и рекурсивном цикле самосовершенствования?

Г. М.: Не скажу, что вероятность такого сценария равна нулю, но вряд ли подобное произойдет в ближайшее время. Недавно в сеть выложили видео о роботах, открывающих дверные ручки. Там рассказывается, на какой стадии находятся все эти разработки.

Систем ИИ, умеющих надежно ориентироваться в нашем мире, пока не существует. Нет и роботизированных систем, которые умеют себя улучшать. Так что проблема выравнивания не актуальна. Разумеется, имеет смысл инвестировать немного денег, чтобы кто-то искал решение на подобный случай. И заниматься насущными проблемами, такими как генерация и целенаправленная реклама недостоверной информации.

М. Ф.: Нужно ли следить за тем, чтобы цели интеллектуальной системы совпадали с нашими?

Г. М.: Разумеется, нужно. Но даже когда сильный ИИ будет создан, кто сказал, что у него будет желание вмешиваться в человеческие дела? Около 60 лет назад ИИ не мог выиграть партию в шашки, а в прошлом году решил куда более сложную задачу – выиграл в го. Можно сказать, что за 60 лет отвечающий за игры IQ вырос с 0 до 60. Если попытаться таким же способом оценить, насколько изменилась злобность машин, мы увидим, что никакой корреляции тут нет.

М. Ф.: Получается, что до появления сильного ИИ не может быть и речи о недовольстве машин.

Г. М.: Получается, что так. Отчасти это связано с системами мотивации. Например, у людей существует генетическая предрасположенность к совершению насильственных действий. Я сейчас о том, что мужчины склонны к насилию больше женщин.

М. Ф.: Получается, сильный ИИ должен быть женщиной?

Г. М.: Нужно просто сделать ИИ не склонным к насилию. Необходимы ограничения и правила, уменьшающие вероятность агрессивного поведения ИИ, направленного на человека. Это трудные и важные вопросы, куда менее очевидные, чем высказывания Маска, но они могут заставить многих людей задуматься.

М. Ф.: Но при этом Маск инвестирует в компанию OpenAI, что совсем неплохо. Эту работу все равно должен кто-то делать. Государственные инвестиции в вопросы будущего контроля ИИ было бы сложно понять, но почему бы этим не заниматься частным организациям?

Г. М.: Министерство обороны США действительно тратит деньги на подобные вещи, но должен быть портфель рисков. Меня больше беспокоят определенные виды биологического терроризма и кибернетические войны, чем разговоры о том, что ИИ может взять нас под контроль.

В подобных случаях нужно, во-первых, ответить на вопрос, можно ли говорить о том, что вероятность X больше 0. Ответ: однозначно да. Во-вторых, оценить вероятность рассматриваемого сценария по отношению к другим угрожающим сценариям. Тут я бы сказал, что это маловероятный сценарий.

М. Ф.: Как вы считаете, будет ли сильный ИИ обладать сознанием или станет зомби?

Г. М.: Скорее, второе. Я не считаю сознание обязательным условием. Это эпифеномен живых существ. В конце концов, мы можем столкнуться с чем-то, что ведет себя совсем как мы, но не обладает сознанием. Кроме того, пока нет способов определить наличие сознания. Откуда мне знать, обладаете ли сознанием вы?

М. Ф.: Можно предположить, что обладаю, потому что мы с вами принадлежим к одному виду.

Г. М.: На мой взгляд, это не аргумент. Что если сознание случайным образом распределено среди четверти населения? Что если за его наличие отвечает какой-то ген? Я, конечно, шучу, но факт остается фактом – объективных критериев, позволяющих установить наличие сознания, у нас нет.

М. Ф.: Получается, задача неразрешима.

Г. М.: Со временем кто-то, возможно, придумает решение, но пока по большей части исследуется та часть сознания, которую мы называем осознанностью. В какой момент центральная нервная система логически осознаёт, что определенная информация доступна?

Исследования показали, что если человек наблюдал что-то всего 100 миллисекунд, он не осознает, что видел это. Если наблюдение длилось половину секунды, человек практически уверенно осознает, что именно он видел. Базируясь на этих данных, уже можно создавать схему, указывающую, какие цепочки нейронов предоставляют информацию, доступную для осмысления и интерпретации. Именно это мы можем назвать осознанностью.

М. Ф.: А может получиться так, что сильный ИИ никогда не будет создан?

Г. М.: Нет. Он неизбежно появится, если человечество сохранится как вид. Нет причин не создавать его.

М. Ф.: Что вы думаете о международной гонке вооружений в сфере ИИ?

Г. М.: Китай открыто заявил, что ИИ у них одно из приоритетных направлений. США какое-то время никак на это не отвечали, что меня расстроило.

М. Ф.: Китай обладает многочисленными преимуществами: большей численностью населения и меньшей озабоченностью вопросами конфиденциальности, что позволяет получать больше данных.

Г. М.: Они дальновидны, понимают важность ИИ и инвестируют в него на государственном уровне.

М. Ф.: Должно ли правительство регулировать исследования в сфере ИИ?

Г. М.: Да, этой сфере требуется регулирование, но я не знаю, по какому принципу оно должно осуществляться. Например, мне совсем не нравится идея автономного оружия, но его прямой запрет, скорее всего, окажется наивной мерой, которая приведет к ситуации, когда кто-то обладает таким оружием, а кто-то безоружен.

М. Ф.: Вы верите, что ИИ окажет позитивное влияние на человечество?

Г. М.: Я на это надеюсь. Наибольшую пользу он мог бы принести здравоохранению. Но современные исследования и внедрение ИИ в основном связаны с рекламой.

Мне кажется, что огромному положительному потенциалу, которым обладает ИИ, уделяется недостаточно внимания, несмотря на то что внедрение ИИ будет сопровождаться исчезновением рабочих мест и социальными потрясениями. Сейчас мне не нравится, как используется ИИ и как мы его внедряем.