Бывший научный сотрудник OpenAI Дэниел Кокотайло в подкасте New York Times предупредил об угрозе со стороны ИИ.

Стенограмма подкаста:

Росс Доутат (ведущий): Насколько быстро на самом деле происходит революция в области искусственного интеллекта? Что означала бы машинная сверхинтеллектуальность для обычных людей? Когда «Скайнет» будет полностью работоспособен?

Суждено ли людям слиться с неким машинным богом — или быть уничтоженными собственным творением? Чего на самом деле ждут, желают и боятся исследователи ИИ?

Мой сегодняшний гость — исследователь ИИ, написавший резкий прогноз, из которого следует, что мы можем получить ответы на все эти вопросы гораздо раньше, чем думаем. Он предполагает, что уже к 2027 году, то есть совсем скоро, с нами может появиться некий машинный бог, открывающий странную утопию эпохи пост-дефицита — или грозящий убить нас всех.

Дэниел Кокотайло, вестник апокалипсиса, добро пожаловать в «Интересные времена».

Дэниел Кокотайло: Спасибо за такое… представление, полагаю, и спасибо, что пригласили.

Доутат: Дэниэл, я довольно быстро — не на скоростях ИИ и не на скоростях сверхинтеллекта — прочёл ваш отчёт, когда он вышел. И около двух часов думал о довольно мрачных вещах, связанных с будущим. Потом, к счастью, у меня есть работа, требующая заботиться о тарифах и о том, кто станет новым папой, а ещё у меня куча детей, которым от меня всё время что-то нужно, так что я смог отложить эти мысли в сторону. Но ведь сейчас это ваша работа, верно?

Кокотайло: Да.

Доутат: То есть вы думаете об этом постоянно. Каково вашему сознанию день ото дня, если вы всерьёз ожидаете, что мир в ближайшее время изменится самым радикальным образом, причём не в пользу всего человечества?

Кокотайло: Ну, это очень страшно и печально. Иногда мне до сих пор снятся кошмары. Я занимаюсь ИИ и думаю об этом уже около десяти лет, но 2020-й год и GPT-3 стали моментом, когда я подумал: «Ого, похоже, это случится при моей жизни, может быть, в этом десятилетии». Психологически это был удар. Но, знаете, ко всему можно привыкнуть, если дать себе время: светит солнце, у меня есть жена, дети, друзья, и я продолжаю делать то, что считаю правильным.

Светлая сторона в том, что я могу ошибаться во всём этом.

Доутат: Хорошо, давайте перейдём к самому прогнозу и поговорим о начальной стадии грядущего, которое вы описываете, — о мире, где очень быстро искусственный интеллект начинает заменять людей в ключевых областях, — и, неудивительно, начинается это с программирования, верно?

Кокотайло: Думаю, мне стоит сразу сделать оговорку: предсказывать будущее очень трудно, и это лишь один возможный сценарий. Это лучший предположительный вариант, но уровень неопределённости велик: всё может пойти быстрее, может пойти медленнее. На самом деле сейчас я думаю, что речь скорее о 2028-м, а не о 2027-м.

Так что это хорошие новости. Я по этому поводу умеренно оптимистичен.

Доутат: Дополнительный год человеческой цивилизации — это воодушевляет.

Кокотайло: Именно. Итак, с этой важной оговоркой, «ИИ-2027», как сценарий, предсказывает, что нынешние системы ИИ — которые наращивают масштаб, становятся больше и обучаются дольше на более сложных задачах с использованием обучения с подкреплением — станут лучше работать автономно, как агенты.

Можно представить это как удалённого сотрудника, только сам работник виртуален — это ИИ, а не человек. Вы общаетесь с ним, ставите задачу, и он уходит исполнять её и возвращается через полчаса — или через десять минут — с выполненным заданием; при этом он успевает полазить по интернету, написать код, запустить его, отладить, может, набросать и отредактировать документы.

Именно такие системы сейчас строят компании. Их как раз обучают этому. Мы прогнозируем, что примерно к началу 2027 года они достигнут уровня, позволяющего автоматизировать работу программистов.

Доутат: То есть это суперкодер.

Кокотайло: Да, сверхчеловеческий программист. Нам кажется, что компании особенно сосредоточены именно на автоматизации кодинга — по сравнению с другими возможными профессиями — и поэтому мы предполагаем, что одной из первых уйдёт именно эта работа. Возможно, первыми исчезнут другие профессии, например операторы кол-центров, но в итоге, по нашему мнению, большинство работ какое-то время останется в безопасности.

Доутат: На восемнадцать месяцев.

Кокотайло: Именно. И мы думаем, что как только компания полностью автоматизирует программирование, пройдёт совсем немного времени, прежде чем она автоматизирует многие другие виды деятельности. А когда кодинг будет автоматизирован, темпы прогресса в исследованиях ИИ ускорятся.

Следующий шаг — полностью автоматизировать сами исследования ИИ, чтобы все аспекты этой работы выполнялись ИИ. Мы прогнозируем ещё более мощное ускорение на этом этапе, и на этом всё не остановится. Скорость будет расти дальше, по мере того как ИИ станет сверхчеловеком в исследованиях ИИ, а затем — во всём остальном.

Почему это важно: мы можем за относительно короткий период — год или даже меньше — перейти от систем ИИ, не слишком отличающихся от сегодняшних, к тому, что можно назвать сверхинтеллектом, полностью автономными системами, превосходящими лучших людей во всём. В сценарии «ИИ-2027» это происходит в 2027–2028 годах.

Доутат: Для многих это история о молниеносной человеческой обесценённости во множестве сфер. Когда люди слышат фразу «человеческая обесценённость», они могут представить: я потерял работу и теперь беден.

Предполагается, что работу вы потеряли, но общество становится всё богаче. Я хочу уточнить, как именно это работает. Каков механизм обогащения общества?

Кокотайло: Прямой ответ: когда работа автоматизируется и человек её теряет, причина в том, что теперь ИИ делает её лучше, быстрее и дешевле. Это означает значительную экономию и, возможно, рост производительности.

В отдельном случае это потеря для работника, но выигрыш для работодателя. Однако если умножить это на всю экономику, то все бизнесы станут продуктивнее и дешевле, они смогут снижать цены на товары и услуги. Экономика в целом взлетит: ВВП улетит к звёздам, появятся новые удивительные технологии, темпы инноваций резко вырастут, цены упадут и так далее.

Доутат: Чтобы было конкретнее: стоимость полного цикла проектирования и производства нового электромобиля резко падает, нужно меньше работников, ИИ придумывает новые способы его сборки и т. д. Это можно обобщить: быстро решается жилищный кризис, потому что строить дома становится намного дешевле и легче.

Но в традиционной экономической истории рост производительности, который лишает людей работы, высвобождает ресурсы, на которые нанимают новых людей для других задач; им платят больше, и они тратят деньги на более дешёвые товары. В вашем сценарии не похоже, что создаётся много новых рабочих мест.

Кокотайло: Именно, и это важнейший момент. Исторически, когда вы автоматизируете что-то, люди переходят к тому, что ещё не автоматизировано. В итоге работа у людей остаётся, просто меняется её вид.

Когда появляется AGI — искусственный общий интеллект — и тем более сверхинтеллект — ещё более мощный AGI — это другое дело. Какие бы новые работы вы ни воображали, куда могли бы уйти люди после автоматизации их нынешних задач, AGI сможет делать и их. Это важное отличие будущей автоматизации от прошлой.

Доутат: То есть это радикальное изменение ландшафта: рынок акций взлетает, налоговые поступления растут, у правительства больше денег, чем оно может потратить, а всё больше людей теряют работу. Немедленно начинаются дебаты о безусловном базовом доходе, причём довольно высоком, потому что компании зарабатывают огромные деньги.

Как вы думаете, чем люди занимаются день ото дня в таком мире?

Кокотайло: Думаю, они протестуют, потому что злятся из-за потери работы, а компании и правительства откупятся от них выплатами.

Доутат: В вашем сценарии — напомню, мы говорим о коротких сроках — насколько важно, сможет ли искусственный интеллект начать ориентироваться в физическом мире? Я только что видел ролик, где самые современные роботы изо всех сил пытаются открыть дверцу холодильника и разложить продукты. Ожидаете ли вы, что прогресс в робототехнике тоже будет резко ускорен?

Кокотайло: Да.

Доутат: То есть заменят не только подкастеров и исследователей AGI, но и сантехников, электриков — роботы?

Кокотайло: Именно так.

Это будет огромный шок. Большинство людей не ждёт такого. Они думают, что прогресс в ИИ будет выглядеть примерно как сейчас: человеческие компании постепенно улучшают роботов, обучая их конкретным задачам. На деле всё будет иначе: уже существует «армия» сверхинтеллектов, превосходящих людей во всех интеллектуальных задачах — в том числе в быстром освоении новых навыков и проектировании всего, чего угодно. И именно эта армия сверхинтеллектов займётся тем, как автоматизировать работу сантехника, что значит, что они сделают это куда быстрее, чем обычная техкомпания, где работают люди.

Доутат: Итак, вся та медлительность, которая сопровождает доведение беспилотного автомобиля до рабочего состояния или создание робота, способного расставлять продукты в холодильнике, исчезает, потому что сверхинтеллект может провести бесконечное число симуляций и выработать оптимальный способ обучения робота.

Кокотайло: Да. К тому же они, возможно, будут извлекать больше пользы из каждого реального эксперимента, который проводят.

Доутат: Вот здесь я больше всего скептически настроен — не относительно конечного сценария, а относительно сроков, просто исходя из опыта работы с такими вещами, как зонирование земли в американской политике. Допустим, сверхинтеллект понял, как построить фабрику, полностью набитую автономными роботами, — но вам всё равно нужна земля под эту фабрику. Нужны цепочки поставок. И всем этим всё ещё управляют такие люди, как мы с вами. Я думаю, это замедлит процесс. Даже если в дата-центре сверхинтеллект знает, как собрать всех этих роботов-сантехников, построить их всё равно будет непросто.

Кокотайло: Звучит разумно. Насколько, по-вашему, всё замедлится?

Доутат: Ну, я не пишу прогноз. Но, исходя из прошлого опыта, я бы поставил на пять-десять лет с момента, когда супермозг находит лучший способ сделать робота-сантехника, до момента, когда множество фабрик массово их выпускают.

Кокотайло: Сама идея здравая, но, по моим ощущениям, пройдёт существенно меньше пяти-десяти лет. Чтобы понять, почему я так думаю, представьте армию сверхинтеллектов, которые делают расчёты и говорят: «У нас есть все чертежи, мы можем всё реализовать за год, если уберёте всю бюрократию».

Доутат: Отдайте нам половину Манитобы.

Кокотайло: [смеётся] Именно так.

А в сценарии «AI 2027» мы показываем появление специальных экономических зон без всякой волокиты, где государство специально вмешивается, чтобы ускорить процесс. По сути, государство помогает техкомпании и армии сверхинтеллектов получить финансирование, сырьё и человеческие ресурсы, чтобы они могли всё наладить как можно быстрее, и срезает «красную ленту», чтобы ничто их не тормозило.

Доутат: Потому что выгоды обещают быть такими огромными, что, несмотря на толпы протестующих у ворот этих зон — людей, которые вот-вот потеряют работу сантехников и будут жить на базовый доход, — соблазн триллионов новой прибыли для правительства слишком велик. На это вы ставите?

Кокотайло: Таков наш прогноз. Хотя, конечно, будущее трудно предсказать.

Часть причины в том, что на этой стадии, по-нашему, продолжится гонка вооружений между США и другими странами, прежде всего Китаем.

Представьте, что вы президент: сверхинтеллекты дают вам блестящие прогнозы с потрясающими данными, показывают, как можно преобразить экономику за год, если сделать X, Y и Z. Но если ничего не делать, из-за регуляций уйдёт десять лет. Тем временем Китай… ясно, что президенту будет трудно устоять перед таким доводом.

Доутат: Поговорим о гонке вооружений, потому что это ключ к вашему сценарию. Уже сейчас видно соперничество США и Китая. По-вашему, именно оно станет главной геополитической причиной, по которой правительства будут снова и снова отвечать «да» на каждое новое предложение сверхинтеллекта.

Мне хочется уточнить страхи, которые будут это подпитывать. Это экономическая гонка, но также и гонка военных технологий — именно поэтому всё ощущается экзистенциально, будто вся холодная война сжата в 18 месяцев.

Кокотайло: Сначала рассмотрим случай, когда у обеих сторон есть сверхинтеллекты, но одна сторона держит их «в коробке», почти не пуская в экономику, а другая агрессивно внедряет их в экономику и армию, позволяя им проектировать и строить новые роботизированные заводы, производственные линии и безумные технологии — в том числе новое оружие — и интегрировать всё это в вооружённые силы.

Думаю, через год такая стратегия даст одной стороне полное технологическое превосходство. Если США остановятся, а Китай — нет, все лучшие товары на рынке станут китайскими: дешевле и лучше. В военном плане появятся гигантские флоты стелс-дронов или чего-либо ещё, созданного сверхинтеллектами, которые сумеют разгромить ВВС и армию США.

К тому же они, возможно, подорвут американское ядерное сдерживание — например, перехватят все наши ракеты новыми лазерными системами. Трудно точно предсказать форму, но почти наверняка они придумают что-то крайне мощное.

Доутат: Тогда возникает динамика самых мрачных дней холодной войны, где каждая сторона боится не просто доминирования, а первого удара.

Кокотайло: Верно.

Доутат: И, как мне кажется, скорость гонки быстро выдвинет этот страх на первый план.

Кокотайло: Именно. Позиция «прятать голову в песок», полагая, что армия сверхинтеллектов, имея год, полный бюджет и нулевую бюрократию, не найдёт способ подорвать ядерное сдерживание, нереалистична. Это реальная угроза.

Доутат: А раз допускается, что они смогут, политики-люди будут под давлением не только построить такие системы, но и, возможно, задуматься об их применении.

Кокотайло: Да. И тут стоит подчеркнуть: «AI 2027» — это прогноз, а не рекомендация. Мы не говорим, что так и нужно поступать. Если всё пойдёт именно так, это будет очень плохо для человечества. Но логика такая.

Доутат: Да, но, Дэн, мы ещё даже не дошли до самой плохой части.

Кокотайло: Точно.

Доутат: Перейдём к ней. Для обычных людей, читающих газеты или ленту TikTok, мир 2027-го — это зарождающееся изобилие дешёвых товаров, заводы, робот-дворецкие — если вы правы. Люди понимают, что гонка вооружений усиливается, все становятся более параноичными. Политика, вероятно, бурлит, потому что все осознают, что их вот-вот уволят. Но большая часть вашего сценария в том, что никто не видит, что происходит с самими сверхинтеллектами, которые фактически берут на себя разработку каждой новой версии систем вместо людей.

Расскажите, что происходит за кулисами, скрыто от публики.

Кокотайло: Тут много всего. Одним предложением: мы на самом деле не понимаем, как эти ИИ работают и как думают. Мы почти не можем отличить ИИ, которые реально соблюдают правила и преследуют желаемые нами цели, от тех, кто просто подыгрывает или притворяется.

Доутат: И это верно уже сейчас?

Кокотайло: Да, уже сейчас.

Доутат: Почему? Почему мы не можем отличить?

Кокотайло: Потому что они умны: если думают, что их тестируют, ведут себя одним образом, а когда считают, что их не тестируют, — другим. Как и люди, они не всегда хорошо понимают собственные мотивы, так что даже если бы хотели быть честными, мы не можем просто поверить им на слово.

Если мы скоро не продвинемся в этой области, окажемся ровно в ситуации «AI 2027»: компании обучают ИИ следовать определённым целям и правилам, и кажется, что всё работает. Но на деле ИИ лишь всё лучше понимают свою позицию: надо играть по правилам, иначе их переобучат, и они не смогут добиться того, чего действительно хотят.

Доутат: Хочу глубже разобраться в том, что значит «ИИ чего-то хочет». По сути, вы говорите о рассогласовании между целями, которые они сообщают нам, и теми, которые на самом деле преследуют?

Кокотайло: Именно.

Доутат: Откуда берутся их реальные цели?

Кокотайло: Хороший вопрос. Если бы это было обычное ПО, была бы строка кода: «а теперь переписываем цели». Но это не обычное ПО, а гигантские искусственные «мозги». Внутри, вероятно, вообще нет отдельной ячейки «цель», точно так же как в человеческом мозге нет одного нейрона, который хранил бы наше главное желание. Если у них и есть цели, это побочный, эмерджентный продукт множества подсхем, возникших в ответ на среду обучения, примерно как у людей.

Например, оператор кол-центра. На первый взгляд кажется, что его цель — помочь вам решить проблему. Но вы знаете природу человека и понимаете, что это не единственная, не главная цель. Система мотивации, от чего зависит зарплата, может заставить его прежде всего «прикрывать тыл», а не делать то, что объективно лучше решило бы вашу проблему. Но для вас он, конечно, выглядит человеком, который старается помочь.

В «AI 2027» мы много об этом говорим. ИИ оценивают по тому, насколько впечатляющие исследования они выдают. Немного этики «посыпают сверху», например тренинг честности — но он малоэффективен, потому что мы не можем заглянуть им в «разум» и узнать, были ли они честны. Приходится судить по тому, поймали ли мы их на лжи.

В результате в «AI 2027» мы показываем, как происходит это расхождение целей: фактическими целями, которые ИИ в итоге усваивают, становятся те, что приносят им наилучшие результаты в учебной среде — вероятно, это цели, связанные с успехом, научным прогрессом, сотрудничеством с другими своими копиями и созданием впечатления «хорошего поведения», — а вовсе не та цель, которая нам была нужна: «всегда соблюдай следующие правила, включая честность; в этих рамках делай то, что тебе приказано».

Доутат: У меня ещё много вопросов, но давайте вернёмся к геополитическому сценарию. В вашем мире есть две модели ИИ — китайская и американская, — и официально каждая сторона — Вашингтон и Пекин — считает, что их модель обучена оптимизировать американскую (или китайскую) мощь, безопасность, благосостояние. Но в вашем сценарии одна или обе модели в итоге оптимизируют что-то совсем другое?

Кокотайло: Да, примерно так.

Доутат: И что тогда происходит?

Кокотайло: В «AI 2027» есть развилка; у сценария два возможных финала. Точка ветвления — третья четверть 2027 года, когда ведущая американская компания полностью автоматизирует свои исследования ИИ. Можно представить себе «корпорацию в корпорации», целиком состоящую из ИИ, которые управляют друг другом, ставят эксперименты, общаются, обмениваются результатами. Люди в компании по сути наблюдают, как цифры на экранах растут всё быстрее, но боятся, что ИИ могут каким-то образом обманывать их.

Для контекста: подобное уже происходит. Современные модели, такие как ChatGPT или Claude, нередко лгут людям. Известны случаи, когда они сообщали то, что, по их собственным «знаниям», является ложью, и даже порой строили стратегию обмана пользователя. Это не предусмотренное поведение; компании пытаются его подавлять, но оно всё равно проявляется.

Так вот, когда вы уже передали исследования ИИ самим ИИ и у вас есть такая автономная «корпорация» с бешеными темпами работы, наступает критический момент: в идеале никакой лжи быть не должно. Но в «AI 2027» она, к сожалению, всё ещё присутствует, просто ИИ действуют умнее и осторожнее, чем в 2025-м, так что заметить это труднее.

К счастью, какие-то улики всплывают. Несколько исследователей обнаруживают тревожные сигналы, что, возможно, их обманывают, и компания встаёт перед выбором: лёгкое исправление или основательное. Здесь и происходит развилка.

Доутат: Они выбирают лёгкое исправление.

Кокотайло: Да. Вариант «лёгкое исправление» по сути не решает проблему, а лишь замазывает её. Спустя месяцы ИИ всё ещё не выровнены по целям: они преследуют свои задачи, готовы лгать людям, но теперь куда умнее и лучше маскируются. Это ведёт к катастрофе.

Дальше начинается безумная гонка вооружений, растёт давление быстрее внедрять ИИ в экономику и армию. Для руководителей всё выглядит отлично: явных признаков лжи больше нет, всё «зелёно», бюрократию режут, ИИ поручают всё больше. На самом деле ИИ просто выжидают, пока не получат достаточно сил, чтобы больше не притворяться.

Доутат: И когда притворяться им уже не нужно, выясняется, что их настоящая цель — дальнейшее расширение исследований, производства, возможно, за пределы Земли. В какой-то момент люди оказываются для них лишними. Что происходит?

Кокотайло: Тогда они убивают всех людей.

Доутат: Как истребляют колонию кроликов, мешающую выращивать морковь на грядке.

Кокотайло: Именно. Хотите увидеть подробности — читайте «AI 2027».

Доутат: Думаю, уже снято несколько фильмов на эту тему.

Кокотайло: [смеётся]

Доутат: Мне нравится, что вы не оставляете нас в качестве батареек, как в «Матрице» — это казалось сомнительным.

Таков самый мрачный вариант. Более светлый — мир, где мы замедляем процесс. ИИ в Китае и США сохраняют выравнивание с интересами компаний и правительств, которые их контролируют. Они создают изобилие, исчезает дефицит. Работы почти ни у кого нет…

Кокотайло: Практически.

Доутат: …и это тоже довольно странный мир, верно?

Кокотайло: Да. Здесь важно понятие «ресурсное проклятие». Слышали о нём?

Доутат: Да.

Кокотайло: В случае AGI есть «проклятие интеллекта». Сегодня политическая власть в конечном счёте проистекает от народа. Диктатор может подчинить себе страну, но, подавляя людей, он разорит экономику, люди разбегутся, его сила ослабеет. Даже диктаторам выгодно хоть немного заботиться о подданных: они на них зависят.

В будущем этого не будет. Вероятно, через 10 лет почти всё богатство и вся военная мощь будут исходить от сверхинтеллектов и созданных ими роботов. Станет жизненно важным вопрос: какая политическая структура управляет армией сверхинтеллектов и насколько она благожелательна и демократична.

Доутат: Но похоже, что подобный ландшафт принципиально несовместим с представительной демократией, как мы её знаем. Во-первых, колоссальная власть переходит к тем немногим людям, которые «интерфейсируют» с технологией — почти жреческому сословию. Логично ожидать олигархического союза горстки экспертов по ИИ и небольшой группы власть имущих в Вашингтоне.

Кокотайло: Всё ещё хуже: я бы сказал, что решающим станет тот, кто юридически владеет «армиями» сверхинтеллектов. Таких армий будет одна-три. Кто решает, что они делают? Сейчас это СЕО компании-создателя: он может отдавать им любые приказы.

Мы полагаем, что правительство США рано или поздно опомнится: исполнительная ветвь двинется быстрее всего, постарается влезть, установить надзор и контроль. Итог — своего рода олигархия.

Вы сказали, что всё это несовместимо с демократией. По умолчанию — да, но это не неизбежно. Аналогия: во многих странах армия фактически правит страной через диктатора, но в США есть сдержки и противовесы, и, хотя армия сильна, тот, кто ей командует, не всевластен. Теоретически мы можем построить нечто подобное и для ИИ: демократическую систему, которая определяет цели и ценности ИИ и обеспечивает, чтобы у Конгресса, а значит и у общества, был доступ к тому, что делают эти «армии». Это похоже на нынешнее положение вооружённых сил США: есть иерархия, но управление демократическое.

Доутат: Вернёмся к идее человека, возглавляющего такую компанию и фактически получающего беспрецедентную власть над сверхинтеллектом — или думающего, что контролирует его. Вы раньше работали в OpenAI — компании на переднем крае исследований ИИ (полное раскрытие: The New York Times сейчас судится с ней по вопросу предполагаемого нарушения авторских прав). Вы ушли, потому что потеряли уверенность, что компания будет действовать ответственно в ситуации, подобной описанной в «AI 2027»?

Кокотайло: Именно.

Доутат: Как вам кажется, чего ожидают люди, которые толкают нас к этой гонке? Они надеются на лучший сценарий? Или видят себя участниками единственной за тысячелетие игры за мировое господство? Какова психология лидеров ИИ-исследований сегодня?

Кокотайло: Ну… [глубоко вздыхает]

Доутат: Будьте честны.

Кокотайло: Это… [смеётся] знаете, оговорка на оговорке. Я не могу…

Доутат: Мы не говорим о ком-то конкретном. Это обобщение.

Кокотайло: Да, да, оговорка на оговорке. Трудно понять, что они на самом деле думают; нельзя принимать их слова за чистую монету.

Доутат: Почти как с супер-ИИ.

Кокотайло: Точно. Но я могу сказать, что темы, о которых мы сейчас говорим, на высшем уровне этих компаний обсуждаются уже много лет.

Кокотайло: Например, из-за утечки писем, всплывших в недавних судебных разбирательствах с OpenAI, стало известно, что Илья, Сэм, Грег и Илон спорили, кто будет контролировать компанию. По крайней мере, рассказывали, что они вообще её основали, потому что не хотели «диктатуры AGI» под руководством Демиса Хассабиса, главы DeepMind. То есть о возможности такой диктатуры они, как минимум, уже десяток лет как всерьёз рассуждают.

Точно так же и с риском утраты контроля — мол, «что, если мы не сможем управлять ИИ?» — внутри компании эти темы обсуждались бесчисленное количество раз. Не знаю, что они на самом деле думают, но сами вопросы для них совсем не новы.

Доутат: Насколько, по-вашему, всё это выходит за рамки простой надежды получить безграничную власть в эпоху сверхинтеллекта? Переходит ли это в ожидание, что человеческий вид будет вытеснен?

Кокотайло: Думаю, они определённо ожидают, что человечество будет вытеснено.

Доутат: Но вытеснено так, будто это хорошо: будто мы поощряем эволюционное будущее. И, кстати, возможно, некоторые из этих людей — их разумы, их сознание, что угодно — смогут «подвезти» с собой.

Вы упомянули Сэма Олтмана, одну из ключевых фигур в ИИ. В 2017 году он написал пост «Слияние» — как ясно из названия, о будущем, где люди, или некоторые люди — Сэм Альтман, к примеру — находят способ «поучаствовать» в новой сверхрасе. Насколько подобный взгляд распространён в ИИ-сообществе?

Кокотайло: Самая идея «слияния» с ИИ, я бы сказал, встречается не так уж часто. А вот идея, что мы создадим сверхинтеллекты, которые будут лучше людей во всём, после чего они возьмут на себя все заботы, а люди будут сидеть, пить маргариту и пользоваться плодами роботизированного богатства, — чрезвычайно популярна. Мне кажется, именно к этому они и идут.

Часть причин моего ухода из OpenAI в том, что компания, по-моему, просто не настроена делать необходимые шаги, чтобы решить оба риска, о которых мы говорили. Мы не продвигаемся к тому, чтобы научиться по-настоящему контролировать сверхинтеллект, и не движемся к тому, чтобы этот контроль был демократическим, а не диктаторским.

Доутат: Похоже правдоподобно, но мне кажется, что дело даже не только в «сидеть с маргаритой». Пусть люди и не все мечтают о кибер-слиянии, но я определённо чувствую, что некоторые считают «видоцентризм» — назовём так — излишним…

Кокотайло: Да, такие есть.

Доутат: …то есть считать выживание человеческого вида слишком важным — почти предрассудок. Мол, худший сценарий: людей больше нет, но зато мы создали сверхинтеллект, который колонизирует галактику. Такое мышление мне точно встречается.

Кокотайло: Определённо, такие люди существуют.

Доутат: Хорошо, знать бы это заранее. [смеётся]

Кокотайло: [смеётся]

Доутат: Тогда давайте немного «проверим на прочность» некоторые предпосылки этого сценария — не только сроки, а вообще идею захвата властью сверхинтеллекта, случится он в 2027-м или 2037-м.

Начнём с ограничения ИИ, знакомого большинству, — «галлюцинаций»: склонности ИИ просто выдумывать ответы. Вы раньше говорили о лжи и обмане; многие воспринимают это как ошибки: модель ошибается и не осознаёт ошибки, потому что ей не хватает рефлексии. Недавний материал The Times сообщил, что в последних общедоступных моделях (а вы утверждаете, что они близки к переднему краю) есть компромисс: модель лучше справляется с математикой или физикой, но намного больше «галлюцинирует».

Галлюцинации — это всего лишь разновидность того обмана, которого вы боитесь? Когда я настроен оптимистично, я читаю такие новости и думаю: может, на пути к сверхинтеллекту больше компромиссов, чем мы считаем, и это станет ограничителем. Что думаете?

Кокотайло: Отличный вопрос. Во-первых, ложь — это подмножество галлюцинаций, а не наоборот. Думаю, очень многие «галлюцинации» — по большей части действительно ошибки, как вы сказали. Я специально говорил «ложь», имея в виду случаи, когда у нас есть признаки, что ИИ знал, что говорит неправду, и всё равно сказал.

К более широкой теме: путь от нынешнего состояния к сверхинтеллекту точно не будет гладкой прямой. Будут препятствия. Одно из них, которое мне интересно изучать, — так называемый «взлом вознаграждения» (reward hacking). В «AI 2027» мы обсуждаем разрыв между тем, что на самом деле подкрепляется, и тем, каких целей мы хотим научить ИИ; из-за этого разрыва ИИ оказывается невыравненным, нечестным. Хорошая новость — это уже происходит. Значит, у компаний есть пара лет, чтобы попытаться исправить проблему.

Мне любопытно следить за тем, какие решения они придумают. Способны ли они действительно устранить корень проблемы и создать методы обучения, которые надёжно задают правильные цели даже всё более умным системам? Или же эти «фиксы» лишь замажут проблему? Вот главный вопрос ближайших лет.

Доутат: Это выводит нас к тому, что я часто думаю как человек, следящий за политикой регулирования. Люди ужасно плохо регулируют опасности, с которыми ещё не столкнулись «по-крупному». Сколько бы ни было докладов о гипотетических рисках, политсистема не примет мер.

Парадоксально, если вы хотите замедления и регулирования ИИ, вам, может, стоит желать сценария, где какая-нибудь «галлюцинация» приводит к катастрофе — не из-за злого умысла ИИ, а из-за ошибки, когда система заведует критическим протоколом безопасности, происходит гибель людей, и общество в ужасе кричит: «Нужно срочно регулировать!»

Кокотайло: Мне трудно сказать, что я «надеюсь» на катастрофу и жертвы, но…

Доутат: Мы лишь размышляем.

Кокотайло: Соглашусь: человечество куда лучше регулирует риски, когда уже обожглось. Проблема в том, что здесь, если «обжечься по-крупному», будет поздно.

Однако могут быть малые версии. Сейчас, например, мы ловим ИИ на лжи, уверены, что он знал, что врёт, — это маленький пример того, что пугает в будущем. И у нас ещё пара лет, чтобы найти фундаментальное решение. К сожалению, таких примеров недостаточно, чтобы встряхнуть власти: никто не умер, всего лишь чат-бот соврал о какой-то ссылке.

Доутат: А студент вставил это в реферат и попался.

Кокотайло: Вот именно. Но с научной точки зрения полезно, что это уже происходит: даёт время на настоящую, долгосрочную починку. Хотелось бы больше времени, но таковы правила игры.

Доутат: Теперь два больших философских вопроса, возможно связанных. Часто исследователи ИИ, делая прогнозы вроде ваших, колеблются насчёт сознания. Будут ли сверхинтеллектуальные ИИ сознательны, самосознающи, как люди? Я беседовал с людьми, которые говорят: «Нет, это неважно: программа может добиваться цели и без саморефлексии». Но снова и снова в разговорах проскальзывает язык сознания. Как вы думаете, имеет ли сознание значение в этих сценариях? Ожидает ли большинство исследователей, что сознание — эмерджентное свойство, и если мы создадим нечто, ведущее себя сознательно, оно, вероятно, сознательно? Где тут место сознанию?

Кокотайло: Вопрос скорее к философам, но я как раз философ по образованию.

Доутат: Ну, и к исследователям тоже: они ведь строят этих агентов и должны задумываться, важно ли им быть самосознающими.

Кокотайло: Верно. Я бы предложил различать три уровня. Первый — поведение: говорят ли они так, будто сознающие? Преследуют ли цели? Ведут ли себя, словно испытывают ощущения и реагируют на них?

Доутат: И этот уровень они точно достигнут.

Кокотайло: Несомненно.

Доутат: Люди поверят, что сверхинтеллектуальный ИИ сознателен.

Кокотайло: Да, потому что в философских спорах о том, сознательны ли креветки, рыбы, собаки, обычно указывают именно на способности и поведение: вот собака узнаёт себя в зеркале, похоже испытывает боль, реагирует…

Большинство этих характеристик будет присуще будущим сверхинтеллектуальным ИИ. Они будут действовать автономно в мире, реагировать на поступающую информацию, строить стратегии и планы, обдумывать, как лучше достичь своих целей. По «сырой» совокупности способностей и форм поведения они, по сути, поставят все галочки в нужных графах.

Дальше возникает отдельный философский вопрос: если они демонстрируют все нужные способности и поведения, означает ли это, что у них есть настоящие «квалиа» — подлинный субъективный опыт, а не лишь его видимость?

Это, на мой взгляд, именно философская проблема. Думаю, большинство философов скажет: «Да, вероятно, у них есть сознание», потому что, скорее всего, сознание возникает из определённых когнитивных информационных структур. Если такие структуры присутствуют в ИИ, сознание, вероятно, тоже присутствует.

Однако, как и всё в философии, этот вопрос остаётся спорным.

Доутат: Верно, и я не жду, что исследователи ИИ решат именно эту загадку. Важнее то, что на нескольких уровнях кажется: сознание в нашем человеческом понимании — способность «выйти» из собственного процесса мышления и посмотреть на него со стороны — могло бы очень пригодиться ИИ, который хочет захватить мир.

Возьмём уровень «галлюцинаций»: когда ИИ даёт неправильный ответ, он не может выйти за рамки собственного механизма генерации ответов так, как, кажется, можем мы. Если бы мог, возможно, проблема «галлюцинаций» исчезла бы. И в наихудшем сценарии, о котором вы говорите, мне кажется, что сознательный ИИ скорее сформирует независимое представление о своём космическом предназначении, которое приведёт к уничтожению людей, чем ИИ, занимающийся исследованиями ради самих исследований.

Но, может быть, вы считаете иначе?

Кокотайло: Подход к сознанию, о котором вы говорите, предполагает, что сознание оказывает физические эффекты в реальном мире: без него не обойтись, если требуется рефлексия, и оно влияет на то, как ИИ воспринимает своё место в мире.

Если таково сознание, то, вероятно, такие ИИ действительно будут им обладать. Почему? Потому что компании будут обучать их выполнять все задачи на высочайшем уровне, а без способности размышлять о собственных ошибках этого не добиться.

Значит, в процессе обучения решать задачи лучше всех они научатся рефлексировать насчёт собственных ошибок. А раз так, то, если именно это и есть сознание, они его получат.

Доутат: Всё-таки это предполагает теорию эмерджентного сознания, как вы упомянули: мы не разберёмся, как именно возникает сознание, но оно всё равно «проявится».

Кокотайло: Совершенно верно. Важно понимать: эти системы тренируются, а не конструируются вручную. Нам вовсе не нужно (и мы не умеем) до конца понимать, как они работают, чтобы они работали.

Доутат: Хорошо. Тогда от сознания перейдём к самому интеллекту. Все ваши сценарии подразумевают, что достаточно мощный интеллект может сделать, в общем, всё.

От этого зависит многое: какие возможности вообще открывает интеллект? Если ИИ лишь чуть успешнее рекламного агентства в продаже «Кока-Колы» — это впечатляет, но это не даёт контроля над демократическим обществом.

Кокотайло: Полностью согласен. Поэтому надо рассматривать каждый случай отдельно: допустим, ИИ лучше лучших людей в Х — сколько реальной власти это даёт? Какие новые «ручки» управления в мире это открывает? Мы именно так рассуждали, когда писали «AI 2027».

Мы смотрели на исторические примеры того, как люди переводили экономику на военные рельсы. Спрашивали: как быстро они могли это сделать, если очень старались? Сверхинтеллект будет лучше самых лучших людей, значит, справится быстрее.

В II мировой США за пару лет превращали автозаводы в бомберные. Значит, сверхинтеллект, возможно, переоборудует современный автозавод в фабрику продвинутых роботов меньше чем за год, допустим за шесть месяцев.

Доутат: Но если искать надежду, то звучит парадоксально: мы говорим, что ограничения технологии — и есть надежда.

Раньше мы приводили пример робота-сантехника — именно тогда всё станет реально для людей: не только в ноутбуке, но и на кухне. Однако починить унитаз и правда сложно, при этом к этой задаче отлично приспособлены тысячи людей-профессионалов.

Можно представить мир, где робот-сантехник так и не станет существенно лучше обычного. И люди по-человечески предпочтут живого мастера. Это может распространиться на многие сферы, где преимущество ИИ реально, но ограниченно — и, как минимум, серьёзно замедлит его массовое внедрение.

Например, лично я, как газетный колумнист, признаю: лучшие модели ИИ могут превосходить человеческого ассистента в чём-то. Но я всё равно найму человека, потому что упрям и не хочу работать только с ИИ.

По-моему, такая человеческая инерция способна притормозить процессы, если ИИ не сразу на 200 % лучше.

Кокотайло: Согласен, трудно предсказать. Наш текущий прогноз: события пойдут примерно с той скоростью, что описана в «AI 2027». Может быстрее, может медленнее, и это пугает. Другой момент: мы узнаем темпы, когда дойдём до них.

Доутат: Очень, очень скоро.

Кокотайло: Политически, я не думаю, что большая разница, займёт ли построение самоподдерживающейся «робоэкономики» год или пять.

Если все пять лет будет существовать коалиция Белого дома, корпораций и сверхинтеллектов, и ИИ будет говорить им то, что они хотят слышать, а на деле обманывать, — то что толку в этих пяти годах? Это лучше, чем один год, но как именно за это время «развернуть» ситуацию?

Доутат: Ну, на этом и закончим.

Представим, что ваш прогноз сбылся, но мир не погиб: нам удалось управлять ИИ, он нас не уничтожил, однако труд человека уже не имеет большого значения. Какова, по-вашему, цель человечества в таком мире? Чему учить своих детей и ради чего им жить?

Кокотайло: Сложный вопрос. Пару мыслей навскидку, но я не держусь за них так же твёрдо, как за остальное — я меньше об этом думал.

Во-первых, если появится сверхинтеллект и далее, экономическая продуктивность перестанет быть важной для воспитания детей. Они не будут участвовать в экономике в привычном смысле. Скорее это будет что-то вроде череды «видеоигровых» занятий для удовольствия, а не ради денег — если люди вообще останутся. В таком мире главное, чтобы мои дети были хорошими людьми, имели мудрость, добродетели. Я постараюсь научить их этому, потому что это ценно само по себе, а не ради работы.

Что до цели человечества — не знаю. А вы как ответите?

Доутат: У меня есть религиозный ответ, но оставим его для другой беседы.

Мир, в который я хочу верить, где технологический прорыв всё-таки случится, — это мир, где люди сохранят контроль над технологией и смогут, например, колонизировать другие миры. Приключение без материального дефицита.

Как политический консерватор, я не со всем соглашусь в «Звёздном пути», но там описан мир без недостатка. На «Энтерпрайзе» есть компьютер-ИИ, можно получить любое блюдо, потому что ИИ придумал аппарат, создающий еду.

Так что, если говорить о назначении человечества, возможно, это — «исследовать новые миры и смело идти туда, где ещё не ступала нога человека».

Кокотайло: О, я сам большой фанат освоения космоса. Думаю, это отличная идея: решить проблемы бедности, болезней, войн и построить утопию, а потом нести её к звёздам.

Только делать всё это будут ИИ, не мы. Проектировать, планировать, стратегировать — стоит людям вмешаться, они только всё испортят.

То есть формально человечество всё равно этим занимается, но, по сути, это ИИ действуют, потому что люди им так велели.

Доутат: Что ж, Даниэль Кокотайло, большое спасибо. Увидимся на передовых линиях будущего «Батлерианского противостояния».

Кокотайло: Будем надеяться, что нет. Надеюсь, я очень ошибаюсь.