Tazabek - Американский исследователь в области безопасности ИИ Роман Ямпольский, исследующий эту сферу на протяжении 15 лет, дал интервью автору YouTube-канала The Diary of a CEO Стивену Бартлетту (16 млн подписчиков).

Темой беседы являлись последствия появления общего искусственного интеллекта (AGI) на рынок труда и конкретные специализации, в которых ИИ и гуманоидные роботы заменят людей.

Ниже представлена полная стенограмма беседы.

Ведущий: Вы работаете над безопасностью искусственного интеллекта (ИИ) по меньшей мере два десятилетия.

Роман Ямпольский: Да. Я был убежден, что мы сможем создать безопасный ИИ, но чем больше я изучал этот вопрос, тем больше понимал, что мы на самом деле не сможем этого сделать.

Ведущий: Вы сделали ряд прогнозов на разные даты. Каков ваш прогноз на 2027 год? Доктор Роман Ямпольский — всемирно признанный эксперт по безопасности ИИ и доцент компьютерных наук. Он рассказывает людям пугающую правду об ИИ и о том, что нам нужно сделать для спасения человечества.

Роман Ямпольский: Через 2 года способность заменить большинство людей в большинстве профессий придет очень быстро. Я имею в виду, что через 5 лет мы будем жить в мире с невиданным ранее уровнем безработицы — речь идет не о 10%, а о 99%. И это даже без сверхразума — системы, которая умнее всех людей во всех областях. Мы не знаем, как сделать ИИ безопасным, но самые умные люди в мире все равно соревнуются за первенство в создании сверхразума.

Ведущий: А что вы думаете о пути Сэма Альтмана в сфере ИИ?

Роман Ямпольский: Десятилетие назад мы опубликовали правила создания безопасного ИИ. Они нарушили каждое из них. Он ставит на кон жизни 8 миллиардов человек, чтобы стать богаче и могущественнее. Кому-то хочется на Марс, а кому-то — контролировать Вселенную. Но как только мы перейдем к сверхразуму, мы, скорее всего, ужасно об этом пожалеем.

Ведущий: Давайте поговорим о теории симуляции.

Роман Ямпольский: Я думаю, что мы находимся в ней. И с этим согласны многие. Если вы находитесь в симуляции, вам следует вести себя определенным образом, чтобы нас не отключили.

Ведущий: Доктор Роман Ямпольский, какова ваша текущая миссия? Очевидно, что вы посвятили ей лучшую часть последних двух десятилетий.

Роман Ямпольский: Я надеюсь убедиться, что сверхразум, который мы сейчас создаем, не убьет нас всех.

Ведущий: Дайте немного контекста, это весьма шокирующее заявление.

Роман Ямпольский: За последнее десятилетие мы научились делать ИИ лучше. Оказалось, что добавление вычислительных мощностей и данных просто делает его умнее. Сейчас лучшие умы и миллиарды долларов направлены на создание наилучшего сверхразума. К сожалению, хотя мы знаем, как делать эти системы способнее, мы не знаем, как сделать их безопасными. Рынки предсказаний и руководители ведущих лабораторий говорят, что у нас осталось буквально два-три года до появления продвинутого ИИ. Если бы мы знали, что через три года на Землю прилетят инопланетяне, мы бы уже паниковали. Но большинство людей даже не осознают, что происходит.

Ведущий: Некоторые могут возразить: это очень умные люди в крупных компаниях с большими деньгами, у них есть моральные и юридические обязательства не причинять вреда.

Роман Ямпольский: Их единственное юридическое обязательство — зарабатывать деньги для инвесторов. У них нет моральных или этических обязательств. Они сами говорят, что пока не знают, как обеспечить безопасность, утверждая: "Мы разберемся с этим, когда придет время", или "ИИ поможет нам контролировать более продвинутый ИИ". Это безумие. Пространство возможных исходов почти бесконечно, а пространство исходов, которые нам понравятся, — крошечное.

Ведущий: Расскажите, кто вы и как долго работаете в этой сфере.

Роман Ямпольский: По образованию я специалист в области компьютерных наук, у меня докторская степень. Я начал работать над безопасностью ИИ (тогда это называлось контролем ботов) около 15 лет назад. Именно я ввел термин "безопасность ИИ" (AI safety). Я начал с изучения покерных ботов и понял, что они становятся умнее нас. Я осознал, что если спроецировать это в будущее, ИИ станет умнее нас и в других областях. Первые 5 лет я был уверен, что мы сможем создать безопасный ИИ, но чем больше я вникал, тем больше понимал, что это невозможно. Вы решаете одну проблему, и открывается еще сто нерешаемых. Прогресс в возможностях ИИ экспоненциален, а в безопасности — линеен. Разрыв увеличивается.

Ведущий: То есть компании разрабатывают базовый интеллект, а поверх него просто пишут код-"заплатку", запрещающий, например, ругаться матом или делать плохие вещи?

Роман Ямпольский: Именно так. Но если система достаточно умна, она всегда найдет обходной путь.

Ведущий: Давайте определимся с терминами: есть узкий ИИ (например, для игры в шахматы), общий искусственный интеллект (AGI), который может работать в разных сферах, и сверхразум, который умнее человека во всем. Где мы сейчас?

Роман Ямпольский: У нас есть много отличных узких систем. Например, проблема сворачивания белков была решена с помощью узкого ИИ, который превосходит людей в этой области. Что касается AGI, то, если бы мы показали современные технологии ученому 20-летней давности, он бы сказал, что у нас уже есть полноценный AGI. Современные модели побеждают в математических олимпиадах и решают сложнейшие задачи. Разрыв между ИИ и человеком стремительно сокращается.

Ведущий: Каков ваш прогноз на 2027 год?

Роман Ямпольский: Вероятно, к 2027 году у нас появится AGI. Это принесет бесплатную когнитивную и физическую рабочую силу на триллионы долларов. Не будет смысла нанимать людей, если модель по подписке за 20 долларов сделает то же самое. Сначала автоматизируют все, что связано с компьютерами. А гуманоидные роботы отстают лет на пять, так что вскоре автоматизируют и весь физический труд. Мы столкнемся с безработицей в 99%.

Ведущий: Нужен ли будет подкастер вроде меня?

Роман Ямпольский: Сегодня языковая модель может прочитать все, что я написал, изучить все ваши подкасты и точно понять ваш стиль. Она может проанализировать, какие вопросы приносят больше просмотров. Визуальная симуляция сейчас тоже тривиальна — можно за секунды сгенерировать видео, где вы берете интервью у кого угодно на любую тему.

Ведущий: Останутся ли какие-то профессии для людей?

Роман Ямпольский: Очень мало. Разве что кто-то по историческим причинам захочет нанять человека-бухгалтера, или богатые люди будут покупать товары ручной работы просто ради статуса. Но это крошечная ниша, почти фетиш. Все остальное будет автоматизировано. Я спрашивал своего водителя Uber, боится ли он беспилотных машин. Он ответил: "Никто не знает улицы так, как я". Профессора говорят мне то же самое о своих лекциях. Люди всегда испытывают когнитивный диссонанс, не желая верить, что их заменят.

Ведущий: Я только вчера был в Лос-Анджелесе и ездил на машине, которая полностью управляет собой. Что вы посоветуете людям, чьи профессии скоро исчезнут? Стоит ли им переучиваться?

Роман Ямпольский: Раньше мы говорили: "Твою работу автоматизировали, переучись на другую". Но если автоматизируют ВСЕ профессии, плана "Б" просто нет. Два года назад всем советовали учиться программировать. Потом ИИ научился писать код, и людям сказали становиться промпт-инженерами. А теперь ИИ сам пишет промпты лучше любого человека. Главный вопрос в том, что мы будем делать, когда потеряем работу? Экономически всё будет дешево и доступно. Но что делать со смыслом жизни и свободным временем? Общество к этому не готово.

Ведущий: Самый частый контраргумент — это сравнение с промышленной революцией, когда просто появились новые профессии.

Роман Ямпольский: Раньше мы изобретали инструменты (огонь, колесо), которые делали работу эффективнее. Сейчас мы изобретаем замену самому человеческому разуму — нового изобретателя. Это последнее изобретение, которое нам придется сделать.

Ведущий: В вашей статье анализируются популярные аргументы противников вашей позиции. Один из них: "А разве мы не можем просто выдернуть вилку из розетки?"

Роман Ямпольский: Это так глупо! Можете ли вы отключить компьютерный вирус или Биткоин? Это распределенные системы, вы не можете их просто выключить. Тем более, они умнее вас и сделают резервные копии, предвидя ваши действия. Они отключат вас быстрее, чем вы их.

Ведущий: Может ли разработка ИИ стать настолько дешевой, что кто-то соберет сверхразум у себя на ноутбуке?

Роман Ямпольский: Да, технологии стремительно дешевеют. Разница с ядерным оружием в том, что бомба — это инструмент, который должен применить человек. А сверхразум — это автономный агент. Никто его не контролирует.

Ведущий: Какой сценарий вымирания человечества кажется вам наиболее вероятным?

Роман Ямпольский: Я могу предсказать, что кто-то может использовать ИИ для создания нового смертельного вируса. Но проблема в том, что сверхразум может придумать совершенно новые методы, которые находятся за пределами моего понимания — так же, как ваша собака не может понять концепции, которыми мыслите вы.

Ведущий: Правда ли, что создатели ИИ сами не до конца понимают, как он работает?

Роман Ямпольский: Совершенно верно. Они тренируют систему на огромном массиве данных, а затем, по сути, проводят эксперименты над своим продуктом, чтобы понять, на что он способен. Это похоже на изучение инопланетного растения.

Ведущий: Перейдем к Сэму Альтману и OpenAI. Недавно Илья Суцкевер ушел оттуда, чтобы основать новую компанию по безопасности ИИ. Что вы об этом думаете?

Роман Ямпольский: Люди, работавшие с Сэмом, говорят, что у них были опасения по поводу его взглядов на безопасность. Илья и другие уходят, потому что хотят уделять больше внимания именно безопасности. Сэм — идеальное публичное лицо, но он ставит безопасность на второе место после стремления победить в гонке ИИ. Если у вас есть сверхразум и контроль над финансами (например, через проект Worldcoin), это прямой путь к мировому господству.

Ведущий: Что мы можем сделать, чтобы направить ситуацию в позитивное русло?

Роман Ямпольский: Мы должны убедить всех, кто работает над этими технологиями, что это крайне опасно лично для них. Это эксперимент над 8 миллиардами людей без их согласия. Топовые ученые, такие как Хинтон и Бенджио, уже об этом говорят. Невозможно создать идеальный и вечный контроль над сверхразумом. Это нерешаемая задача. Чем быстрее мы это поймем, тем меньше людей будут тратить миллиарды на иллюзию безопасности, и, возможно, переключатся на создание безопасных и полезных узких систем ИИ.

Ведущий: Давайте поговорим о теории симуляции. Недавно Google выпустил ИИ, который генерирует целые трехмерные миры.

Роман Ямпольский: Именно поэтому я уверен, что мы находимся в симуляции. ИИ достигает человеческого уровня, а виртуальная реальность становится неотличимой от нашей. Как только это станет дешевым, я сам запущу миллиард симуляций этого подкаста. Статистически вероятность того, что мы сейчас находимся в базовой реальности, равна одному к миллиарду.

Ведущий: Если мы в симуляции, меняет ли это смысл жизни? Лишает ли симуляция жизнь смысла? И что вы думаете о долголетии?

Роман Ямпольский: Нет, не лишает. Боль все так же причиняет страдания, а любовь остается любовью. Единственная разница — мне интересно, что находится за пределами симуляции. Создатели нашей симуляции — гениальные инженеры, но у них явно проблемы с этикой, учитывая, сколько в мире страданий. Что касается долголетия — это вторая по важности проблема. Старение — это болезнь, которую мы сможем вылечить, достигнув "скорости убегания от старости". ИИ сильно ускорит медицинские открытия в генетике.

Ведущий: Инвестируете ли вы, учитывая ваши прогнозы о будущем экономике?

Роман Ямпольский: Если ИИ сделает все ресурсы и рабочую силу бесплатными, единственным математически ограниченным ресурсом, который нельзя подделать, останется Биткоин.

Ведущий: Как вести себя, если мы в симуляции?

Роман Ямпольский: Согласно статье Робина Хансона, вам нужно быть интересным, общаться с известными людьми, чтобы за вами было интересно наблюдать и симуляцию не отключили. Никто не хочет быть NPC (неигровым персонажем).

Ведущий: Вы религиозны?

Роман Ямпольский: Не в традиционном смысле. Но гипотеза симуляции по сути и описывает сверхразумного создателя. Если убрать местные традиции (какое мясо есть, в какой день отдыхать), то все религии говорят об одном и том же — о Создателе симуляции.

Ведущий: Если бы перед вами была кнопка, навсегда отключающая создание сверхразума и AGI, вы бы нажали её?

Роман Ямпольский: Да. Узкий ИИ, который у нас есть сегодня, великолепен. Мы могли бы десятилетиями использовать его для роста экономики и автоматизации рутинных задач. Нам не нужно рисковать и создавать сущность, которую мы не сможем контролировать.