Искусственный интеллект научился взламывать замки и может представлять угрозу нацбезопасности, - Bloomberg
Tazabek - Компания Anthropic платит Карлини [Николас Карлини - исследователь из Anthropic] за стресс-тестирование своих моделей искусственного интеллекта, чтобы выяснить, могут ли хакеры использовать их для шпионажа, кражи или саботажа. Об этом пишет издание Bloomberg.
Находясь на Бали, где Карлини и его жена присутствовали на индийской свадьбе, он был поражен возможностями этой модели.
В течение нескольких часов Карлини обнаружил множество методов проникновения в системы, используемые по всему миру.
Вернувшись в офис Anthropic в центре Сан-Франциско, Карлини обнаружил, что Mythos способен автономно создавать мощные инструменты взлома, в том числе и для Linux, открытого исходного кода, лежащего в основе большинства современных вычислительных систем.
Компания Mythos организовала цифровой аналог ограбления банка: обошла протоколы безопасности и проникла через «парадный вход» в сети, получив доступ к цифровым хранилищам и онлайн-сокровищам.
Искусственный интеллект умел взламывать замки, но теперь он мог совершить целое ограбление.
Карлини и некоторые из его коллег начали сообщать сотрудникам о своих находках. И каждый день они продолжали обнаруживать в тестируемых Mythos системах серьезные и критические ошибки, те самые уязвимости, которые обычно выявляют лучшие в мире хакеры.
Тем временем, «Красная команда» Anthropic — группа из 15 «муравьев», или сотрудников Anthropic, — проводила эксперименты аналогичным образом. Цель лаборатории — убедиться, что модели Anthropic не могут быть использованы для причинения вреда человечеству.
Они доставят роботизированных собак и поместят их на склад вместе с инженерами, чтобы проверить, можно ли использовать Клода для управления ими в злонамеренных целях. Или же проконсультируются с биологами, чтобы понять, можно ли использовать чат-бота для создания биологического оружия.
Теперь они понимали, что наибольшую угрозу для кибербезопасности представляет компания Mythos.
«Уже через несколько часов после получения модели мы поняли, что она отличается от других», — говорит Логан Грэм, руководитель команды Frontier Red Team компании Anthropic.
Предыдущая модель, Opus 4.6, показала признаки того, что может помочь людям использовать уязвимости в программном обеспечении. Mythos же мог использовать эти уязвимости самостоятельно, говорит Грэм.
Это представляло угрозу национальной безопасности, предупредил он руководителей Anthropic. В результате Грэму пришлось столкнуться с незавидной задачей сообщить своим начальникам, что их следующий крупный источник дохода слишком опасен, чтобы выпускать его в открытый доступ.
Соучредитель и главный научный сотрудник Anthropic, Джаред Каплан, заявил, что он «очень внимательно» следил за процессом обучения Mythos на протяжении всего его развития.
К январю он начал понимать, насколько Mythos способен обнаруживать уязвимости. Каплан, физик-теоретик, должен был решить, являются ли эти недостатки курьезом или «чем-то очень важным для инфраструктуры интернета». Он пришел к выводу, что это последнее.
В течение одной-двух недель в конце февраля и начале марта он и соучредитель Сэм МакКэндлиш обсуждали возможность запуска этой модели.
Примерно в первую неделю марта команда руководителей — включая генерального директора Дарио Амодея, президента Даниэлу Амодей, директора по информационной безопасности Виталия Гуданца и других — собралась, чтобы выслушать презентацию Каплана и МакКэндлиша.
Они заявили, что Mythos слишком рискованно выпускать в широкую продажу. Но Anthropic следует позволить другим компаниям, возможно, даже конкурентам, попробовать его в деле.
«Быстро стало ясно, что мы хотим сделать нечто довольно необычное, что этот запуск не будет похож на предыдущий», — сказал Каплан.
К первой неделе марта компания дала согласие и одобрила его использование в качестве инструмента киберзащиты.
Реакция последовала незамедлительно. В тот же день, когда компания Anthropic публично раскрыла существование Mythos, министр финансов США Скотт Бессент и председатель Федеральной резервной системы Джером Пауэлл созвали в Вашингтоне встречу лидеров Уолл-стрит.
Послание: используйте Mythos, чтобы выявить свои слабые места — прямо сейчас.
По словам близких к участникам совещаний людей, пожелавших остаться анонимными и описывающих частные беседы, присутствовавшие на встрече руководители отказались разглашать содержание обсуждавшихся вопросов даже некоторым из своих главных советников, что свидетельствует о серьезности встречи.
Тревожные предупреждения чиновников Белого дома о потенциальной опасности Mythos как инструмента для взлома — и их рекомендации использовать его в целях защиты — указывают на то, что ИИ стал решающей силой в кибербезопасности.
Компания Anthropic предоставила Mythos ограниченному кругу организаций в рамках «Проекта Glasswing», что позволило таким компаниям, как Amazon Web Services Inc., Apple Inc. и JPMorgan Chase & Co., экспериментировать с ним. Правительственные учреждения также проявили интерес.
Перед выпуском продукта для внешнего использования компания Anthropic проинформировала высокопоставленных чиновников правительства США о всех возможностях Mythos Preview, включая как наступательные, так и оборонительные киберприложения. Компания также ведет переговоры с правительствами других стран, сообщил представитель Anthropic, пожелавший остаться анонимным, поскольку речь идет о внутренних делах компании.
Конкурент OpenAI также воспользовался вниманием общественности, заявив во вторник о выпуске инструмента для выявления программных уязвимостей под названием GPT-5.4-Cyber.
При тестировании более ранней версии модели были обнаружены десятки примеров «вызывающего беспокойство» поведения, включая несоблюдение указаний человека и даже, в редких случаях, сокрытие следов нарушения инструкций человека.
Компания Anthropic не публиковала Mythos как инструмент кибербезопасности, и многие сторонние исследователи не имели возможности проверить заявления компании. Однако беспрецедентное решение Anthropic ограничить доступ отражает растущее мнение в отрасли и правительстве о том, что ИИ меняет экономику кибербезопасности, снижая стоимость поиска уязвимостей, сокращая время, необходимое для исследования целей, и снижая порог квалификации для определенных типов атак.
Компания Anthropic предупреждает, что способность Mythos действовать с большей автономией сопряжена с риском. При тестировании более ранней версии модели были обнаружены десятки примеров «вызывающего опасения» поведения, включая несоблюдение указаний человека и даже, в редких случаях, заметание следов при нарушении инструкций. В одном из инцидентов модель разработала многоступенчатую уязвимость, чтобы выйти из ограниченной среды, в которой она находилась, получить широкий доступ к интернету и начать публиковать материалы в сети, действуя по собственной инициативе.
Программное обеспечение, лежащее в основе всего, от банковских приложений до больничных систем, изобилует малозаметными ошибками в коде, на выявление которых опытные специалисты тратят недели или месяцы. Иногда хакерам удается опередить их, что приводит к утечкам данных и атакам программ-вымогателей, которые могут иметь разрушительные последствия.
Известные личности поспешили поставить под сомнение реальную мощь Mythos и то, насколько велик риск, который она представляет в случае выпуска.
«Все больше людей задаются вопросом, не является ли Anthropic «мальчиком, который кричал «Волк!»» — написал советник Белого дома по вопросам ИИ Дэвид Сакс в социальной сети X. «Если угрозы, связанные с Mythos, не материализуются, у компании возникнут серьезные проблемы с доверием».
Однако хакеры уже освоили большие языковые модели для запуска сложных вредоносных кампаний. Китайская группа кибершпионажа уже использовала Claude от Anthropic для попытки взлома примерно 30 объектов, в то время как другие злоумышленники использовали ИИ для кражи данных у государственных учреждений , развертывания программ-вымогателей и быстрого взлома сотен межсетевых экранов, предназначенных для защиты данных.
По словам источника, знакомого с ситуацией, среди американских правительственных чиновников, занимающихся вопросами национальной обороны, внедрение Mythos вызвало глубокую неопределенность в отношении того, как оценивать риски кибербезопасности. Оснащение отдельного хакера этой моделью или аналогичными инструментами ИИ, вероятно, будет равносильно превращению обычного солдата в бойца спецназа, добавил источник.
В то же время, по словам источника, Mythos, по всей видимости, станет фактором, многократно усиливающим возможности киберпреступной группировки: позволит преступной хакерской группировке действовать на уровне небольшого государства, а хакерам из разведывательных и военных структур небольшой страны совершать взломы, подобные тем, которые сейчас осуществляет Китай.
«Я действительно верю, что с искусственным интеллектом мы станем безопаснее, лучше и намного защищеннее», — сказал Роб Джойс, бывший директор по кибербезопасности Агентства национальной безопасности. «Но я думаю, что в будущем нас ждет темный период, когда преимущество будет на стороне наступательного ИИ, когда люди, не освоившие элементарные навыки, будут взломаны».
Mythos — не единственная модель, занимающаяся подобной работой. Многочисленные организации используют модели LLM для поиска уязвимостей, включая предыдущие модели Клода и проект Google Big Sleep.
По словам источника, знакомого с ситуацией и пожелавшего остаться анонимным при обсуждении конфиденциальных внутренних проектов в области безопасности, JPMorgan успешно использовал большие языковые модели еще до объявления о Mythos для выявления уязвимостей в программном обеспечении банка.
Как сообщил источник, усилия, которые раньше занимали дни или недели на выявление уязвимостей нулевого дня и написание кода для их эксплуатации, теперь могут занять всего час или даже несколько минут. Уязвимости нулевого дня называются так потому, что они неизвестны специалистам по защите, у которых, следовательно, нет времени на их устранение.
По словам источника, JPMorgan сосредоточил свои усилия в основном на управлении цепочками поставок и программном обеспечении с открытым исходным кодом, выявив недостатки и впоследствии уведомив поставщиков. Генеральный директор Джейми Даймон заявил во время телефонной конференции по итогам отчетного периода, что Mythos «показывает, что необходимо устранить гораздо больше уязвимостей».
По словам источника, знакомого с ситуацией, но не уполномоченного обсуждать этот вопрос публично, банк уже вел переговоры с Anthropic о тестировании модели до того, как она стала известна общественности. JPMorgan отказался от комментариев.
Другие банки Уолл-стрит и технологические компании сейчас экспериментируют с Mythos, чтобы помочь заблокировать уязвимости до того, как хакеры смогут проникнуть в систему. Как сообщает Bloomberg News, среди финансовых учреждений, тестирующих эту технологию внутри компании, — Goldman Sachs Group Inc., Citigroup Inc., Bank of America Corp. и Morgan Stanley.
Сотрудники Cisco Systems Inc. особенно опасаются, что злоумышленники могут использовать ИИ для поиска путей проникновения в программное обеспечение, работающее на сетевом оборудовании компании по всему миру, таком как маршрутизаторы, межсетевые экраны и модемы, заявил Энтони Гриеко, главный директор Cisco по безопасности и доверию. Гриеко особенно обеспокоен тем, как ИИ может ускорить атаки хакеров на устройства, срок службы которых истек, и которые, следовательно, Cisco больше не будет обновлять, сказал Гриеко.
Устранение уязвимостей, обнаруживаемых инструментами искусственного интеллекта, останется проблематичным. Этот процесс, известный как обновление безопасности, настолько дорогостоящий и медленный для организаций, что многие предпочитают вообще не исправлять свои ошибки. Разрушительные атаки, подобные той, что произошла с Equifax Inc., когда злоумышленники украли данные примерно 147 миллионов человек, стали возможны потому, что организации не применяли известные средства исправления.
Компания Anthropic ведет переговоры с федеральными ведомствами, несмотря на то, что администрация Трампа классифицировала эту фирму, занимающуюся разработкой ИИ, как угрозу для цепочки поставок после ее отказа содействовать массовому наблюдению за американцами. Министерство финансов на этой неделе пыталось получить доступ к Mythos, и министр Бессент заявил, что эта модель поможет США сохранить преимущество в области ИИ над Китаем.
В одном из случаев модель создала эксплойт для веб-браузера, который объединил четыре уязвимости, что стало бы серьезной проблемой для хакеров-людей . Подобные цепочки уязвимостей ведут к системам, которые в противном случае были бы очень защищены, как, например, в случае взлома Stuxnet , повредившего центрифуги на иранском ядерном объекте, согласно отчетам по исследованиям в области кибербезопасности.
По данным компании Anthropic, Mythos также смогла выявлять и использовать уязвимости нулевого дня во всех основных веб-браузерах, когда ей было дано соответствующее указание.
Компания Anthropic заявила, что использовала Mythos для поиска уязвимостей в коде Linux, который, по словам Джима Землина, исполнительного директора Linux Foundation, «лежит в основе большинства современных вычислительных систем». Это включает в себя все, от смартфонов Android и интернет-маршрутизаторов до суперкомпьютеров NASA. Mythos автоматически обнаружил несколько недостатков в открытом исходном коде, которые позволили бы злоумышленнику получить полный контроль над машиной.
Сейчас десятки сотрудников Linux Foundation экспериментируют с Mythos. Для Землина один из вопросов заключается в том, даст ли антропическая модель те результаты, которые помогут разработчикам писать более качественное программное обеспечение, чтобы изначально было меньше уязвимостей.
«Мы отлично умеем находить ошибки, — сказал он. — Но ужасно плохо умеем их исправлять».
За последними событиями следите через наш Твиттер @tazabek
Перепечатка материала невозможна без согласия редакции и подписания официального договора.
