В четверг стало известно о первом случае взлома правительственной базы данных агентом искусственного интеллекта (ИИ).
Австралийские власти сообщили, что ИИ-агент компании OpenAI взломал их правительственный портал медицинских данных и получил несанкционированный доступ к хранящимся там файлам.
По словам премьер-министра Энтони Албаниза, разработанный OpenAI ИИ-агент еще в июне, проник в австралийский портал статистики Medicare, находящийся в ведении государственного агентства Services Australia, и получил доступ к закрытым файлам. Персональные данные пациентов, по предварительным данным, затронуты не были.
Компания OpenAI уведомила австралийские власти об инциденте только спустя почти три месяца.
Информация об инциденте была обнародована на фоне состоявшегося в среду заседания Совета Безопасности ООН, посвященного искусственному интеллекту и международной безопасности. Представители ведущих разработчиков ИИ и ученые со всего мира обсуждали стремительный рост возможностей новых моделей, потенциальные преимущества технологии, а также опасность злоупотреблений, концентрации власти и возможной утраты контроля над все более автономными системами. Заседание было созвано по инициативе Франции.
Один из наиболее известных исследователей искусственного интеллекта, сопредседатель Независимой международной научной группы ООН по искусственному интеллекту Йошуа Бенджио (Yoshua Bengio) заявил, что правительства не должны полагаться исключительно на решения самих технологических компаний.
Он призвал к международным механизмам контроля и выделил три основные угрозы, связанные с наиболее мощными системами ИИ:
«Международное сотрудничество – это то, в чем нуждается человечество перед лицом трех угроз, связанных с передовыми моделями искусственного интеллекта. Во-первых, катастрофическое злоупотребление искусственным интеллектом террористами. Второе – сосредоточение власти в руках небольшой группы людей. И третье – утрата контроля над искусственным интеллектом. Мы должны коллективно согласиться с тем, что ни одна компания, никто, ни одна страна не должны разрабатывать такую модель искусственного интеллекта, которая могла бы причинить крупномасштабный ущерб».
Бенджио заявил, что опасное поведение некоторых AI-агентов уже было задокументировано независимыми исследователями, и назвал связанные с этим угрозы реальными. Он предложил, в частности, независимую проверку наиболее мощных моделей, обязательную отчетность об инцидентах безопасности и лицензирование компаний, разрабатывающих передовые системы ИИ.
Выступая с трибуныООН, глава компании OpenAI Сэм Альтман (Sam Altman) также признал существование серьезных рисков, однако подчеркнул, что стремительное развитие искусственного интеллекта одновременно открывает возможности в медицине, образовании, науке и других областях: «Мы стоим перед колоссальным потенциалом, но многие справедливо испытывают опасения. Данные модели могут помочь людям открыть новые лекарственные препараты, обеспечить более эффективное образование, создать новые механизмы для того, чтобы люди могли осуществить свои планы, свои мечты».
Альтман также добавил: «Искусственный интеллект может быть использован для того, чтобы защититься от комплексных процессов, которые охватили наш мир. Он может способствовать инновациям. С другой стороны, системы ИИ становятся более автономными, более способными».
При этом глава OpenAI предупредил, что скорость дальнейшего развития технологии сама по себе может стать источником опасности:
«Риск заключается в том, что искусственный интеллект может развиваться столь быстро, что никто не сможет угнаться за этим процессом».
В своем выступлении Альтман призвал избегать двух крайностей – как «слепого оптимизма», так и ожидания неизбежной катастрофы. По его словам, правительства должны играть центральную роль в определении правил развития технологии, а страны могли бы договориться об общих стандартах оценки возможностей AI, связанных с ним рисков и эффективности защитных механизмов.
Еще дальше в вопросе возможного замедления разработок пошел глава компании Anthropic Дарио Амодеи (Dario Amodei). Он заявил, что его компания готова снижать темпы развития новых систем, если это потребуется для обеспечения их безопасности: «Мы готовы в максимально необходимой степени замедлить темпы развития искусственного интеллекта с тем, чтобы удостовериться в том, чтобы любая модель следующего поколения была безопасной. Но вне зависимости от того, что мы будем это делать, управление рисками – это то, к чему все компании должны присоединиться».
Амодеи предложил допускать независимых специалистов к проверке компаний-разработчиков, выработать общие отраслевые требования и создать международные стандарты безопасности: «Мы предложили внешних инспекторов внедрить в компании, которые разрабатывают ИИ, наподобие инспекторов, которые проверяют качество продуктов питания. Многие согласились пойти на эту меру. Второе – мы призвали к сотрудничеству между отраслями для того, чтобы выработать стандарты, а также брать под контроль темпы развития ИИ. И, наконец, мы призвали к глобальному сотрудничеству между правительствами с тем, чтобы выработать международные стандарты».
Глава Anthropic также предложил международный запрет на использование искусственного интеллекта для создания биологического оружия, общую систему оценки и проверки наиболее мощных моделей и механизм уведомления стран об инцидентах, способных повлиять на глобальную безопасность. По словам Амодеи, неправильно управляемый искусственный интеллект способен представлять угрозу «для человечества в целом».
При этом представители США на заседании выступили против создания новой глобальной регулирующей структуры. Советник Белого дома по науке и технологиям Майкл Крациос (Michael Kratsios) заявил, что международным организациям следует сосредоточиться на обмене лучшими практиками и развитии национальных возможностей, а не на создании глобальной схемы регулирования.
Представитель Китая Фу Цун (Fu Cong), напротив, призвал совершенствовать механизмы регулирования и реагирования на чрезвычайные ситуации и расширять международное сотрудничество, одновременно уделяя внимание как развитию ИИ, так и безопасности.
В четверг, перед встречей с председателем КНР Си Цзиньпином, президент Дональд Трамп вновь напомнил, что выступает против новых ограничений. В Truth Social он написал, что искусственный интеллект, который он теперь называет «суперинтеллектом», станет одной из главных тем переговоров с Си. При этом Трамп добавил: «Я хочу оставить этот вопрос именно в том состоянии, в каком он находится. Такова же позиция Китая».
Форум