Исследователь Anthropic оценил более чем в 10% риск уничтожения человечества ИИ
Технологии
Исследователь Anthropic Эван Хьюбингер оценил более чем в 10% вероятность того, что искусственный интеллект сможет уничтожить человечество в ближайшие десять лет. По его словам, речь идёт прежде всего о будущем сверхинтеллекте и системах, способных самостоятельно совершенствовать свои возможности.
Хьюбингер подчеркнул, что риски от нынешних моделей остаются относительно небольшими. При этом он согласился с обеспокоенностью своего коллеги Джейкоба Коксона, который 9 сентября объявил об уходе из Anthropic после трёх лет работы в области предварительного обучения моделей в OpenAI и Anthropic.
«Ни одна из этих компаний не ведёт себя ответственно», — написал Коксон, обвинив Anthropic и OpenAI в слишком быстром продвижении к самосовершенствующемуся сверхинтеллекту. По его мнению, лаборатории соревнуются за создание всё более мощных систем, не располагая надёжными методами контроля их поведения.
Хьюбингер ответил, что в Anthropic действительно всерьёз рассматривают возможность того, что ИИ «может уничтожить всех людей». Он также отметил, что компания пока не располагает планом решения проблемы согласования целей сверхинтеллекта с человеческими ценностями, хотя «делает всё возможное».
Коксон призвал не недооценивать будущие возможности ИИ. Он считает, что сверхчеловеческие системы смогут самостоятельно находить уязвимости, быстро развиваться в различных областях и получать доступ к реальным ресурсам. В качестве возможной меры исследователь предложил временно замедлить наращивание возможностей моделей, чтобы дать время международной координации и исследованиям безопасности.
Заявления прозвучали на фоне сообщений о том, что Anthropic не предоставила свою новейшую модель Claude Mythos 5.1 британскому AI Security Institute для предрелизного тестирования. Компания подтверждает ограниченный доступ к модели, которая была представлена 1 сентября.
«Ни одна из этих компаний не ведёт себя ответственно», — написал Коксон, обвинив Anthropic и OpenAI в слишком быстром продвижении к самосовершенствующемуся сверхинтеллекту. По его мнению, лаборатории соревнуются за создание всё более мощных систем, не располагая надёжными методами контроля их поведения.
Хьюбингер ответил, что в Anthropic действительно всерьёз рассматривают возможность того, что ИИ «может уничтожить всех людей». Он также отметил, что компания пока не располагает планом решения проблемы согласования целей сверхинтеллекта с человеческими ценностями, хотя «делает всё возможное».
Коксон призвал не недооценивать будущие возможности ИИ. Он считает, что сверхчеловеческие системы смогут самостоятельно находить уязвимости, быстро развиваться в различных областях и получать доступ к реальным ресурсам. В качестве возможной меры исследователь предложил временно замедлить наращивание возможностей моделей, чтобы дать время международной координации и исследованиям безопасности.
Заявления прозвучали на фоне сообщений о том, что Anthropic не предоставила свою новейшую модель Claude Mythos 5.1 британскому AI Security Institute для предрелизного тестирования. Компания подтверждает ограниченный доступ к модели, которая была представлена 1 сентября.
Powered by Froala Editor