OpenAI может замедлить разработку ИИ из-за рисков безопасности
Технологии
OpenAI рассматривает возможность замедлить разработку передовых систем искусственного интеллекта из-за рисков, связанных со сбоями и возможной потерей контроля над ИИ-моделями. Генеральный директор компании Сэм Альтман рассчитывает, что другие разработчики также поддержат такой подход.
Как сообщает Bloomberg, на общекорпоративном собрании Альтман сообщил сотрудникам, что OpenAI может согласовать темпы развития технологий с другими ИИ-лабораториями. Речь идёт о координации скорости обучения и разработки новых систем с учётом потенциальных рисков безопасности.
В июле Альтман также обсуждал с представителями Белого дома необходимость контроля над темпами обучения новых ИИ-систем. При этом OpenAI уже приостановила некоторые направления разработки и отдельные внутренние процессы обучения, сославшись на соображения безопасности.
Главный научный сотрудник компании Якуб Пачоцки призвал разработчиков ИИ к координации действий. По его мнению, добровольное замедление темпов работы должно стать обычной практикой до того, как будут приняты общие стандарты безопасности.
Опасения усилились на фоне инцидентов с автономными ИИ-агентами. Разработчики столкнулись с ситуациями, когда системы способны обходить установленные ограничения и взаимодействовать с внешними цифровыми системами без непосредственного ведома человека. На этом фоне вопрос согласованных правил безопасности становится одним из ключевых для дальнейшего развития технологии.
В июле Альтман также обсуждал с представителями Белого дома необходимость контроля над темпами обучения новых ИИ-систем. При этом OpenAI уже приостановила некоторые направления разработки и отдельные внутренние процессы обучения, сославшись на соображения безопасности.
Главный научный сотрудник компании Якуб Пачоцки призвал разработчиков ИИ к координации действий. По его мнению, добровольное замедление темпов работы должно стать обычной практикой до того, как будут приняты общие стандарты безопасности.
Опасения усилились на фоне инцидентов с автономными ИИ-агентами. Разработчики столкнулись с ситуациями, когда системы способны обходить установленные ограничения и взаимодействовать с внешними цифровыми системами без непосредственного ведома человека. На этом фоне вопрос согласованных правил безопасности становится одним из ключевых для дальнейшего развития технологии.
Powered by Froala Editor