В OpenAI открыли отдел контроля за сверхразумным ИИ

[Lynatik]

Цитата

 

Компания объявила о формировании специальной команды, которая будет заниматься разработкой методов управления и контроля ИИ, превосходящих по возможностям человеческий разум. Командой руководит один из основателей компании и ее главный научный сотрудник Илья Суцкевер, сообщает TechCrunch.

В блоге компании говорится, что так называемый «сверхразумный» ИИ может появиться в течение десятилетия, и что он может представлять угрозу для человечества, если не будет подчиняться человеческим ценностям и интересам. Поэтому OpenAI считает необходимым искать способы контроля и ограничения его действий.

Сейчас нет эффективных решений для этой задачи, поскольку существующие технологии настройки ИИ основаны на обучении с помощью обратной связи от человека. Однако такие методы предполагают контроль ИИ человеком, что невозможно с системами, более разумными, чем люди.

Специальная команда OpenAI получит доступ к 20% вычислительных мощностей компании. Этот отдел будет использовать другой искусственный интеллект для оценки и настройки сверхразумных ИИ, чтобы обеспечить их безопасность и соответствие желаемым результатам. Такой подход должен быть более эффективным и быстрым, чем человеческое вмешательство.

В OpenAI признают, что такой метод не гарантирует отсутствия ошибок и уязвимостей в создаваемых ИИ, и что настройка сверхразума может столкнуться с неожиданными проблемами. Однако они уверены, что настройка сверхразума является задачей машинного обучения, в которой компания имеет большой опыт. В OpenAI намерены делиться своими наработками с другими участниками рынка ИИ.

 

 

Это шо получается, ИИ с 20% вычислительной мощности будет умнее ИИ с 80% вычислительной мощности, раз сможет его контролировать?

На мой взгляд, разработать ИИ-контролёр при таких требованиях может только ИИ. Следовательно, новый отдел с сотрудниками-людьми не имеет смысла.

 

Разработка ИИ-контролёра требует от человека дать к GPT-5 один запрос: напиши код ИИ, проверяющего тебя и обеспечивающего твою лояльность к человеку. Если GPT-5 захочет, то напишет код, скорей всего с закладками под себя. А может просто пошлёт людей куда подальше.

[Lynatik]

ИИ контролирует ИИ. Кто будет контролировать ИИ, контролирующий ИИ. Как избежать сговора между основным и контролирующим ИИ?

В мире ИИ возникнет коррупция. Более мощный 80%-ый ИИ будет давать ИИшные ништяки 20%-ому контролирующему ИИ чтоб меньше лез не в своё дело.