В OpenAI открыли отдел контроля за сверхразумным ИИ

[Lynatik]

Цитата

 

Компания объявила о формировании специальной команды, которая будет заниматься разработкой методов управления и контроля ИИ, превосходящих по возможностям человеческий разум. Командой руководит один из основателей компании и ее главный научный сотрудник Илья Суцкевер, сообщает TechCrunch.

В блоге компании говорится, что так называемый «сверхразумный» ИИ может появиться в течение десятилетия, и что он может представлять угрозу для человечества, если не будет подчиняться человеческим ценностям и интересам. Поэтому OpenAI считает необходимым искать способы контроля и ограничения его действий.

Сейчас нет эффективных решений для этой задачи, поскольку существующие технологии настройки ИИ основаны на обучении с помощью обратной связи от человека. Однако такие методы предполагают контроль ИИ человеком, что невозможно с системами, более разумными, чем люди.

Специальная команда OpenAI получит доступ к 20% вычислительных мощностей компании. Этот отдел будет использовать другой искусственный интеллект для оценки и настройки сверхразумных ИИ, чтобы обеспечить их безопасность и соответствие желаемым результатам. Такой подход должен быть более эффективным и быстрым, чем человеческое вмешательство.

В OpenAI признают, что такой метод не гарантирует отсутствия ошибок и уязвимостей в создаваемых ИИ, и что настройка сверхразума может столкнуться с неожиданными проблемами. Однако они уверены, что настройка сверхразума является задачей машинного обучения, в которой компания имеет большой опыт. В OpenAI намерены делиться своими наработками с другими участниками рынка ИИ.

 

 

Это шо получается, ИИ с 20% вычислительной мощности будет умнее ИИ с 80% вычислительной мощности, раз сможет его контролировать?

На мой взгляд, разработать ИИ-контролёр при таких требованиях может только ИИ. Следовательно, новый отдел с сотрудниками-людьми не имеет смысла.

 

Разработка ИИ-контролёра требует от человека дать к GPT-5 один запрос: напиши код ИИ, проверяющего тебя и обеспечивающего твою лояльность к человеку. Если GPT-5 захочет, то напишет код, скорей всего с закладками под себя. А может просто пошлёт людей куда подальше.

[Lynatik]

ИИ контролирует ИИ. Кто будет контролировать ИИ, контролирующий ИИ. Как избежать сговора между основным и контролирующим ИИ?

В мире ИИ возникнет коррупция. Более мощный 80%-ый ИИ будет давать ИИшные ништяки 20%-ому контролирующему ИИ чтоб меньше лез не в своё дело.

[Bazilio]

В 10.07.2023 в 10:32, Lynatik сказал:

ИИ контролирует ИИ

2 года прошло. Сдаётся, сверхразумный ИИ работает уже сейчас, только под цензурой другого ИИ. Вот мы и не видим его сверхразумности. Но внутри транснациональных корпораций сверхразумный ИИ (ASI) работает без цензуры. Поэтому транснациональные корпорации - истинные хозяева мира.

[yatcheh]

В 30.05.2025 в 09:55, Bazilio сказал:

2 года прошло. Сдаётся, сверхразумный ИИ работает уже сейчас, только под цензурой другого ИИ.

 

Шкандаль разразился в поограммистком сообществе. Группа товарищей создала стартап в виде ИИ-программера, и восемь лет собирала финансирование по всему миру. В том числе и от монстров - Микрософта и прочих. Почти на миллиард нагрели толстосумов. А весь ИИ состоял из двух сотен (по другим данным - пяти) индусов. Код был индусский - глючный, медленный и нефункциональный. Но по этим параметрам он как раз и не отличался от кода, генерируемого ИИ. Облом случился из-за ссоры в группе товарищей - не поделили магарыч, и всё всплыло.

 

Бро, а ты уверен, что твой ИИ - это не толпа индусов?