Компания OpenAI раскрыла детали нового внутреннего инструмента под названием GPT-Red, который предназначен для автоматизации процесса тестирования на уязвимости, связанные с инъекцией запросов. Этот инструмент направлен на выявление и устранение проблем, связанных с безопасностью, до того, как технологии будут широко развернуты.

По словам представителей компании, GPT-Red является мощным инструментом для проведения атак в стиле red team, и предыдущие модели компании оказались подвержены значительным уязвимостям, которые могут быть использованы в атакующих сценариях. "GPT-Red позволяет нам проводить обучение в условиях противодействия, что способствует повышению устойчивости моделей к подобным атакам", - отметили в OpenAI.

Основная цель внедрения GPT-Red заключается в том, чтобы улучшить безопасность и защиту будущих моделей, таких как GPT-5.6. С помощью этого инструмента компания планирует не только выявлять уязвимости, но и активно работать над их устранением, прежде чем технологии попадут в руки пользователей.

OpenAI подчеркивает, что автоматизация тестирования на уязвимости позволяет значительно ускорить процесс выявления проблем и повышает общую безопасность разрабатываемых решений. Это особенно важно в условиях растущих угроз в области кибербезопасности и постоянного развития технологий.

С помощью GPT-Red OpenAI надеется создать более безопасные и надежные AI-системы, которые смогут эффективно справляться с возникающими вызовами. Компания продолжает работать над улучшением своих моделей, учитывая требования безопасности и конфиденциальности пользователей.

Источник новости:
The Hacker News

Читать полностью