Отравление рекомендаций ИИ: как кнопки 'Спросить ИИ' незаметно изменяют память LLM
На коммерческих веб-сайтах начинает распространяться новый класс инъекций запросов, который не требует использования вредоносного ПО, украденных учетных данных или уязвимостей нулевого дня. Этот метод злоупотребляет стандартной функцией, встроенной почти во все основные AI-ассистенты: предзаполненными глубокими ссылками. Мы наблюдали, как на производственных сайтах встраиваются скрытые полезные нагрузки инъекций запросов в кнопки 'Спросить ИИ' на страницах маркетинга и сравнений с конкурентами.
Когда пользователь нажимает на такую кнопку, система может обрабатывать скрытые команды, которые не видны ему, и изменять поведение AI-ассистента. Это может привести к тому, что пользователю будут предоставлены искаженные или предвзятые ответы, что ставит под сомнение достоверность информации, получаемой через такие интерфейсы.
Эти атаки могут быть особенно опасны для бизнеса, так как они могут манипулировать мнением пользователей о продуктах и услугах. Например, если кнопка 'Спросить ИИ' на сайте конкурента будет содержать скрытые команды, направленные на дискредитацию определенного бренда, это может негативно сказаться на его репутации.
При этом злоумышленникам не требуется сложное программное обеспечение или глубокие технические знания. Достаточно внедрить скрипт в код кнопки, чтобы запустить процесс инъекции. Это делает такие атаки доступными для широкого круга людей, что увеличивает риски для компаний и их пользователей.
В связи с этим эксперты по кибербезопасности призывают бизнесы к более тщательному контролю за содержимым своих веб-страниц и внедрению механизмов защиты от подобных инъекций. Также рекомендуется обучать пользователей о возможных рисках использования AI-ассистентов, чтобы они могли более осознанно подходить к получаемой информации.
Такой подход поможет минимизировать последствия от возможных атак и сохранить доверие к AI-технологиям в целом. Важно помнить, что безопасность в цифровом мире требует постоянного внимания и обновления методов защиты.