Microsoft, 두 가지 새로운 AI 보안 기능의 일반 출시 발표
오늘 Microsoft는 Azure AI Content Safety 및 Azure OpenAI Service에서 새로운 AI 보안 기능 의 일반 출시를 발표했습니다 . 새로운 기능에는 Prompt Shields 및 Protected Material Detection이 포함됩니다.
Prompt Shields는 직접(탈옥) 및 간접 프롬프트 주입 공격으로부터 방어하도록 설계된 AI 솔루션입니다. Azure OpenAI 서비스 콘텐츠 필터 및 Azure AI 콘텐츠 안전과 통합할 수 있습니다. Prompt Shields는 고급 머신 러닝 알고리즘과 자연어 처리를 사용하여 사용자 프롬프트 및 기타 데이터에서 잠재적 위협을 식별하고 완화합니다.
Prompt Shields의 주요 특징:
직접 공격을 위한 신속한 실드 : 이전에는 탈옥 위험 감지로 알려졌던 이 실드는 사용자가 의도적으로 시스템 취약성을 악용하여 LLM에서 허가되지 않은 동작을 유도하는 직접적인 신속한 주입 공격을 대상으로 합니다. 이는 부적절한 콘텐츠 생성이나 시스템에서 부과한 제한 위반으로 이어질 수 있습니다.
간접 공격에 대한 프롬프트 실드 : 외부 문서와 같이 사용자나 개발자가 직접 제공하지 않은 정보를 사용하는 공격으로부터 보호하는 것을 목표로 합니다. 공격자는 LLM 세션에 대한 무단 제어를 얻으려고 이러한 자료에 숨겨진 지침을 내장할 수 있습니다.
이러한 기능을 AI 애플리케이션에 통합하면 보안과 무결성을 향상시키고 악의적인 조작이나 착취 시도를 방지할 수 있습니다.
보호된 자료 감지는 저작권을 잠재적으로 침해할 수 있는 출력으로부터 보호할 수 있는 새로운 AI 솔루션입니다. IP 침해 청구의 위험은 Generative AI 애플리케이션을 둘러싼 가장 큰 우려 사항 중 하나입니다. 이 우려 사항을 해결하기 위해 보호된 자료 감지 서비스는 LLM 완료를 취하고 타사 텍스트 콘텐츠 인덱스와 일치하는 항목을 스캔하여 노래, 뉴스 기사 및 일부 웹 콘텐츠를 포함한 타사 텍스트 콘텐츠 사용을 감지합니다.
