AI 모델의 과도한 사고가 보안 위험을 초래한다
AI Models Overthink Problems—and It’s a Security Risk
대형 언어 모델(LLMs)은 문제를 단계별로 사고하는 능력 덕분에 더 복잡한 작업을 수행할 수 있게 되었지만, 이로 인해 공격자가 시스템을 느리게 만들 수 있는 취약점이 생겼다. 연구자들은 비논리적인 프롬프트를 사용해 모델이 과도하게 사고하도록 유도할 수 있는 방법을 개발했으며, 이로 인해 상업적 AI 모델에 대한 서비스 거부 공격이 가능해졌다. 이 연구는 DeepSeek-R1, Alibaba의 Qwen3-Thinking, OpenAI의 GPT-o3, Google의 Gemini 2.5 Flash 모델에서 효과적이었으며, 출력 길이가 최대 26배 증가하는 결과를 보였다.
DeepSeek-R1 모델은 MATH 데이터셋에서 수정되지 않은 질문에 대한 응답보다 최대 26.1배 긴 출력을 생성했다.
원문 출처
IEEE Spectrum — AI