AI 모델의 버섯 식별 신뢰성 문제
AI-assisted mushroom hunting is a recipe for a bad trip
폴란드 소프트웨어 엔지니어 Piotr Migdał은 AI 모델을 사용한 버섯 식별 실험에서 55종의 버섯을 분석했다. 1,040장의 사진을 16개 모델에 적용한 결과, Gemini-3.8-flash는 첫 번째 추측에서 65%의 정확도를 보였고, 상위 다섯 개 추측에서는 85%의 정확도를 기록했다. 반면 Qwen3.8-27b는 첫 번째 추측에서 13%의 정확도를 보였다. 특히, 독성이 있는 버섯을 식별하는 데 있어 Qwen3.8-27b는 36%의 잘못된 긍정률을 기록했다. Migdał은 AI에 의존하지 말 것을 경고하며, AI의 결과가 생명에 위협이 될 수 있다고 강조했다.
Gemini-3.8-flash는 첫 번째 추측에서 65%의 정확도를 보였지만, 여전히 신뢰할 수 없는 결과를 제공할 수 있다.
원문 출처
The Register — AI/ML