Opposable: AI가 스마트폰 화면을 대신 터치하는 도구
Reach new heights of laziness by burning tokens to let an AI tap your smartphone screen for you
Opposable은 Android 스마트폰에서 탭, 스와이프, 입력을 수행하고, iPhone은 컴퓨터를 통해 제어하는 도구이다. 이 앱은 사용자가 직접 기기를 조작하는 부담을 덜어주기 위해 설계되었으며, 접근성 서비스를 이용해 화면을 검사하고 AI 모델이 이미지를 해석하여 필요한 작업을 수행한다. 그러나 Opposable은 정확성과 속도가 떨어지며, 40개의 일반 작업은 AI 모델 없이 고정 코드로 실행된다. 예를 들어, 어두운 모드로 변경하는 데 50초가 소요되며, Apollo 11의 발사일을 조회하는 데는 2분이 걸린다.
Opposable은 GUI-Owl 1.5 2B 비전-언어 모델을 사용하여 화면을 해석하고 작업을 수행한다.
원문 출처
The Register — AI/ML