Haejo
측정 결과
같은 일을 맡겼을 때 에이전트가 쓰는 토큰과 시간, 저장한 Flow를 재생한 결과, Safari에서 뒤에서 되는 웹 조작의 범위입니다. 측정 조건은 항목마다 한 번씩 적었습니다.
같은 작업에서 입력 토큰 53.5% 감소
Codex에 내장된 computer use와 Haejo에 같은 작업 세 가지를 맡기고, 작업마다 새 대화에서 한 번씩 실행했습니다. 처음 방법을 찾는 과정부터 실행, 최종 응답까지 포함한 값입니다.
| 항목 | Haejo | Codex 내장 computer use |
|---|---|---|
| 성공한 작업 | 3/3 | 3/3 |
| 전체 입력 토큰 | 201,44753.5% 적음 | 433,312 |
| 캐시 읽기를 뺀 입력 토큰 | 22,11956.3% 적음 | 50,592 |
| 출력 토큰 | 1,605 | 1,604 |
| 평균 시간 | 42.10초8.8% 짧음 | 46.17초 |
2026-10-14 · Haejo 개발 버전 · Codex CLI 0.161.0, 요청 모델 gpt-6.1-sol, 추론 강도 medium · 직접 만든 macOS 테스트 앱에서 보너스 켜기, 보너스 끄기, 버튼 이름 변경 작업. 세 작업 중 보너스 끄기는 Codex 내장 computer use가 더 빨랐습니다(37.91초 대 48.55초). 측정 기록에서는 비교 대상을 Sky라고 부릅니다.
저장한 Flow 재생은 모델 호출 0회
입력 5개, 조건부 체크박스, 계산, 검토, 완료 확인까지 11단계인 Flow를 서로 다른 값으로 재생하고, 화면이 바뀌거나 완료를 확인할 수 없는 상황을 일부러 만들었습니다.
| 상황 | 결과 |
|---|---|
| 서로 다른 값으로 10회 재생 | 10/10 완료 · 모델 호출 0회 |
| 정상 작업 전체 | 13/13 완료 |
| 한 작업에서 버튼 2개가 바뀜 | 해당 단계만 수리하고 완료 · 모델 호출 2회 |
| 완료를 확인할 수 없는 상황 | 5/5 그 자리에서 멈춤 · 같은 입력 재전송 0회 |
2026-10-14 · Haejo 개발 버전 · 직접 만든 macOS 테스트 앱.
Safari 웹 조작 22종 중 20종이 뒤에서
내 Safari의 페이지에 조작을 보내고, 페이지가 실제로 받은 이벤트와 값으로 판정했습니다. Haejo는 가장 조용한 방법부터 쓰고, 결과에 쓴 방법을 적습니다.
| 방법 | 조작 수 | 내 화면 |
|---|---|---|
| 접근성으로 | 18 | Safari는 뒤에. 마우스와 키보드는 그대로 |
| 그 창으로 키 전송 | 2 | Safari는 뒤에 |
| Safari를 잠깐 앞으로 | 2 | 입력하는 동안만 앞에, 끝나면 쓰던 앱이 다시 앞으로 |
2026-11-12 · Safari 27.2 · macOS 27.2 · 직접 만든 측정 페이지. 링크와 버튼, 입력란, 선택 메뉴, 날짜, 스크롤, 새 탭과 창, iframe을 포함합니다. 앞으로 나오는 2종은 포인터를 눌러야 열리는 메뉴와 마우스를 올려야 나오는 메뉴입니다.