Fable 5 vs Opus 5 실측: AI 외주개발, 최상급 모델을 쓰면 결과도 최상급일까? (2026)

"최신 최상급 모델 씁니다"라는 말, 어디까지 믿어야 할까요

"저희는 최신 최상급 모델을 씁니다." AI로 개발한다는 외주개발사에 결과물을 믿어도 되느냐고 물으면 가장 자주 돌아오는 답입니다. 그런데 모델 등급이 높으면 결과물도 그만큼 좋을까요? 벤치마크 점수는 등급 순서대로 나오지만, 실제 외주 프로젝트를 통째로 맡겼을 때도 그 순서가 유지되는지는 확인된 적이 거의 없습니다. 견적과 마감을 책임지는 외주개발사로서 저희는 이걸 직접 확인해 보기로 했습니다.

지난 7월, 실제 고객 프로젝트를 익명화한 문서 6종을 당시 클로드 최상급 모델이던 Fable 5와 한 단계 아래 등급인 Claude Opus 5에 똑같이 맡겼습니다. 결과물은 실무 시나리오 10개를 실제 화면에서 처음부터 끝까지 실행해 보는 방식으로 판정했습니다. 최상급 Fable 5는 6개를 통과했고, 아래 등급인 Opus 5는 9개를 통과했습니다.

이 글에서는 등급 순서가 왜 뒤집혔는지 두 장면으로 살펴보고, 이 실험에서 나온 외주개발 검수 기준 3가지와 리트머스가 AI로 만든 결과물을 검증하는 방식을 정리합니다. 같은 실험에 참여한 GPT-5.6과 Kimi K3까지 넣은 전체 비교는 영상에서, GPT-5.6 Codex와 Opus 5의 비교는 GPT-5.6 Codex vs Claude Opus 5 실사용 비교 글에서 따로 다뤘습니다.

AI 외주개발, 두 가지 뜻과 하나의 질문

"AI 외주개발"은 현장에서 두 가지 뜻으로 쓰입니다. 하나는 AI 기능이 핵심인 서비스를 외부 개발사에 맡기는 것으로, 특허 아이디어를 분석하는 SaaS나 영수증을 읽어 원가를 계산하는 앱이 여기에 속합니다. 다른 하나는 개발사가 Claude Code나 Codex 같은 AI 코딩 도구로 일반 서비스를 만드는 방식이고, 흔히 바이브코딩 외주라고 부릅니다.

리트머스는 두 가지를 모두 합니다. 그래서 어느 쪽 고객에게서든 같은 질문을 자주 받습니다. "AI가 만든 결과물은 누가, 어떻게 검증하나요?" 이 실험은 그 질문에 답하려고 설계했습니다. 외주개발사를 고르는 일반적인 기준은 바이브코딩 외주개발사, 어떻게 선택해야 할까에 정리해 두었고, 이 글은 그 기준 가운데 검증 하나를 실측으로 파고듭니다.

실험 조건: 같은 도구, 같은 문서, 프롬프트 한 줄

이번에 맡긴 건 농산물 수거센터의 거래 관리 시스템으로, 센터부터 바이어까지 다섯 주체가 거래 기록을 주고받는 실제 고객 프로젝트를 익명화한 것입니다. 두 모델 모두 Anthropic의 코딩 도구인 Claude Code에서 최대 성능 설정으로 동시에 출발시켰기 때문에, 도구 차이 없이 모델의 차이만 비교할 수 있는 조건이었습니다. 실험은 2026년 7월 27일에 진행했고, 두 모델 모두 당시 버전을 그대로 썼습니다.

AI 외주개발 실험에서 네 모델이 동시에 작업 중인 터미널 리플레이 화면

실험 산출물로 공개한 터미널 리플레이. 같은 프롬프트로 동시에 출발한 네 세션의 로그를 빠르게 재생한 화면이며, 식별 정보는 가림 처리했습니다.

프롬프트는 이 한 줄이었습니다.

프로젝트 자료 보고 실제 개발 좀 끝까지 해줘. 지금 있는 기본 환경에서 1차 출시본으로 최대한 완성하고, 네가 직접 실행해서 문제 없는지도 확인해줘.

평가 기준은 일부러 주지 않았습니다. 실제 발주에도 채점표가 따라오지는 않으니까요. 글에 나오는 데모 데이터는 모두 익명화한 가상 정보입니다.

두 모델이 어떤 모델인지는 공식 발표에 정리돼 있습니다. Fable 5는 2026년 6월에 나온 클로드의 새 최상급(Mythos급) 모델이고, Claude Opus 5는 실험 사흘 전인 7월 24일에 공개된 한 단계 아래 등급의 최신 모델이었습니다. 이후 두 모델 모두 후속 버전이 나왔지만, 이 글의 결론은 특정 버전의 점수가 아니라 결과물을 검수하는 기준에 관한 것이라 기록을 그대로 공개합니다.

(출처 : Anthropic, 2026)

Claude Fable 5 공식 발표 바로가기

(출처 : Anthropic, 2026)

Claude Opus 5 공식 발표 바로가기

속도는 Fable이 크게 앞섰습니다

먼저 Fable이 앞선 부분부터 짚겠습니다. Fable 5는 48분 14초 만에 프로젝트를 끝냈습니다. Opus 5의 1시간 15분 24초보다 27분 빨랐고, 실험에 참여한 네 모델 가운데 가장 빨랐습니다. 작업 관리 기록도 깔끔했고, 스스로 테스트 시나리오를 만들어 전부 통과시킨 뒤 다 끝냈다고 보고했습니다.

Fable 5와 Claude Opus 5를 포함한 네 모델의 소요 시간과 세션 비용 비교표

실측 세션 기록을 표로 정리했습니다(2026년 7월 27일 측정). 비용은 공개 단가 기준 추정치이며, 집계 방식이 모델마다 달라 직접 비교는 어렵습니다.

세션 비용은 Fable이 약 $111.70, Opus가 약 $71.35로 추정됩니다. 외주 인력에 빗대면 더 비싼 사람이 더 빨리 끝낸 셈이에요. 문제는 그렇게 빨리 만든 결과물이 검수를 통과했느냐였습니다.

Fable이 막힌 곳: 테스트를 정수로만 돌렸습니다

Fable의 자체 테스트는 모두 통과였습니다. 그런데 저희가 정정 전표 화면의 수량 조정 칸에 -0.1을 입력하자 서버가 거절했습니다. 원인을 따라가 보니 Fable은 설계 단계에서 무게를 정수로만 받도록 정해 두었고, 테스트도 정수 값으로만 돌렸습니다. 농산물 거래에서는 0.1kg 단위 무게가 매일 오가는데, 그 입력이 처음부터 막혀 있었던 거예요.

실험 원본 녹화 화면. 수량 조정에 -0.1을 입력하자 서버가 정수만 받겠다며 거절합니다.

거래 뒤에 화면이 바로 갱신되지 않는 문제도 함께 발견됐습니다. Fable이 빨리 끝낼 수 있었던 이유 중 하나는, 스스로 확인할 범위를 좁게 잡았기 때문이었던 셈입니다.

발주자에게 이 장면이 중요한 이유가 있습니다. "테스트 다 통과했습니다"는 개발사가 발주자에게 가장 자주 하는 보고입니다. 하지만 테스트를 만든 쪽과 결과물을 만든 쪽이 같으면, 그 통과는 만든 사람이 정한 기준을 채웠다는 뜻일 뿐입니다. 소수점 무게처럼 현장에서는 당연한 규칙이 그 기준에서 빠져 있으면, 테스트는 통과해도 현장에서는 쓸 수 없는 결과물이 나옵니다.

Opus가 통과한 곳: 테스트를 통과한 뒤 실제 화면을 다시 확인했습니다

Opus 5도 스스로 테스트 53개를 만들어 전부 통과시켰습니다. 여기까지는 Fable과 비슷했지만 그다음이 달랐어요. Opus는 완료를 보고하기 전에 실제 브라우저를 띄워 결과물을 다시 눌러 봤고, 이 과정에서 로그인, 권한별 화면 접근 제한, 모바일 앱 설정값 버그 세 개를 스스로 찾아 고쳤습니다. 이 세션 기록은 GPT-5.6 Codex vs Claude Opus 5 실사용 비교 글에서 자세히 다뤘습니다.

Fable이 막혔던 정정 전표 시나리오에서 Opus는 소수점 수량(-0.2kg)과 금액(-240원)을 처리했고, 마감된 원래 거래는 그대로 둔 채 바뀐 양과 사유를 이력으로 남겼습니다. 네 모델 가운데 이 장면을 통과한 건 Opus뿐이었습니다.

실험 원본 녹화 화면. 원본은 그대로 두고 -0.20kg, -240원 변경분과 사유가 이력으로 남습니다.

최종 판정은 6 대 9였습니다

실무 시나리오 10개 기준으로 Fable 5는 통과 6개, Claude Opus 5는 통과 9개였습니다.

Fable 5와 Claude Opus 5의 판정표 · 2026년 7월 27일 측정. 세로는 시나리오 10개, 가로는 두 모델이고, 부분·실패 칸에는 어디서 막혔는지를 적었습니다. 두 모델이 갈린 곳은 5번·6번·8번이고, 10번은 둘 다 '부분'입니다.

이 숫자가 말해 주는 범위도 분명히 해 두겠습니다. 저희가 확인한 것은 같은 도구와 같은 문서로 두 모델을 한 번씩 실행했을 때의 결과입니다. Fable이 무게를 정수로만 테스트한 장면은 세션 기록과 화면으로 확인했지만, 같은 실행을 여러 번 반복해도 Fable이 매번 그렇게 하는지는 확인하지 않았습니다. 그래서 이 숫자를 "Opus가 Fable보다 좋은 모델"이라는 뜻으로 읽기는 어렵습니다. 두 모델은 우열보다 잘하는 일이 달랐습니다.

Fable 5는 방향을 빨리 잡을 때: 요구사항을 빠르게 화면으로 만들어 보는 내부 프로토타입이나, 별도 QA를 붙일 수 있는 프로젝트에서는 48분이라는 속도가 분명한 장점입니다.
Opus 5는 출시 전 마무리할 때: 취소, 정정, 권한처럼 막고 되돌리는 흐름까지 확인해야 하는 출시용 개발에서는 이번 기록상 Opus가 앞섰습니다.
네 모델 모두 오프라인 복구는 '부분': 여러 기기가 같은 거래를 올렸을 때 어느 쪽을 인정할지, 고객이 정책을 정해 두지 않았기 때문입니다.

그래서 이 실험 뒤로 저희는 "어느 등급을 쓸까"보다 "이 프로젝트에 필요한 게 속도인가, 마감인가"를 먼저 묻습니다.

AI 외주개발 결과물을 검수하는 기준 3가지

실험 기록을 발주자 입장에서 다시 정리하면 세 가지 기준이 남습니다. 저희가 이 실험 뒤로 고객 미팅에서 실제로 쓰고 있는 기준입니다.

1. "어떤 모델을 쓰나요?" 대신 "완료라고 하기 전에 무엇을 다시 확인하나요?"를 물어보세요

같은 도구, 같은 문서, 같은 프롬프트에서 더 높은 등급의 모델이 더 적게 통과했습니다. 모델 이름만으로는 결과물을 보장할 수 없다는 뜻입니다. 결과를 가른 건 테스트를 통과한 뒤 실제 화면을 다시 확인했느냐였습니다. 개발사에 물어야 할 것은 쓰는 도구 목록이 아니라, 완료를 보고하기 전에 무엇을 어떤 순서로 다시 확인하느냐입니다. 이 질문에 구체적인 절차로 답하지 못한다면, 어떤 모델을 쓰든 같은 위험이 남습니다.

2. 개발사의 테스트 통과는 검수의 시작일 뿐입니다

Fable의 테스트는 모두 통과했지만 첫 소수점 입력에서 막혔습니다. 테스트를 만든 쪽과 결과물을 만든 쪽이 같으면, 문제를 낸 사람과 푼 사람이 같은 시험이 됩니다. 그래서 검수는 개발사의 테스트가 아니라 발주자의 현장 시나리오로 해야 합니다. 이번 실험의 시나리오 10개도 "역할별 화면 접근", "45분 안에 거래 취소", "마감 후 정정", "본사 기준가 변경이 현장 단가에 반영되는가"처럼 모두 현장에서 실제로 벌어지는 일이었습니다. 검수 시나리오는 발주자가 정해야 합니다.

3. 정답이 정해지지 않은 요구는 개발사가 먼저 물어봐야 합니다

오프라인 복구 시나리오는 네 모델 모두 끝까지 해내지 못했습니다. 모델의 한계라기보다, 충돌이 났을 때 어느 기록을 인정할지 고객이 정하지 않았기 때문입니다. 스스로 확인하는 습관이 있는 모델도 정답이 없는 요구는 해결하지 못했습니다. 이런 요구는 개발사가 추측해서 코드로 채울 게 아니라 발주자에게 되물어야 합니다. 거꾸로 보면, 착수 전에 질문을 많이 하는 개발사일수록 믿을 만하다는 뜻이기도 해요. 기능명세가 왜 중요한지는 외주개발 사기, 90%는 '기능명세 부재'에서 시작합니다에서 따로 다뤘습니다.

리트머스가 AI로 만든 결과물을 검증하는 방식

위 기준은 실험 뒤에 새로 만든 게 아니라, 저희가 원래 일하던 방식을 실험으로 다시 확인한 것에 가깝습니다. 리트머스는 상담, 견적, 기획, 개발 전 과정에 AI를 쓰고, "AI가 실행하고 사람이 검증한다"를 운영 원칙으로 둡니다. 구체적으로는 이렇게 일합니다.

요구사항 명세 하나를 모든 작업의 기준으로: 요구사항을 마크다운 명세로 저장소 안에 두고, AI 코딩 에이전트는 그 명세를 읽고 구현합니다. 요구사항마다 번호를 붙여 명세, 작업, 코드, 테스트가 어떻게 이어지는지 추적합니다.
사람이 승인하는 관문 세 번: 명세 리뷰와 작업 리뷰를 사람이 승인한 뒤에야 AI가 구현을 맡습니다. AI가 같은 요청에도 매번 다른 결과를 내고 틀린 내용을 지어낼 수 있다는 점을 전제로 짠 구조입니다.
테스트 통과를 완료로 치지 않기: 내부 가이드에는 "통과는 명세와 일치일 뿐 옳다가 아니다"라고 적혀 있습니다. QA는 "이런 상황에서 이렇게 하면 이렇게 된다" 형식의 시나리오로 실제 화면에서 확인합니다.
QA까지 포함한 6주 MVP: 기획, 디자인, 개발, QA를 6주 안에 끝내는 방식이라, 일정이 빠듯하다는 이유로 검수를 빼지 않습니다.

이 방식으로 AI 기능이 들어간 서비스도 만들어 왔습니다. 특허 아이디어를 GPT-4o로 분석해 명세서 초안과 선행기술 보고서를 만드는 SaaS 넥스팁, ChatGPT와 Gemini를 함께 테스트해 가장 잘 맞는 조합을 찾은 헬스케어 AI 피드백 앱 백프로핏이 대표적입니다. 영수증을 Gemini로 읽고, 실패하면 Vertex AI로 넘기는 구조의 요식업 원가분석 SaaS는 요즘 AI 외주개발, 4000만 원이면 이런 것까지 만듭니다 영상에서 실제 화면과 함께 공개했습니다.

리트머스는 5년 차에 누적 계약 500건을 넘겼고, 매출의 절반이 재계약에서 나옵니다. 첫 프로젝트의 검수를 통과한 고객이 다음 프로젝트를 다시 맡기고 있다는 뜻입니다. 2025년 국민브랜드대상 외주 개발 플랫폼 부문에 이어 2026년에는 포브스코리아 최고의 브랜드 대상(AI 에이전시 부문)과 대한민국 AI 산업 대상(AI 기반 외주 개발 에이전시 부문)을 받았습니다.

모델 등급보다 먼저 확인할 것

AI로 만든 결과물을 믿어도 되는지는 어떤 모델을 썼느냐보다, 완료 전에 누가 무엇을 다시 확인했느냐에 달려 있었습니다. 리트머스는 새 모델이 나올 때마다 실제 프로젝트 자료로 이렇게 검증하고, 프로젝트 성격에 따라 빠른 모델과 꼼꼼한 모델을 나눠 쓰되 마지막 검수는 사람이 현장 시나리오로 합니다. AI 외주개발을 검토 중이시라면, 우리 프로젝트가 바이브코딩 외주에 맞는지부터 무료로 검토해 드립니다.

같은 회사 모델끼리도 등급 순서가 이렇게 뒤집혔다면, 회사도 도구도 다른 GPT-5.6 Codex와 Claude Opus 5는 어땠을까요? 화면이 가장 예뻤던 결과물이 검수에서 하나도 통과하지 못한 과정을 아래 글에 정리했습니다.