저희는 인터넷이 없는 PC 한 대에서 로컬 모델만으로 코드를 고칠 수 있는지, 그리고 그렇게 하면 클라우드 모델 사용 비용을 얼마나 줄일 수 있는지 알고 싶었습니다. 그래서 약속할 수 있는 숫자를 만드는 대신, 이 PC 와 이 모델들이 실제로 낸 결과를 그대로 적기로 했습니다. 결론부터 말하면 로컬 30B 모델은 8B 모델과는 다른 등급이었지만, 같은 과제에서 클라우드 소형 모델 단독을 대체하지는 못했습니다.
시험한 곳: Duet 와 이 PC
이 시험은 저희가 만들고 있는 Duet 의 시험 틀(bench/)로 했습니다. Duet 는 로컬 모델(Ollama)과 Claude(API)를 섞어 쓰는 대화형 에이전트로, 윈도우에서 실행 파일 하나로 도는 것을 목표로 만들고 있습니다. 아래의 과제와 채점 방식은 Duet 의 코드 수정 도구가 쓸 "시험 실행, 실패 로그로 재시도" 고리의 모형입니다. 시험은 노트북 PC 한 대에서 했고, CPU 는 Intel Core i7-13620H(10코어 16스레드), GPU 는 NVIDIA GeForce RTX 4060 Laptop GPU(VRAM 8GB), 메모리(RAM)는 31.7GB 입니다.
과제와 채점 방법
과제는 저희 저장소(PHP·Laravel, Python, JS)에서 고정된 커밋의 파일을 꺼내 버그 하나를 심은 것입니다. 실제 과거의 수정 이력이 아니라 심은 버그입니다. 같은 저장소의 기존 시험이 버그 때문에 빨갛게 실패하고, 제대로 고치면 초록이 됩니다. 그래서 채점은 기계적입니다. 모델은 시험 파일을 고칠 수 없고, 고치려 하면 그 시도는 거절됩니다. 아무것도 바꾸지 않는 수정과 시험 파일 내용을 베낀 수정을 거절하고 다시 시키는 규칙은 나중에 추가했고, 아래 첫 표의 마지막 열에 그 규칙이 있던 실행인지 적었습니다.
모델은 파일 전체를 다시 쓰는 대신 이런 형식의 수정 블록만 냅니다. 한 곳에 정확히 맞아야 적용됩니다.
경로/파일.php
<<<<<<< SEARCH
(고칠 부분의 원래 줄)
=======
(고친 줄)
>>>>>>> REPLACE
시험이 아직 빨가면 새 실패 출력과 현재 파일을 주고 다시 시킵니다(과제당 최대 3번). 온도는 0, 문맥 길이는 8,192 또는 16,384 토큰, 로컬 모델이 한 번에 쓸 수 있는 출력은 2,048 토큰입니다. 로컬 모델은 Ollama 로 돌렸고, 30B 실험은 윈도우용 Ollama 0.40.16 이었습니다.
처음 12과제: 8B 는 안 되고 30B 는 된다
| 조건 | 통과 | 통과당 Claude 비용 | 무변경·베끼기 거절 규칙 |
|---|---|---|---|
| 클라우드 소형 모델(Claude Haiku 5.5) 단독 | 12/12 | $0.0081 | 없음 |
| 클라우드 중형 모델(Claude Sonnet 5.5) 단독 | 12/12 | $0.0241 | 없음 |
| 로컬 qwen3:8b 단독 | 2/12 | 0 | 없음 |
| qwen3:8b + 소형 모델 "선생님" | 6/12 | $0.0209 | 없음 |
| qwen3:8b + 중형 모델 "선생님" | 5/12 | $0.0478 | 없음 |
| qwen3:8b + 거절 규칙 + 위치 힌트 | 1/12 | 0 | 있음 |
| qwen3-coder 30B, 문맥 8,192 | 8/12 | 0 | 있음 |
| qwen3-coder 30B, 문맥 16,384 | 10/12 | 0 | 있음 |
| qwen3:8b, 문맥 16,384 | 4/12 | 0 | 있음 |
"선생님"은 로컬 모델이 틀리면 클라우드 모델이 짧게 정정해 주는 조건입니다. 통과당 비용으로 보면 소형 모델 선생님 조건은 소형 모델 단독의 약 2.6배, 중형 모델 선생님 조건은 중형 모델 단독의 약 2배였고(소형 모델 단독과 비교하면 약 5.9배), 풀어낸 과제도 더 적었습니다. 30B 는 비용 0 에 10개를 풀었습니다.
문맥 길이와 생각 모드도 바꿔 보았습니다. 8B 는 문맥을 8,192 에서 16,384 토큰으로 늘려도 3/12 에서 4/12 로 한 과제 느는 데 그쳐서, 실패 원인이 문맥 부족은 아니었습니다. 생각 모드를 켠 8B 는 1/12 였고 과제당 평균 약 144초가 걸렸으며, 12과제 출력 합계가 64,740토큰(과제당 약 5,400토큰)이었습니다. 30B 는 문맥을 늘리자 8/12 에서 10/12 가 되었지만, 늘어난 2과제는 표본이 작아 우연 범위로 읽습니다. 30B 가 두 문맥 모두 세 번 다 실패한 과제는 IPv6 포트 분리와 nologin basename, 두 개였습니다.
새 과제 16개로 다시 쟀더니
12과제는 작고 한 저장소에서만 나왔습니다. 그래서 JS 3, PHP 7, Python 6 으로 이뤄진 16과제를 추가해 30B 를 다시 쟀습니다. 14개는 다른 저장소 4곳에서, 2개는 처음 12과제와 같은 저장소에서 가져왔습니다. 16개 모두 "원본은 통과, 버그를 심으면 실패"를 먼저 확인했고 4개는 이때 새로 만들었습니다.
| 조건 | 새 16과제 | 처음 12과제(문맥 16,384) | 합산 28 |
|---|---|---|---|
| qwen3-coder 30B | 8/16 (JS 1/3, PHP 2/7, Python 5/6) | 10/12 | 18/28 (64%) |
| qwen3:8b | 3/16 | 4/12 | 7/28 |
| 클라우드 소형 모델 | 16/16 | 12/12 | 28/28 |
30B 의 처음 12과제 10/12(83%)와 새 과제 8/16(50%)은 차이가 있다고 말하기 어렵습니다(정확 검정 p≈0.11, 저장하지 않은 따로 계산한 값). 방향은 낮은 쪽입니다. 클라우드 소형 모델과 비교하면 새 과제에서 8/16 대 16/16 으로 확실히 낮습니다. 8B 와 비교하면 8/16 대 3/16 이고 합산으로는 18/28 대 7/28 입니다.
속도도 쟀습니다. 30B 의 가중치는 약 20GB 인데 GPU 에는 6.4GB 만 올라가고 나머지는 CPU 메모리에 있었습니다. 그래도 활성 매개변수가 작은 구조라 초당 약 21~25토큰이 나왔고, 과제당 평균은 처음 12과제에서 약 90초, 새 16과제에서 약 180초였습니다. 소형 모델은 과제당 2~3초였습니다. 소형 모델 비용은 새 16과제 전체에 $0.1832 였습니다. 소형 모델이 16개를 전부 첫 시도에 풀어서, 새 과제는 소형 모델에게 변별력이 없었습니다.
못 푼 이유: 20번의 "출력 상한 소진"
새 16과제에서 30B 는 시도를 모두 36번 했고(과제당 최대 3번), 8번이 통과하고 28번이 실패였습니다. 실패한 28번을 하나하나 읽었습니다.
| 실패 유형 | 횟수 | 설명 |
|---|---|---|
| 출력 상한 소진 | 20 | 수정 블록을 한 번도 못 내고 2,048토큰이 끝남(전체 시도 기준 PHP 17번 중 14, JS 7번 중 2, Python 12번 중 4. Python 의 4번은 나중에 풀린 과제의 앞선 시도) |
| 엉뚱한 곳·추측 수정 | 7 | 블록은 냈지만 시험이 빨강 |
| 아무것도 안 바꾼 수정 | 1 | 거절됨 |
가장 큰 몫은 지시 불이행이었습니다. "설명 없이 블록만 내라"는 지시를 어기고 산문으로 원인을 길게 추론하다 상한에서 잘렸습니다. PHP 과제 한 건에서는 정답 줄이 들어 있는 긴 블록을 쓰다 잘렸습니다. 한 번도 블록을 못 낸 과제가 4개였습니다. 상한을 4,096토큰으로 올려 2과제를 한 번씩 돌려 보았는데 둘 다 4,096토큰을 다 쓰고 블록 없이 실패했습니다. 상한만 늘려서는 풀리지 않았습니다. 이 시험은 2건에 1번씩이라 결론으로 삼기에는 약합니다.
엉뚱한 곳을 고친 사례도 구체적이었습니다. 진짜 버그가 다른 파일(lib/date.ts)에 있는 과제에서 모델은 시험이 부르는 calc.ts 의 함수를 고쳤습니다. 최대·최소 함수를 바꿔 낀 과제에서는 Math.round 와 Math.floor 를 오가며 추측했습니다. 처음 12과제에서 8B 가 못 푼 이유도 같은 계열이었습니다. 엉뚱한 곳 수정, 아무것도 안 바꾸는 수정, 맞는 함수를 찾고도 정의되지 않은 변수를 넣는 수정입니다.
위치를 알려 줘도, 선생님을 붙여도
"위치를 못 찾아서 못 푸는 것"이라고 가정하고 모델 없이 의심 위치를 짚어 주는 도구를 만들어 8B 에게 힌트를 주었습니다. 거절 규칙만 쓴 3/12 가 힌트를 더하자 1/12 가 되었습니다. 힌트가 정답 함수를 1위로 짚어도 모델이 거기서 코드 모양만 바꾸고 숫자는 그대로 둔 사례가 있었습니다. 병목은 위치가 아니라 무엇을 고쳐야 하는지의 추론이었고, 그래서 위치 힌트는 모델 경로에 넣지 않기로 했습니다.
8B 는 선생님을 붙여도 소형 선생님 조건에서 6개, 중형 선생님 조건에서 5개 과제를 풀었을 뿐이고, 단독·소형 선생님·중형 선생님 세 조건을 합쳐도 5개 과제는 풀지 못했습니다. 이 5개는 클라우드 모델 단독과 30B(문맥 16,384)가 모두 풀었습니다. 8B 의 이후 조건(문맥 16,384, 생각 모드)에서는 그중 1개가 풀렸습니다. 정정을 받고도 이전과 똑같은 답을 낸 경우가 단독 8/11, 소형 선생님 5/11, 중형 선생님 2/11 였습니다. 온도 0 에서 거절 규칙만 쓴 실행과 위치 힌트를 더한 실행을 합치면 재시도 42번 중 17번(각각 20번 중 8번, 22번 중 9번)이 직전과 바이트 단위로 같은 답이었고, 거절 문구나 새 힌트를 줘도 마찬가지였습니다. 아무것도 안 바꾸는 수정과 시험 파일 베끼기를 기계적으로 거절하는 규칙은 15~16건씩 걸렸지만 고치게 하지는 못했습니다. 같은 입력을 다시 돌리는 재시도는 낭비라는 뜻입니다.
고객 답장 초안도 시켜 봤다
외주 플랫폼의 문의에 답하는 초안도 로컬 모델에게 시켜 보았습니다. 말투, 인사 생략 규칙, 금액 안내에 넣을 고지 같은 규칙을 주고 장면 세 개에서 초안을 받았습니다. 설정은 세 가지였습니다. 30B 에 규칙을 요청문에 함께 적은 것, 30B 에 규칙을 따로 저장해 둔 메모로 준 것, 8B 에 규칙을 요청문에 함께 적은 것이고, 장면마다 한 번씩 돌려 모두 9개를 받았습니다.
결과는 그대로 보낼 수 있는 초안이 0/9 였습니다. 30B 는 규칙을 안정적으로 지키지 못했습니다. 필수 고지 문장을 빼먹고, 이미 대화가 이어지는 상황에서 인사와 자기소개를 다시 붙이고, 묻지 않은 부가 주제 문단을 끼워 넣었습니다. 규칙을 메모로 따로 두는 방식이 가장 나았고, 한 장면은 문장 하나만 더하면 되는 수준이었지만 나머지는 더 고쳐야 했습니다. 8B 는 세 장면 중 두 장면에서 쓸 수 없었고, 금액이 없는 글에 고지 문장을 그대로 베끼거나 확인되지 않은 일을 약속했습니다. 이보다 앞선 초기 시험에서는 8B 가 규칙 문장을 단계로 베껴 써서 보낼 수 없었고, 30B 는 내용은 맞는데 길이 상한을 채우느라 군더더기가 여섯 줄 붙었습니다. 점검은 초안을 읽으며 7가지 항목(인사·자기소개, 수수료 고지, 금지 표현, 형식 등)을 확인하는 방식이었고, 항목과 "그대로 보낼 수 있는가"의 판정 기준은 시험을 돌린 AI 도구가 정했습니다. 사람이 직접 보고 판정하는 것이 정본이라 이 0/9 는 잠정값입니다. 이 시험은 로컬에서 돌려 비용이 들지 않았고, 앞으로는 사람이 초안을 실제로 고친 만큼도 같이 기록할 계획입니다. 지금은 이 모델이 쓴 초안을 보내기 전에 사람이 점검하는 것을 전제로 씁니다.
이 숫자가 말하지 못하는 것
- 과제 표본이 작습니다(합산 28). 모든 조건이 과제당 1회, 온도 0 의 단일 실행이라 한두 개 차이는 우연일 수 있습니다.
- 버그를 심은 것도 AI(Claude 계열 모델)입니다. 같은 계열인 클라우드 소형 모델에게 유리하게 읽힐 수 있고, 16/16 은 과제가 쉬웠다는 뜻일 수도 있습니다. 난이도 라벨도 같은 모델이 정했습니다.
- 일부 과제는 시험 파일을 일부 바꿨고(PHP 2건), 한 과제는 시험 주석이 단서를 줍니다. 모델이 출력할 수 있는 길이를 2,048토큰으로 고정한 것은 30B 의 수치에 영향을 준 설정입니다.
- 모델에게 파일을 직접 건네는 방식이라 실제보다 낙관적입니다. 실제 Duet 에서는 모델이 도구로 파일을 찾아 읽어야 해서 더 어렵고, 이 단계는 수정 도구와 함께 따로 재야 합니다. 아직 재지 않았습니다.
- 시험 자체가 틀어진 일도 있었습니다. 클라우드 모델 단독 실행과 로컬 실행이 같은 임시 폴더를 써서 결과 3개를 폐기하고 중형 모델을 다시 돌렸습니다(중복 비용 약 $0.27). 첫 실험의 클라우드 비용 합계는 중복분을 포함해 약 $1.02 입니다.
- 소형 모델 선생님 조건은 호출 19번 중 8번이 정정 길이 상한(500토큰)에서 잘려서 불리하게 나왔을 수 있습니다. 또 다른 로컬 7B 코딩 모델은 시도 34번 중 18번이 예시 형식의 자리표시 경로를 그대로 베껴 거절돼 능력 비교에는 쓰지 않았습니다.
- 재지 않은 것: 30B 와 선생님을 함께 쓴 경우의 자율율·비용, 새 과제에서의 다른 문맥 길이·생각 모드·온도, 같은 과제를 반복했을 때의 흔들림, 언어별 차이가 언어 때문인지 과제 때문인지(PHP 7, JS 3 표본).
그래서 저희가 정한 것
로컬 30B 모델은 클라우드 소형 모델 단독을 대체하지 못합니다. 그래도 비용 0 에 인터넷 없이 18/28 을 푼다는 점에서 8B 와는 다릅니다. 지금은 시험이 있는 작은 수정을 맡기는 쪽의 보조로 쓰고, 어떤 수정이든 시험이 통과할 때만 받아들이고 사람이 diff 를 읽습니다. 후속으로 쓸 만한 것은 상한을 키우는 일이 아니라 형식을 강제하는 프롬프트와 거절 뒤의 모델·온도 변경이지만, 이것은 아직 시험하지 않았습니다.