디시전모델 on YTMAG

작은 모델이 판단하고 큰 모델이 푼다: 제브 공개 일주일 만에 만들어진 오픈소스 디시전 모델 생태계

Tue, 29 Sep 2026 02:34:00 +0900

제브 공개 일주일 만에 오픈소스가 따라붙었다. 캡, 리플렉스, 애니제브 같은 구현이 연달아 나오면서 이제 질문이 바뀐다. 진짜 중요한 것은 제브라는 제품인가, 아니면 제브가 보여준 새로운 구조인가. 결론부터 말하면 구조다. 반복되는 작은 판단은 작고 빠른 디시전 모델이 먼저 처리하고, 애매하고 어려운 문제에서만 큰 추론 모델을 호출하는 아키텍처가 표준으로 가고 있다는 것이다.

Jev 공개 일주일 만에 오픈소스가 따라붙었습니다

핵심 요약

제브의 핵심 아이디어는 문장을 생성하지 않고 선택지·점수·예/노 같은 결정 자체를 확률과 함께 반환하는 것이다. 소프트웨어가 바로 쓸 수 있는 판단을 돌려주는 모델.
9월 15일 공개된 제브 소개글이 해커 뉴스에서 1,900포인트, 댓글 500개 이상의 반응을 만들었다.
캡(QN 계열 기반, 0.8B~27B 크기, 타입세이프 API 호환), 리플렉스(단일 포워드 패스, 약 200ms 응답), 애니제브(기존 LLM의 로짓·히든 스테이트를 판단 엔드포인트로 변환, 캘리브레이션 강조), 라이언(비자동회기 방식, 다국어 지원) 등이 잇달아 등장했다.
올라 같은 프로젝트는 오픈 디시전 모델을 올라마처럼 풀하고 런하고 서브하는 경험을 만들고 있다.
남은 검증 과제는 처음 보는 도메인에서의 일반화, 확률과 실제 정답률의 일치, 어려운 문제에서의 성능 유지.
개발자가 확인할 세 가지: 반복 판단이 많은가, 그 판단을 명확한 형식으로 표현할 수 있는가, 신뢰도가 낮을 때만 큰 모델이나 사람에게 넘길 수 있는가.

상세 정리

제브가 주목받은 이유

기존 언어 모델은 답을 문장으로 생성한 뒤 그 결과를 코드가 다시 해석한다. 제브는 반대다. 처음부터 긴 문장을 쓰지 않고 선택지와 확률 같은 결정 자체를 반환한다. 글을 잘 쓰는 AI가 아니라, 소프트웨어가 바로 사용할 수 있는 판단을 빠르게 돌려주겠다는 방식이다. 공개 반응은 컸다. 해커 뉴스에서 큰 토론이 만들어졌고, 확인 시점 기준 1,900포인트와 500개가 넘는 댓글이 달렸다.

잇달아 등장한 오픈소스 구현들

개발자들의 반응은 ‘그럼 이걸 로컬과 오픈소스로 만들면 되지 않을까’로 수렴했다.

캡: QN 계열을 기반으로 한 제브 스타일 디시전 모델. 0.8B부터 27B까지 여러 크기를 제공하며, 타입세이프 시스템 API와 호환되도록 만들었다. 아이디어는 직관적이다. 제브를 호출하던 코드를 내 로컬 디시전 서버로 바꿔 꽂는 것.
리플렉스: 비슷한 방향이지만 철학이 드러나는 구현이다. 서포트 티켓 같은 상태와 ‘어느 팀으로 보낼까, 사람에게 넘길까, 얼마나 긴급한가’ 같은 질문을 함께 넣으면 각 선택지의 확률을 한 번에 반환한다. 긴 문장을 생성하지 않고, 프로젝트 설명 기준 단일 포워드 패스로 처리하며 기본 모델에서 약 200ms 수준의 응답을 보고한다.
애니제브: 새 디시전 모델을 따로 만들지 않는 접근이다. 기존 LLM의 로짓이나 히든 스테이트를 읽어 제브 스타일 판단 엔드포인트로 바꾼다. 이 프로젝트가 강조하는 핵심은 캘리브레이션이다. 모델이 90%라고 말했으면 비슷한 경우에 실제로도 대략 90% 맞아야 그 확률을 자동화에 쓸 수 있다. 캘리브레이션을 적용하면 낮은 위험 기준으로 자동 판단할 수 있는 비율이 크게 늘어난다는 결과도 공개됐다.
라이언: 스스로를 비자동회기 기반 디시전 엔진이라고 소개한다. 문장을 한 토큰씩 생성하는 대신 여러 선택지를 한 번에 평가하고, 다국어 지원과 빠른 응답을 전면에 내세운다. 제브를 흉내 내는 프로젝트를 넘어 디시전 모델 자체가 별도 카테고리가 될 수 있음을 보여주는 사례다.

여기서 흐름은 모델을 넘어섰다. 올라라는 프로젝트는 이런 오픈 디시전 모델을 올라마처럼 풀하고 런하고 서브하는 경험을 만들며 타입세이프 호환 API와 MCP 연결까지 제공한다. 네 구현의 내부 설계는 모두 다르지만 방향은 같다. 긴 자유형식 텍스트 대신 정해진 선택지·점수·예/노 같은 결정을 빠르게 반환하고, 그 결과를 확률과 함께 코드가 바로 쓰게 하자는 것.

남은 검증 과제와 논쟁

오픈소스가 나왔다고 제브가 끝난 것은 아니다. 남은 질문은 명확하다. 처음 보는 도메인에서도 얼마나 잘 판단하는지, 확률이 실제 정답률과 얼마나 맞는지, 더 어려운 문제에서도 성능이 유지되는지. 해커 뉴스의 논쟁도 이 지점에서 갈린다. 예전 분류 모델과 본질적으로 무엇이 다른가라는 회의적 의견, 그리고 별도 학습 없이 다양한 도메인에서 바로 쓰는 범용성이 핵심이라는 반론. 승자가 정해진 단계가 아니라 무엇을 제대로 측정해야 하는지가 선명해진 단계다.

아키텍처가 바뀌는 방식

이 흐름의 가장 중요한 함의는 구조적이다. 지금까지는 라우팅할지, 안전한지, 재시도할지 같은 작은 판단도 큰 LLM 하나에게 전부 맡기는 경우가 많았다. 앞으로는 이런 반복 판단을 작고 빠른 디시전 모델이 먼저 처리하고, 애매하거나 정말 어려운 문제에서만 큰 추론 모델을 호출하는 구조가 자연스러워질 수 있다. 작은 모델은 판단하고, 큰 모델은 어려운 문제에 집중한다.

개발자가 지금 볼 것은 세 가지다. 내 앱에 반복되는 판단이 많은가, 그 판단을 초이스·예/노·스코어처럼 명확하게 표현할 수 있는가, 신뢰도가 낮을 때만 큰 모델이나 사람에게 넘길 수 있는가. 세 가지가 모두 보인다면 이 흐름은 AI 뉴스가 아니라 실제 아키텍처 힌트다. 제브 이후의 진짜 질문은 어떤 모델이 최고인가가 아니라 어떤 판단을 어디에서 처리할 것인가에 가까워진다.

보는 포인트

문장 생성이 아니라 결정 반환: 기존 LM 파이프라인과 디시전 모델 파이프라인의 차이
캡·리플렉스·애니제브·라이언의 서로 다른 구현 전략(로컬 모델, 단일 패스, 로짓 재활용, 비자동회기)
캘리브레이션: ‘90%라고 말한 경우 실제로 90% 맞아야’ 자동화가 가능하다는 조건
작은 디시전 모델 + 큰 추론 모델의 계층 분업이라는 새 아키텍처 패턴
해커 뉴스 논쟁(분류 모델과의 차이 여부)이 가리키는 아직 열린 검증 과제

원본 정보

채널: 코드브릿지
게시일: 2026-09-26
영상: https://www.youtube.com/watch?v=GEvaXpJGiVA
길이: 약 5분 · 조회수 약 4,400 회 (2026-09 기준)
유의: 본문 수치와 오픈소스 프로젝트명(캡·리플렉스·애니제브·라이언·올라 등)은 자막 음차 기반이라 실제 철자와 다를 수 있다

글을 쓰지 않고 판단만 하는 AI: 제브(Jev)의 원리와 워크플로우 활용법

Tue, 29 Sep 2026 02:33:30 +0900

코드도 못 짜고 글도 쓸 수 없는 AI 모델이 전 세계의 주목을 받고 있다. 제브(Jev)다. 이 모델이 새로운 이유는 똑똑함이 아니라 역할이다. 지금까지의 추론 모델이 느리고 신중한 ‘뇌’라면, 제브는 빠르고 직관적인 ‘반사신경’을 처음으로 구현한 AI다. 판단을 문장 생성에서 분리해 내면 기존 AI 워크플로우의 빈틈이 채워진다. 즉 제브는 클로드나 GPT를 대체하는 것이 아니라, 그 루프 사이사이에 붙는 부품이라는 것이다.

Jev 완벽 가이드: 193배 빠르고 444배 저렴한 AI 모델

핵심 요약

제브는 타입세이프가 만든 ‘시스템 모델’로, 글을 쓰지 않고 선택지 중 하나를 고르거나 점수를 매기거나 예/아니오를 확률로 반환한다.
창업자 디오고 알메이다는 오픈AI에서 RLHF(인간 피드백 기반 강화학습)를 만든 사람이다.
문장을 생성하지 않으므로 빠르고 출력 비용이 거의 없다. 답은 반드시 준비된 보기 안에서 나오고, 답마다 확률이 붙는다.
대표 활용처는 세 가지다. 모델 선택을 맡기는 스위치, 수백 건 리뷰를 3초 만에 정리하는 대량 처리, 방문자 상태에 따라 UI를 즉석에서 조립하는 실시간 반응.
환각이 0%가 아니며, 오래 생각해야 하는 작업(AI 판사 역할, 어려운 리뷰)에는 쓰면 안 된다.
지금 할 일은 워크플로우 안에서 10초 안에 답할 수 있는 판단을 찾는 것이다.

상세 정리

제브란 무엇인가: 시스템 1 AI의 등장

제브를 만든 타입세이프는 이것을 ‘시스템 모델’이라고 부른다. 인지과학의 이중 과정 이론에서 나온 구분인데, 사람의 사고는 두 가지로 나뉜다. 수학 문제를 풀거나 코드를 짜는 느리고 신중한 시스템 2, 그리고 ‘저 떡볶이 빨간색이네’처럼 즉각적인 시스템 1. 지금까지의 추론 모델(LRM)은 모두 시스템 2를 흉내 냈다. 제브는 처음으로 시스템 1, 즉 반사신경을 AI로 구현한 사례라는 것이다. 단순히 새 툴이 아니라 새 역할의 AI 등장이라는 평가가 나오는 이유다.

사용법과 작동 원리

준비물은 API와 플러그인 두 가지다. 촬영 시점 기준 타입세이프 신규 가입이 중단되어 있어 API 키는 오픈라우터나 버셀 AI 게이트웨이 같은 중개 서비스를 통해 발급받는다. 환경 변수 파일에 키를 등록한 뒤, 타입세이프 공식 문서의 에이전트 스킬 페이지를 클라우드 코드에 붙여 넣어 설치 요청하면 준비가 끝난다.

제브에는 현재 상황과 질문 두 가지를 보낸다. 질문은 세 형태만 가능하다. 초이스(보기 중 선택), 스코어(점수 매기기), 그리고 참·거짓을 확률로 반환하는 형태다. 예컨대 고객 문의를 어느 팀에서 처리할지 판단할 때, 클로드에게 시키면 긴 문장으로 답하지만 제브는 ‘결제팀 100%’ 한 줄로 끝낸다. 문장을 쓰지 않으므로 빠르고, 출력 비용이 없어 저렴하며, 답은 보기 안에서만 나오고 확률이 붙어서 확실한 것은 자동 처리하고 애매한 것만 사람이 검토하면 된다.

약점도 명확하다. 대화 맥락을 기억하지 못하므로 긴 작업에는 부적합하고, 순간 판단에 유리하다.

활용 사례 3가지

스위치: 간단한 작업에 비싼 모델을 쓰기엔 아깝고 어려운 작업을 싼 모델에 맡기면 사고가 난다. 제브를 앞에 두면 작업마다 어떤 모델이 적합한지 판단해 라우팅할 수 있다. 같은 원리로 타임라인에서 AI가 쓴 글을 실시간으로 골라내거나, 웹페이지에서 광고만, 댓글에서 스팸·악플만 걸러내는 필터도 가능하다.

대량 처리: 출력 비용이 거의 무료라는 점이 핵심이다. 수백 개의 호텔 리뷰를 소음·위치·청결 같은 자신의 기준으로 3초 만에 정리하는 식이다. 비즈니스로 확장하면 데이터 인덱싱, 마케팅 타게팅, 고객 이탈 감지처럼 대량 자료에 기준을 바탕으로 점수를 붙이는 작업이 모두 해당된다. 이후 이미지 입력이 지원되면 의미 기반 검색까지 가능해진다.

실시간 반응: 웹사이트는 지금까지 모든 방문자에게 같은 화면을 보여줬다. 방문자별로 화면을 조립하려면 판단이 필요한데, 추론 모델로는 몇 초씩 걸리기 때문이다. 제브라면 방문자의 유입 경로, 클릭 이력, 체류 시간 같은 상태값에 따라 어떤 화면과 문구를 먼저 보여줄지 즉각 선택할 수 있다. 사용자는 AI 개입을 모른 채 ‘이 사이트가 나한테 잘 맞네’라고 느끼는 것. 개인화 UI가 처음으로 현실적 선택지가 되는 지점이다. 영상 편집에서 무음 구간의 길이와 컷 분할을 판단하는 것도 같은 논리로 더 빠르고 저렴해진다.

절대 시키면 안 되는 것

환각이 0%가 아니라는 점, 그리고 제브는 최고 성능 모델처럼 똑똑하지 않다는 점을 전제로 해야 한다. ‘AI가 만든 세 가지 코드 중 어느 것이 가장 나은가’ 같은 AI 판사 역할은 코드를 읽고 맥락을 파악해야 하는 긴 사고라서 반사신경에 맡길 수 없다. 리뷰나 어려운 판단도 마찬가지다. 짧은 판단은 제브, 긴 생각은 클로드나 GPT가 맡는 분업이 원칙이고, 항상 검증하면서 써야 한다.

결국 제브는 기존 AI를 대체하지 않는다. 기존 AI가 들어가던 루프 사이사이에 붙어 반복 판단을 대신한다. 판단을 따로 떼어낼 수 있다는 인식에 자신의 도메인 지식과 프론티어 모델을 결합하면, 지금까지 불가능하던 일이 가능해질 수 있다. 아직 초기라 비슷한 모델이 여럿 나올 것이므로, 지금 해야 할 일은 하나다. 내 워크플로우 안에서 10초 안에 답할 수 있는 판단이 있는지 찾아보는 것.

보는 포인트

시스템 2(뇌)와 시스템 1(반사신경)의 대비로 이해하는 새로운 AI 카테고리
초이스·스코어·예/노 세 가지 질문 형식과 ‘답마다 확률’이 자동화에 주는 실용성
스위치(모델 라우팅)·대량 처리·실시간 UI 개인화라는 세 범주의 실전 예시
AI 판사 역할 같은 긴 사고 작업은 제외해야 한다는 명확한 한계
‘루프 사이사이에 붙는다’는 위치 설정: 대체가 아니라 보완

원본 정보

채널: Jay Choi 인디해커 라이프
게시일: 2026-09-27
영상: https://www.youtube.com/watch?v=EXVC5xiw0oU
길이: 약 10분 · 조회수 약 1.8만 회 (2026-09 기준)
유의: 본문 수치와 고유명사는 자막 기반이라 오차가 있을 수 있으며, ‘페이블·아스트라’ 등 모델명은 음차로 확인이 필요하다