Ternary-Bonsai-27B
⏳ 적용 대기🤖 LLM / 모델2026년 7월 30일약 1분
작성 DevSnack Lab직접 조사·실행 범위는 본문 결과와 한계에 기록
개요
Prism ML ternary(1.71bpw) 양자화, 7.2GB, 262K context
메모
`[로컬] 다운로드만, 벤치/실사용 안 함
조사 상세
Ternary-Bonsai-27B
개요
Prism ML이 공개한 ternary(3값) 양자화 LLM. Qwen3.6-27B 기반, ~1.71bpw (2-bit 패킹), 262K context. 1-bit Bonsai-27B보다 품질 우선 옵션.
- 기반 모델: Qwen3.6-27B
- 양자화: ternary (~1.71bpw, 2-bit 패킹)
- 컨텍스트: 262K
- 크기: ~7.2GB (Q2_0 기준) — FP16 대비 ~8배 밀도, 기존 최고 밀도(IQ2_XXS 0.199)의 2배
- 특징: 노트북급에서 27B full reasoning ~26 tok/s, 멀티모달 (mmproj 필수)
- 비전: vision tower는 별도 4-bit 처리
다운로드 (2026-07-16, log #456)
저장 위치: `[로컬]
| 파일 | 크기 | 용도 |
|---|---|---|
| Ternary-Bonsai-27B-Q2_0.gguf | 7.2GB | 기본 ternary 양자화 |
| Ternary-Bonsai-27B-dspark-Q4_1.gguf | 1.9GB | DGX Spark용 Q4_1 변형 |
| Ternary-Bonsai-27B-mmproj-Q8_0.gguf | 0.6GB | 이미지 입력용 mmproj (필수) |