통합 Benchmark로 돌아가기
Benchmark Model Family Latest measurement 2026-09-06Projection updated 2026-09-18

Ornith 1.5

Ornith 1.5 모델군의 양자화·MTP variant별 GB10 측정 결과입니다.

3 variantsNVIDIA DGX Spark GB10llama.cpp

기본 모델 정보

Model family

Ornith 1.5

Measured variants

3

Latest measurement

2026-09-06

Projection updated

2026-09-18

DGX Spark GB10 측정 결과

VariantPerformanceServer-performanceKnowledgeCodingTool-callExternal tool-eval-benchAgent-singleAgent-multi
Q5_K_M
Q5_K_M · MTP · native MTP · reasoning auto
PP 1634.9 t/s · TG 64.5 t/s
c1 68.3 t/s · c8 164.1 t/s
92/100 · 92.0%
9/12 · 75.0%
11/15 · 73.3%
unavailable
8/12 · 66.7%
8/10 · 80.0%
Q6_K
Q6_K · MTP · native MTP · reasoning auto
PP 1432.1 t/s · TG 57.9 t/s
c1 62.4 t/s · c8 154.5 t/s
94/100 · 94.0%
9/12 · 75.0%
11/15 · 73.3%
unavailable
10/12 · 83.3%
8/10 · 80.0%
Q8_0
Q8_0 · MTP · native MTP · reasoning auto
PP 1726.7 t/s · TG 57.8 t/s
c1 60.3 t/s · c8 158.1 t/s
93/100 · 93.0%
10/12 · 83.3%
11/15 · 73.3%
unavailable
9/12 · 75.0%
9/10 · 90.0%

서로 다른 MTP/non-MTP 조건은 통합 총점으로 합산하지 않으며, 각 variant의 실제 조건을 함께 표시합니다.

실제 llama-server 실행 명령

아래 명령은 실제 benchmark runner가 사용한 llama-server flag 조합입니다. 공개 페이지에서는 로컬 모델 경로·host·port만 placeholder로 치환했습니다.

Q5_K_M · MTP

Server: native MTP · reasoning auto
llama-server -m <MODEL_FILE> --host <HOST> --port <PORT> --ctx-size 8192 --n-gpu-layers 999 --flash-attn on --batch-size 2048 --ubatch-size 512 --threads 20 --metrics --slots --parallel 8 --cache-type-k f16 --cache-type-v f16 --spec-type draft-mtp --spec-draft-n-max 3

Q6_K · MTP

Server: native MTP · reasoning auto
llama-server -m <MODEL_FILE> --host <HOST> --port <PORT> --ctx-size 8192 --n-gpu-layers 999 --flash-attn on --batch-size 2048 --ubatch-size 512 --threads 20 --metrics --slots --parallel 8 --cache-type-k f16 --cache-type-v f16 --spec-type draft-mtp --spec-draft-n-max 3

Q8_0 · MTP

Server: native MTP · reasoning auto
llama-server -m <MODEL_FILE> --host <HOST> --port <PORT> --ctx-size 8192 --n-gpu-layers 999 --flash-attn on --batch-size 2048 --ubatch-size 512 --threads 20 --metrics --slots --parallel 8 --cache-type-k f16 --cache-type-v f16 --spec-type draft-mtp --spec-draft-n-max 3

해석할 때 참고할 점

  • 측정값은 NVIDIA DGX Spark GB10 + llama.cpp + 고정 evaluator 조건의 관찰값입니다.
  • MTP와 non-MTP는 실행 경로가 다르므로 속도 수치를 조건 없이 직접 비교하면 안 됩니다.
  • Knowledge·Coding·Tool-call·External tool-eval-bench·Agent suite는 각각 다른 고정 protocol을 사용하며 종합 지능 점수는 아닙니다.
  • External tool-eval-bench는 현재 N2/N2.5 Mini 8개, Occamy 1.0 4개, Laguna S 2.1 1개, Laguna XS 2.1 4개 variant에서 측정되었으며, 각 variant의 실제 scored/attempted 분모를 표시합니다.
  • Laguna S 2.1의 이전 legacy Knowledge v1·25문항 결과는 historical custom record로 남아 있으며, 현재 S 결과는 Standard Knowledge v1.2·100문항을 사용합니다.

데이터와 업데이트

이 제품군 페이지는 최신 통합 projection에서 자동으로 구성됩니다. 같은 모델의 새 양자화나 MTP/non-MTP 측정이 추가되면 새 URL을 만들지 않고 이 페이지의 variant matrix와 마지막 업데이트 날짜를 갱신합니다.