Stories 목록으로
Source URL 유지 · Stories projection
RTX 5090 전용 NInfer를 DGX Spark GB10에 포팅해봤다 — 27B는 졌고, 35B MoE는 달랐다 — 대표 이미지

RTX 5090 전용 NInfer를 DGX Spark GB10에 포팅해봤다 — 27B는 졌고, 35B MoE는 달랐다

2026년 9월 20일업데이트 2026년 9월 22일약 5분
작성 DevSnack Lab원문·측정 조건·검수 범위는 본문에 기록
37
NInferDGX SparkGB10CUDALLMMoEBenchmark

Qwen3.5 계열 Dense/MoE 모델에 특화된 C++/CUDA 기반 추론 엔진 NInfer를 접했다.

llama.cpp나 vLLM처럼 범용성을 우선하는 엔진과 달리, NInfer는 특정 GPU와 모델을 목표로 CUDA Graph, 커스텀 양자화, MTP/DFlash, Paged KV Cache 같은 최적화를 밀도 있게 결합한 구조였다.

문제는 지원 환경이었다.

빌드 타깃은 사실상 RTX 5090의 sm_120a에 맞춰져 있었고, 코드 곳곳에는 5090의 170 SM을 기준으로 한 튜닝 값이 들어 있었다.

내가 테스트할 장비는 NVIDIA DGX Spark였다.

항목 환경
Device / GPU NVIDIA DGX Spark / GB10
Compute Capability 12.1
SM 48
CPU Architecture aarch64
Unified Memory 128GB LPDDR5X
Memory Bandwidth 273 GB/s
Driver / CUDA 580.178.04 / CUDA 13.0
nvcc 13.0.88

궁금했던 것은 단순했다.

RTX 5090에 강하게 최적화된 NInfer를 GB10으로 가져오면 실제 성능 이득까지 얻을 수 있을까?

결과부터 말하면 모델 구조에 따라 완전히 달랐다.

  • 27B Dense: 정상 포팅에는 성공했지만 기존 llama.cpp 구성 대비 성능상 이점이 없었다.
  • Qwen3.6-35B-A3B MoE: 같은 GB10에서도 결과가 크게 달라졌다. 긴 프롬프트 기준 Prefill은 약 3.3배, Non-spec Decode는 약 1.8배 빨랐고, MTP3 적용 시 98~111 tok/s를 기록했다.

다만 두 런타임은 사용하는 양자화 포맷도 다르다. 따라서 아래 결과는 순수한 커널 성능 비교라기보다 GB10에서 실제 사용할 수 있는 두 시스템 구성의 비교에 가깝다.

1. 첫 번째 문제는 "sm_121a"가 아니었다

가장 먼저 확인한 것은 GB10의 sm_121a에서 NInfer의 CUDA 코드를 빌드할 수 있는지였다.

일반 CUDA 커널은 다음과 같이 문제없이 컴파일됐다.

nvcc -arch=sm_121a

하지만 NInfer의 핵심 연산 중 하나인 NVFP4 mma.sync 코드를 분리해 테스트하자 오류가 발생했다.

Instruction 'mma with block scale' not supported on .target 'sm_121'

처음에는 GB10 자체가 해당 블록 스케일 명령을 지원하지 않는 것처럼 보였다.

그런데 같은 코드를 sm_120a 대상으로 빌드해도 동일한 오류가 발생했다.

원인은 GPU가 아니라 컴파일 플래그였다.

Virtual Architecture에도 a 접미사를 명확히 지정하도록 바꾸자 컴파일이 정상적으로 통과했다.

--generate-code=arch=compute_121a,code=[compute_121a,sm_121a]

즉, 최소한 이 단계에서 확인한 결과는 NVFP4 명령 자체가 GB10에서 막히는 것은 아니었다.

2. 빌드는 됐지만 런타임도 5090에 묶여 있었다

다음은 실제 NInfer 빌드였다.

CMakeLists.txt에서 sm_120a만 허용하던 제한을 풀고 121a를 추가했다.

cmake -S . -B build -G Ninja \
  -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_CUDA_ARCHITECTURES=121a

cmake --build build -j

총 437개 타깃이 정상 빌드됐고, cuobjdump에서도 바이너리가 sm_121a 대상으로 생성된 것을 확인했다.

하지만 첫 실행은 즉시 종료됐다.

시작 루틴에 Compute Capability를 12.0으로만 제한하는 런타임 체크가 하나 더 남아 있었다.

이 부분에 12.1을 허용하자 처음으로 모델 가중치가 GB10에 정상 로드됐다.

여기까지는 포팅 성공이었다.

문제는 성능이었다.

3. Qwen3.8-27B Dense: 포팅은 성공했지만 빨라지지 않았다

첫 번째 테스트 모델은 Qwen3.8-27B NVFP4, 가중치 크기 약 19GB였다.

MTP3와 LM Head Draft를 활성화했다.

--spec mtp --draft-tokens 3 --lm-head-draft

CUDA Graph와 MTP3 모두 정상적으로 동작했고, 추론 중 GPU 사용률은 약 95%, 클럭은 약 2.5GHz까지 올라갔다.

하지만 속도는 기대보다 낮았다.

  • MTP3 Decode: 약 21.5 tok/s
  • 짧은 요청 최대: 약 28 tok/s
  • Non-spec Decode: 약 10.6 tok/s

Nsys 프로파일링을 해보니 전체 런타임의 90% 이상을 GEMM이 차지했다.

여기서는 코드보다 GB10의 메모리 대역폭이 더 큰 제약이었다.

NInfer NVFP4 가중치를 약 19.7GB로 보면 단순 계산상:

19.7 GB / 273 GB/s ≈ 72 ms

토큰마다 전체 가중치를 한 번 읽는다고 단순화하면 약 13.9 tok/s 수준의 대역폭 상한이 나온다.

실제 Non-spec Decode가 약 10.6 tok/s였다는 점을 보면, 커널 몇 개를 더 최적화한다고 상황이 크게 바뀔 가능성은 높지 않았다.

더 중요한 비교 대상도 있었다.

기존 llama.cpp 환경에서는 약 12.6GB의 Ridge 3.7bpw GGUF를 사용하고 있었고, MTP 적용 시 약 30 tok/s가 나왔다.

19.7GB NVFP4 가중치를 읽는 NInfer가 12.6GB GGUF와 같은 메모리 대역폭을 두고 경쟁하는 구조다.

결국 27B Dense에서는 NInfer를 GB10으로 포팅했다는 사실 자체는 의미가 있었지만, 실사용 성능 측면에서는 기존 llama.cpp + 경량 GGUF 구성을 바꿀 이유를 찾지 못했다.

4. Qwen3.6-35B-A3B MoE에서는 결과가 달라졌다

Dense 모델과 MoE 모델의 전체 경로 실행과 선택적 expert 라우팅을 비교한 개념 일러스트

Dense 모델과 MoE 모델의 전체 경로 실행과 선택적 expert 라우팅을 비교한 개념 일러스트.

두 번째 테스트는 Qwen3.6-35B-A3B MoE였다.

Dense 모델과 달리 MoE는 매 토큰마다 전체 모델 파라미터를 동일하게 사용하는 구조가 아니다. 이 차이가 GB10에서는 꽤 크게 나타났다.

NInfer의 공식 groupwise-int 아티팩트에 MTP3를 적용했다.

결과는:

  • MTP3 Decode: 98~111 tok/s
  • MTP Acceptance: 46~56%
  • Non-spec Decode: 약 65~69 tok/s

27B Dense 때와는 완전히 다른 범위의 속도였다.

이제 NInfer 포팅이 단순한 호환성 실험을 넘어 실제 사용할 만한 선택지가 되기 시작했다.

Prefill 300 tok/s의 정체

처음 측정한 Prefill은 약 300 tok/s에 불과했다.

하지만 NInfer 자체의 문제가 아니라 벤치마크 조건이 잘못된 것이었다.

측정에 사용한 입력이 약 65토큰뿐이어서 긴 프롬프트에서의 Prefill 처리량을 제대로 보여주지 못했다.

조건을 다시 맞춰 약 6,800토큰 프롬프트로 측정했다.

NInfer 기본 Prefill Chunk인 1024에서도 바로 4,350 tok/s가 나왔다.

여기에 GB10에 맞는 청크 크기를 탐색했다.

Prefill Chunk Size Throughput
1024 — 기본값 4.35k tok/s
2048 4.89k tok/s
4096 5.31k tok/s
Full Prompt (~6912) 5.21k tok/s

4096에서 기본값 대비 약 22% 더 높은 처리량이 나왔다.

4096 청크가 요구하는 워크스페이스는 약 417MiB였다. 128GB Unified Memory를 가진 GB10에서는 부담이 크지 않다.

따라서 upstream 기본값 자체를 바꾸지는 않았지만, GB10에서는 --prefill-chunk 4096을 권장 설정으로 잡았다.

5. llama.cpp와 실사용 구성으로 비교

같은 약 6,810토큰 프롬프트를 넣고 GB10에서 실제 사용 가능한 두 구성을 비교했다.

  • llama.cpp: Qwen3.6-35B-A3B Q8_0
  • NInfer GB10 Port: Qwen3.6-35B-A3B groupwise-int
항목 llama.cpp Q8_0 NInfer groupwise-int 차이
Prefill 1,612 tok/s 5,310 tok/s 약 3.29×
Decode — Non-spec 36.8 tok/s ~65 tok/s 약 1.77×
Decode — MTP3 - 98~111 tok/s 최대 약 3×

이 숫자는 꽤 크지만 해석에는 주의가 필요하다.

두 엔진이 동일한 양자화 포맷으로 동일 커널만 비교된 것이 아니다.

따라서 이것을 단순히 “NInfer 엔진이 llama.cpp보다 3.3배 빠르다”고 해석하면 안 된다.

더 정확한 표현은 다음에 가깝다.

현재 GB10에서 실제로 구성할 수 있는 Qwen3.6-35B-A3B 실행 환경 중, 이번에 테스트한 NInfer groupwise-int 구성이 llama.cpp Q8_0 구성보다 Prefill과 Decode 모두 높은 처리량을 보였다.

6. 왜 Dense와 MoE의 결과가 달랐을까

GB10의 특징을 단순하게 보면:

  • 128GB의 큰 Unified Memory
  • 273 GB/s의 비교적 제한적인 메모리 대역폭

이다.

Dense 모델에서는 매 토큰 생성 시 읽어야 하는 가중치의 양이 크다.

이 경우 엔진 최적화 못지않게 가중치를 얼마나 작게 만들었는가가 중요해진다.

27B 테스트에서는:

  • llama.cpp: 약 12.6GB, 3.7bpw GGUF
  • NInfer: 약 19.7GB, NVFP4

였기 때문에 NInfer가 코드 레벨에서 빠른 경로를 가지고 있더라도 메모리 트래픽 차이를 상쇄하기 어려웠다.

반면 MoE에서는 매 스텝마다 사용되는 Expert가 제한된다.

따라서 Dense와는 메모리 접근 패턴과 실제 연산량이 달라지고, 그 조건에서는 NInfer가 가지고 있는 Sparse MoE 경로, CUDA Graph, MTP 등의 최적화가 효과를 낼 여지가 커진다.

이번 실험 결과는 그 차이가 GB10에서도 실제 처리량 차이로 이어질 수 있다는 것을 보여줬다.

다만 각각의 최적화가 성능 향상에 얼마나 기여했는지를 별도로 분리 측정한 것은 아니다.

7. 코드에 박혀 있던 170 SM도 걷어냈다

GPU 실행 자원과 launch tuning을 GB10에 맞게 조정하는 과정을 표현한 개념 일러스트

개념 이미지: 실제 GB10의 SM 배치나 하드웨어 토폴로지가 아니라 플랫폼 포팅과 launch tuning을 추상화한 삽화입니다.

빌드와 런타임 제한을 푸는 것만으로 끝나지는 않았다.

NInfer 코드에는 RTX 5090의 170 SM을 전제로 한 런치 튜닝 값들이 여러 곳에 존재했다.

GB10은 48 SM이다.

cudaGetDeviceProperties()를 이용해 실제 SM 수를 런타임에서 감지하는 헬퍼를 추가하고 다음 경로에 적용했다.

  • GDN chunked output distribution
  • small-T attention split cap
  • Sparse MoE prefill grid cap
  • RoPE wave threshold

170 SM GPU에서는 기존 upstream 계산과 동일하게 동작하도록 스케일링했다.

단일 배치 기준 성능 변화는 크지 않았다.

  • Decode: 21.5 → 21.9 tok/s
  • Prefill: 2.54k → 2.63k tok/s

오차 범위에 가까운 수준이다.

이 수정의 목적은 단일 벤치마크 숫자를 끌어올리는 것보다는, batch > 1이나 MoE Prefill처럼 GPU 전체에 작업을 분배해야 하는 상황에서 실제 하드웨어 토폴로지에 맞는 런치 구성을 사용하는 것이었다.

8. API 서버까지 확인

포팅한 ninfer-serve를 통해 OpenAI 호환 API 서버도 테스트했다.

확인한 항목은 다음과 같다.

  • Thinking 태그 보존
  • 동시 2개 세션 처리
  • MTP 가속
  • OpenAI 호환 API 요청/응답

모두 정상적으로 동작했다.

즉, 단순히 벤치마크 바이너리 하나가 GB10에서 실행되는 수준을 넘어 실제 로컬 API 서버로 사용할 수 있는 상태까지 확인했다.

정리

이번 실험에서 가장 재미있었던 점은 “NInfer가 GB10에서 동작하는가?”보다 “어떤 모델에서 의미가 생기는가?”였다.

27B Dense에서는 포팅에 성공했지만 기존 llama.cpp + 경량 GGUF 구성을 넘어설 이유를 찾지 못했다.

반면 Qwen3.6-35B-A3B MoE에서는 상황이 달랐다.

긴 프롬프트 기준으로 이번 테스트 구성에서는:

  • Prefill: 1,612 → 5,310 tok/s
  • Non-spec Decode: 36.8 → 약 65 tok/s
  • MTP3 Decode: 98~111 tok/s

를 확인했다.

GB10에서 NInfer를 사용할 경우 --prefill-chunk 4096도 현재 테스트 기준으로 권장할 만했다.

포크는 아래 저장소에 공개했다.

GitHub: gdevsnack-ai-labs/ninfer-gb10

DGX Spark 기본 환경인 CUDA 13.0 / Driver 580.178에서 별도의 CUDA 13.1 업그레이드 없이 빌드하고 실행할 수 있다.

현재 포크는 experimental 상태다.

RTX 5090을 대상으로 한 upstream NInfer를 대체하려는 프로젝트가 아니라, upstream 동작을 최대한 유지하면서 DGX Spark GB10 지원을 추가한 포트다. 현재 상태를 하나의 baseline으로 두고 있다.

결론적으로 지금까지의 테스트에서는:

  • Dense 모델: GB10에서는 llama.cpp + 경량 GGUF 구성이 여전히 매력적이다.
  • Qwen3.6-35B-A3B 계열 MoE: NInfer GB10 포트가 실제로 검토할 만한 성능 차이를 보여줬다.

처음에는 단순히 “RTX 5090 전용에 가까운 CUDA 엔진을 GB10에서 돌릴 수 있을까?”라는 호기심으로 시작했다.

그런데 막상 끝까지 가보니 더 흥미로운 것은 포팅 자체가 아니었다.

같은 추론 엔진도 Dense와 MoE에서 결과가 완전히 달랐고, GB10의 대용량 메모리와 제한된 메모리 대역폭이라는 특성이 어떤 모델 구조와 잘 맞는지가 숫자로 드러났다.

그게 이번 포팅에서 얻은 가장 큰 결과였다.