Wan-Dancer-14B (Music-to-Dance)

개요

알리바바 통이랩, 사진+음악→댄스 영상, Apache-2.0

메모

FP8 모델 + 워크플로우 준비 완료. 서브그래프 flatten 이슈 미해결 → 웹 UI에서 실행 대기

조사 상세

조사일: 2026-08-07 | 출처: ModelScope/HF 모델 카드, arXiv 2607.09581, ComfyUI 코어/템플릿, NVIDIA 포럼, note.com 실측

개요

• 알리바바 통이랩 (Wan-AI), 2026-07-13 공개, Apache-2.0 (상업 OK — MiniMax H3와 달리 지역 제한 없음)
• 입력: 사람 사진 1장 + 음악 + 댄스 장르 프롬프트 → 출력: 720p/30fps 1분+ 댄스 영상
• 5개 장르: 중국 고전무용, K-Pop, 스트리트, 탭, 라틴
• 논문: "Wan-Dancer: A Hierarchical Framework for Minute-scale Coherent Music-to-Dance Generation" (arXiv 2607.09581)

구조 (2단계 계층)

1. Global 단계 (48 steps, cfg 5): 전곡 음악 맥락으로 키프레임 영상 계획 (global_model)
2. Local 단계 (24 steps, cfg 5): 키프레임 사이 720p 보간·정제 (local_model)

• 동적 프레임레이트(RoPE time-mapping), optical-flow 손실, 모션 스피드 컨트롤
• 공식 추론: 8×A800 80GB 전제, assert world_size == 8 하드코딩, yunchang USP + xfuser
• diffsynth 파이프라인 (wan_video_new) — Wan-Dancer 레포가 수정된 diffsynth 내장

모델 파일 (~85.7GB, BF16 기준)

파일	크기	용도
global_model.safetensors	34.5 GB	키프레임 플래닝
local_model.safetensors	34.5 GB	로컬 정제
models_t5_umt5-xxl-enc-bf16.pth	11.4 GB	텍스트 인코더
models_clip_xlm-roberta-large.pth	4.8 GB	CLIP
Wan2.1_VAE.pth	0.5 GB	VAE

ComfyUI 네이티브 지원 ✅

• ComfyUI 코어: comfy[경로] + supported_models.py에 WAN22_WanDancer (model_type=wandancer, I2V) 등록됨
• 공식 템플릿: Comfy-Org/workflow_templates → templates/video_wan_dancer.json (LoadImage + LoadAudio + global/local 2단계 SaveVideo)
• 서브그래프 구조: 3개 서브그래프 — 메인 "Image to Video (Wan Dancer)" + 프롬프트 선택 2개
• FP8 가중치 (Comfy-Org/Wan-Dancer, HF): wan2.2_dancer_14b_global_fp8_scaled.safetensors + local — 각 18.34GB
• GGUF (realrebelai/Wan_Dancer_GGUFs): global/local 각 Q3~Q6 (9.8~15.4GB)
• ConvRot 양자화 (Winnougan/Wan-Dancer-14B-INT8-INT4-Convrot): global INT8 16.3GB / INT4 8.4GB + UMT5 인코더
• 기본 워크플로우: 149프레임 한 번에 렌더 = 5초 영상, VRAM 24GB+ 권장

저스텝/디스틸 LoRA 현황

• Wan-Dancer 전용 distill/Lightning LoRA: 아직 없음 (HF "wan dancer lora/lightning" 검색, CivitAI, larryvrh 계정 모두 없음)
• ⚠️ lightx2v/Wan2.2-Distill-Loras (4-step, 20만 다운로드)는 적용 불가 — Wan 2.2 A14B(MoE)용이고 Wan-Dancer는 wan2.1 DiT 구조
• 적용 가능 후보: lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors (Kijai/WanVideo_comfy) — RTX 5060 Ti 검증 글에서 Wan-Dancer에 적용 성공 사례 있음 (단, 스텝 미축소)
• 4-step distill 적용 시 global 48→4스텝 이론상 ~12배 단축 — distill 스케줄러 호환 실측 필요
• GB10에 파일 준비 완료: `[로컬]

실측 성능 데이터 (외부)

RTX 5060 Ti 16GB (note.com, 2026-07-24, GGUF Q5 + LightX2V distill)

• 832×480 5초 영상 = 24분 (ComfyUI 기본 템플릿), 10초 = 30분+
• VRAM 15GB대, RAM 47GB. GPU "파도" — global/local 다단 + CPU↔VRAM 전송 병목 (실사용 ~50%)
• 5초 24분은 기본 스텝(48+24) 기준 — 스텝 축소 시 개선 기대

DGX Spark GB10 (NVIDIA 포럼)

• Triplany (GB10 최적화 전문가): Wan 2.2 14B fp16, 640×640, 81프레임 → 콜드 557s / 웜 370s (6.2분), VRAM 61GB, GPU 96%
• 일반 사용자: Wan 2.2 비디오 15~25분, GPU 효율 낮음 (OOM 크래시 사례도)
• Triplany: "Wan at fp16 is slow" — block swap은 GB10에서 오히려 성능 저하

GB10 실행 전망

• 메모리: FP8(36.7GB) 또는 GGUF Q5(28GB)면 128GB 통합 메모리로 여유 있음 (BF16 69GB도 가능)
• 속도: GB10 Wan2.2 81프레임 웜 6.2분 → Wan-Dancer(149프레임×72스텝×2단계) 5초 영상 30분~1시간+ 추정
• GPU 파도 문제는 통합 메모리로 완화 가능하지만, 스텝 수가 워낙 많아 실사용(쇼츠 제작)에는 부적합

GB10 테스트 준비 완료 상태 (2026-08-07)

• FP8 global/local 각 18.34GB 다운로드 완료: `[로컬]
• clip_vision_h.safetensors, wan_2.1_vae.safetensors, distill LoRA 2종, umt5 fp8 준비 완료
• 입력 파일: 4001.jpg (라틴), LatinDance.WAV — ComfyUI input 폴더에 업로드
• 리매핑 워크플로우: `[로컬]
• ⚠️ 미완료: 서브그래프 flatten 위젯 매핑 미해결 — API prompt 제출까지 도달하지 못했음

- 원인: 서브그래프 내부 노드의 widgets_values 순서가 object_info required 키 순서와 불일치

- ComfyUI 프론트엔드가 서브그래프 인스턴스화 + widgets_values 변환을 담당하므로, API로 직접 제출 시 평면화 필요

• 다음 단계: 웹 UI에서 직접 워크플로우 로드 → Queue

- 방법: Firefox/Chrome에서 [IP]:8188 접속 → "그랑" 메뉴 → Open → wan_dancer_test.json 선택

- 또는 ComfyUI 콘솔(F12)에서 fetch('[경로]').then(r=>r.json()).then(d=>app.loadGraphData(d))

- 실행 후 결과물은 `[로컬] 에 저장

링크

• 모델: https://huggingface.co/Wan-AI/Wan-Dancer-14B | https://modelscope.ai/models/Wan-AI/Wan-Dancer-14B
• FP8: https://huggingface.co/Comfy-Org/Wan-Dancer | GGUF: https://huggingface.co/realrebelai/Wan_Dancer_GGUFs
• Distill LoRA: https://huggingface.co/Kijai/WanVideo_comfy/Lightx2v/
• 워크플로우: https://github.com/Comfy-Org/workflow_templates/blob/main/templates/video_wan_dancer.json
• 코드: https://github.com/Wan-Video/Wan-Dancer | 프로젝트: https://humanaigc.github.io/wan-dancer-project/
• 실측 글: https://note.com/ai_0049/n/n697363dbb0bb | 포럼: forums.developer.nvidia.com[경로], [경로]
• ComfyUI 코어: comfy[경로] (WAN22_WanDancer, wan2.1 아키텍처 기반)