Heretic MXFP4 · MTP
Server: native MTP · reasoning no-thinkllama-server -m <LING_3_0_FLASH_MXFP4_00001_OF_00004.gguf> --host <HOST> --port <PORT> --ctx-size 8192 --n-gpu-layers 999 --flash-attn on --batch-size 2048 --ubatch-size 512 --threads 20 --metrics --slots --parallel 8 --cache-type-k f16 --cache-type-v f16 --spec-type draft-mtp --spec-draft-n-max 3 --reasoning off --reasoning-format deepseek --reasoning-budget 0