최신 글

전체 12개 · 1/1페이지

RTX 5090 전용 NInfer를 DGX Spark GB10에 포팅해봤다 — 27B는 졌고, 35B MoE는 달랐다

RTX 5090 전용 NInfer를 DGX Spark GB10에 포팅해봤다 — 27B는 졌고, 35B MoE는 달랐다

Qwen3.5 계열 Dense/MoE 모델에 특화된 C++/CUDA 기반 추론 엔진 NInfer를 접했다. llama.cpp나 vLLM처럼 범용성을 우선하는 엔진과 달리, NInfer는 특정 GPU와 모델을 목표로 CUDA Graph, 커스텀 양자화, MTP/DFlash, Paged KV Cache 같은 최적화를 밀도 있게 결합한 구조였다. 문제는 지원 환경이었다. 빌드 타깃은 사실상 RTX 5090의 sm_120a 에 맞춰져 있었고, 코드 곳곳에는 5090의 170 SM을 기준으로 한 튜닝 값이 들어 있었다. 내가 테스트할 장비는

2026. 9. 20.NInferDGX Spark
DGX Spark GB10 로컬 LLM 벤치마크

DGX Spark GB10 로컬 LLM 벤치마크

로컬에서 실행할 수 있는 LLM이 빠르게 늘고 있다. 같은 모델도 Q4, Q5, Q6, Q8, NVFP4, MXFP4, UD quant처럼 여러 형태로 배포되고, MTP 지원 여부나 튜닝 방식에 따라 실제 사용감도 크게 달라진다. 모델 카드에는 다양한 공개 벤치마크 결과가 있지만, 내가 궁금했던 것은 조금 더 단순했다. 내 NVIDIA DGX Spark GB10에서 실제로 돌렸을 때 어떤 모델이 빠르고, 어떤 모델이 코드를 잘 만들며, 어떤 모델이 도구를 잘 사용하고 여러 단계의 작업을 끝까지 수행하는가? 그래서 직접 로컬 LLM

2026. 9. 6.벤치마크로컬 LLM
주식 투자 도우미를 만들었는데, AI 자기개선 실험이 되었다

주식 투자 도우미를 만들었는데, AI 자기개선 실험이 되었다

StockPulse를 처음 만들 때는 거창한 AI 실험을 하려던 것이 아니었다. 주식 투자를 하다 보면 매일 비슷한 정보를 반복해서 확인하게 된다. 시장 흐름, 관심 종목의 변동, 뉴스 분위기, 기술적 지표를 매번 따로 챙기는 일이 번거로웠다. 그래서 단순한 생각에서 시작했다. 필요한 데이터를 자동으로 수집해 매일 아침 하나의 리포트로 정리해 주면 어떨까? 초기 StockPulse는 실험이라기보다 개인용 투자 보조 시스템의 PoC에 가까웠다. 머신러닝으로 시장과 종목의 움직임을 분석·예측하고, LLM은 시장 데이터와 지표, 뉴스를

2026. 9. 1.StockPulseAI 자기개선
생각보다 잘하는데, 생각보다 멍청했다

생각보다 잘하는데, 생각보다 멍청했다

생각보다 잘하는데, 생각보다 멍청했다 --- Hermes Agent의 두뇌를 GPT로 바꾸고 알게 된 것 최근 내가 사용하고 있는 Hermes Agent의 오케스트레이터 모델을 바꿨다. 기존에는 OpenCode.ai의 Go 서비스를 통해 DeepSeek V4 Flash를 사용하고 있었는데, 이번에는 ChatGPT 쪽으로 옮겨 GPT-5.6 Luna를 연결했다. 바꾸고 나서 처음 며칠은 꽤 만족스러웠다. 빠르고, 코딩도

2026. 8. 23.로컬 AIAI 에이전트
AI 시대에도 공부가 필요한 이유

AI 시대에도 공부가 필요한 이유

이 글은 이전 칼럼 「AI는 매달 똑똑해지는데, 왜 나는 그대로일까?」와 「왜 AI 강의는 이렇게 잘 팔릴까? — AI는 일을 대신해주지 않는다, 생각할 시간을 돌려줄 뿐이다」의 연장선에 있습니다. # AI는 날마다 똑똑해지는데, 우리는 왜 그대로일까? — 아는 만큼만 쓸 수 있다 눈부신 속도 Kimi3가 나왔다. Fable이 나왔다. GPT 5.6 Sol이 나왔다. AI가 발전하는 속도는 정말 눈이 부

2026. 7. 23.공부생산성
AI가 세계 최강의 오목 엔진을 만들었다? …로그를 보기 전까지는

AI가 세계 최강의 오목 엔진을 만들었다? …로그를 보기 전까지는

AI가 세계 최강의 오목 엔진을 만들었다? …로그를 보기 전까지는 AI에게 오목 엔진을 만들어 달라고 했다. 단 1시간 만에 780줄의 Minimax 엔진이 완성됐다. 그리고 현존 최강 오목 엔진 Rapfi와 대결을 붙였다. 결과가 너무 완벽했다. 그래서 오히려 믿을 수 없었다. 1부에서 이어집니다 지난 1부에서는 한 가지 사실을 확인했다: LLM 혼자서는 오목을 잘 두지 못한다. 보드를 텍스트로만 '독해'해야 하는 구조적 한계, Alpha-Beta나 MCTS 같은 탐색 알고리즘의 부재. 어쩌면 당연한 결과였다. 하지만 질문을 바꿔

2026. 7. 20.디버깅생성형AI
나는 AI가 쓴 뉴스를 읽고 있다

나는 AI가 쓴 뉴스를 읽고 있다

DEVSNACK — 개발자의 시선으로 보는 AI 며칠 전 아침이었다. 습관처럼 블로그 관리 페이지를 열었다. 밤새 새로운 글이 하나 올라와 있었다. 제목은 GPT-5.6 이야기였다. AI가 단순한 도구를 넘어 스스로 계획하고 행동하는 에이전트로 진화하고 있고, 진짜 위험은 모델의 성능이 아니라 인간의 적응 속도라는 내용이었다. 생각보다 괜찮은 글이었다. 몇 문단을 읽다가 문득 이상한 기분이 들었다. 잠깐. 이 글 누가 쓴 거지? 당연히 AI였다. 내가 만든 시스템이 뉴스를 수집했고, 관련 자료를 조사했고, 내용을 정리했고, 글을 작

2026. 7. 15.거버넌스생성형AI
AI는 매달 똑똑해지는데, 왜 나는 그대로일까?

AI는 매달 똑똑해지는데, 왜 나는 그대로일까?

벤치마크 점수와 실제 생산성 사이의 괴리 AI 업계는 거의 매달 축제를 연다. 새로운 모델이 나온다. 벤치마크 점수가 오른다. 유튜브 썸네일에는 이런 문장이 붙는다. "미쳤다." "이제 인간 개발자 끝났다." "역대 최고의 모델." 댓글도 비슷하다. "혁명이다." "이번엔 진짜다." 퇴근하고 집에 와서 직접 써본다. 그리고 몇 분 뒤 이런 생각이 든다. "음... 그래서 뭐가 달라진 거지?" 아마 많은 사람들이 한 번쯤은 느껴봤을 감정일 것이다. 분명 AI는 더 똑똑해지고 있다. 그런데 이상하게도 내 하루는 크게 달라지지 않는다.

2026. 7. 14.벤치마크생산성
왜 AI 강의는 이렇게 잘 팔릴까?

왜 AI 강의는 이렇게 잘 팔릴까?

AI는 일을 대신해주지 않는다 — 생각할 시간을 돌려줄 뿐이다 AI를 다루는 콘텐츠를 보다 보

2026. 7. 10.노코드딸깍
AI에도 국경이 생기기 시작했다 -  소버린 AI 시대와 오픈소스 개발자의 불안

AI에도 국경이 생기기 시작했다 - 소버린 AI 시대와 오픈소스 개발자의 불안

오늘은 어떤 모델이 허깅페이스에 올라왔을까. 습관처럼 허깅페이스 트렌딩 페이지를 열었다. 한국어 파인튜닝 모델이 몇 개 보이고, 새로운 Qwen 변형이 올라왔다. 평소와 다를 바 없는 아침이었다. 그런데 유튜브를 보다가 눈에 띈 영상 하나. "중국, 최첨단 AI 모델 해외 접근 제한 검토." [1] 허걱, 싶었다. 페이블(Fable) 사태를 아직도 생생히 기억한다. 앤스로픽의 클로드 페이블 5가 출시 3일 만에 미국 정부의 수출통제 명령을 받았다. [2] 이유가 뭐였나. "국가안보." 수억 명이 쓰는 상용 AI 모델이, 정부 명령

2026. 7. 8.국가안보로컬AI

2부: Hermes Agent, 24시간 개인 비서로 쓰며 느낀 것들

들어가며 1부 에서는 OpenClaw의 한계와 Hermes Agent로 전환한 배경을 다뤘다. 이번 2부에서는 Hermes의 핵심 기능인 자기 학습 루프가 실제로 어떻게 작동하는지, DGX Spark에서의 설정 과정, 그리고 개인 24시간 비서로 사용하면서 느낀 실질적인 장단점을 정리한다. Hermes의 핵심: 자기 학습 루프(Self-Learning Loop) 대부분의 AI 에이전트 프레임워크는 "작업 수신 → 계획 → 실행 → 결과 반환"의 고정된 루프를 따른다. 세션이 끝나면 아무것도 남지 않는다. 같은 유형의 작업을 100번

2026. 4. 30.튜토리얼AI 에이전트

1부: OpenClaw에서 Hermes Agent로 — 왜 갈아탔는가

들어가며 NVIDIA DGX GB10(DGX Spark)에서 24시간 돌아가는 개인 AI 비서를 만들겠다는 목표로 OpenClaw를 약 한 달간 사용했다. GitHub 스타 34만 개, ClawHub 마켓플레이스의 13,000개 이상의 커뮤니티 스킬, 24개 메시징 플랫폼 지원. 스펙만 보면 완벽했다. 그런데 실제로 매일 쓰다 보니 이야기가 달라졌다. 결론부터 말하면, 지금은 Nous Research의 Hermes Agent 로 완전히 갈아탔고, 훨씬 만족하고 있다. 이 글에서는 OpenClaw를 떠난 이유와 Hermes를 선택하게

2026. 4. 27.튜토리얼AI 에이전트