전체 12개 · 1/1페이지
NInfer라는 흥미로운 프로젝트를 발견했다. Qwen3.5 계열 Dense/MoE 모델을 위한 C++/CUDA 추론 엔진인데, 범용성을 넓게 가져가는 llama.cpp나 vLLM과는 방향이 다르다. 지원 GPU와 모델을 좁히는 대신 CUDA Graph, 전용 quantization, MTP/DFlash, paged KV cache 같은 최적화를 적극적으로 사용한다. 문제는 지원 대상이 사실상 RTX 5090 하나라는 점이었다. 빌드 타깃은 sm_120a , 내부에도 5090의 170 SM을 전제로 한 튜닝이 들어가 있었다. 내가
로컬에서 실행할 수 있는 LLM이 빠르게 늘고 있다. 같은 모델도 Q4, Q5, Q6, Q8, NVFP4, MXFP4, UD quant처럼 여러 형태로 배포되고, MTP 지원 여부나 튜닝 방식에 따라 실제 사용감도 크게 달라진다. 모델 카드에는 다양한 공개 벤치마크 결과가 있지만, 내가 궁금했던 것은 조금 더 단순했다. 내 NVIDIA DGX Spark GB10에서 실제로 돌렸을 때 어떤 모델이 빠르고, 어떤 모델이 코드를 잘 만들며, 어떤 모델이 도구를 잘 사용하고 여러 단계의 작업을 끝까지 수행하는가? 그래서 직접 로컬 LLM
StockPulse v1 회고 — 예측하는 AI에서, 스스로 고치는 AI로 StockPulse를 처음 만들 때는 거창한 AI 실험을 하려던 것이 아니었다. 주식 투자를 하다 보면 매일 비슷한 정보를 반복해서 확인하게 된다. 시장이 강한지 약한지, 관심 종목이 갑자기 움직이지는 않았는지, 뉴스 분위기는 어떤지, 기술적 지표는 어디쯤 와 있는지 살펴본다. 그렇다면 필요한 데이터를 자동으로 모으고, 매일 아침 하나의 리포트로 만들어주면 어떨까? 그 생각에서 StockPulse가 시작됐다. 처음 StockPulse는 실험이라기보다 개인용
생각보다 잘하는데, 생각보다 멍청했다 --- Hermes Agent의 두뇌를 GPT로 바꾸고 알게 된 것 최근 내가 사용하고 있는 Hermes Agent의 오케스트레이터 모델을 바꿨다. 기존에는 OpenCode.ai의 Go 서비스를 통해 DeepSeek V4 Flash를 사용하고 있었는데, 이번에는 ChatGPT 쪽으로 옮겨 GPT-5.6 Luna를 연결했다. 바꾸고 나서 처음 며칠은 꽤 만족스러웠다. 빠르고, 코딩도
이 글은 이전 칼럼 「AI는 매달 똑똑해지는데, 왜 나는 그대로일까?」와 「왜 AI 강의는 이렇게 잘 팔릴까? — AI는 일을 대신해주지 않는다, 생각할 시간을 돌려줄 뿐이다」의 연장선에 있습니다. # AI는 날마다 똑똑해지는데, 우리는 왜 그대로일까? — 아는 만큼만 쓸 수 있다 눈부신 속도 Kimi3가 나왔다. Fable이 나왔다. GPT 5.6 Sol이 나왔다. AI가 발전하는 속도는 정말 눈이 부
AI가 세계 최강의 오목 엔진을 만들었다? …로그를 보기 전까지는 AI에게 오목 엔진을 만들어 달라고 했다. 단 1시간 만에 780줄의 Minimax 엔진이 완성됐다. 그리고 현존 최강 오목 엔진 Rapfi와 대결을 붙였다. 결과가 너무 완벽했다. 그래서 오히려 믿을 수 없었다. 1부에서 이어집니다 지난 1부에서는 한 가지 사실을 확인했다: LLM 혼자서는 오목을 잘 두지 못한다. 보드를 텍스트로만 '독해'해야 하는 구조적 한계, Alpha-Beta나 MCTS 같은 탐색 알고리즘의 부재. 어쩌면 당연한 결과였다. 하지만 질문을 바꿔
DEVSNACK — 개발자의 시선으로 보는 AI 며칠 전 아침이었다. 습관처럼 블로그 관리 페이지를 열었다. 밤새 새로운 글이 하나 올라와 있었다. 제목은 GPT-5.6 이야기였다. AI가 단순한 도구를 넘어 스스로 계획하고 행동하는 에이전트로 진화하고 있고, 진짜 위험은 모델의 성능이 아니라 인간의 적응 속도라는 내용이었다. 생각보다 괜찮은 글이었다. 몇 문단을 읽다가 문득 이상한 기분이 들었다. 잠깐. 이 글 누가 쓴 거지? 당연히 AI였다. 내가 만든 시스템이 뉴스를 수집했고, 관련 자료를 조사했고, 내용을 정리했고, 글을 작
벤치마크 점수와 실제 생산성 사이의 괴리 AI 업계는 거의 매달 축제를 연다. 새로운 모델이 나온다. 벤치마크 점수가 오른다. 유튜브 썸네일에는 이런 문장이 붙는다. "미쳤다." "이제 인간 개발자 끝났다." "역대 최고의 모델." 댓글도 비슷하다. "혁명이다." "이번엔 진짜다." 퇴근하고 집에 와서 직접 써본다. 그리고 몇 분 뒤 이런 생각이 든다. "음... 그래서 뭐가 달라진 거지?" 아마 많은 사람들이 한 번쯤은 느껴봤을 감정일 것이다. 분명 AI는 더 똑똑해지고 있다. 그런데 이상하게도 내 하루는 크게 달라지지 않는다.
AI는 일을 대신해주지 않는다 — 생각할 시간을 돌려줄 뿐이다 AI를 다루는 콘텐츠를 보다 보
오늘은 어떤 모델이 허깅페이스에 올라왔을까. 습관처럼 허깅페이스 트렌딩 페이지를 열었다. 한국어 파인튜닝 모델이 몇 개 보이고, 새로운 Qwen 변형이 올라왔다. 평소와 다를 바 없는 아침이었다. 그런데 유튜브를 보다가 눈에 띈 영상 하나. "중국, 최첨단 AI 모델 해외 접근 제한 검토." [1] 허걱, 싶었다. 페이블(Fable) 사태를 아직도 생생히 기억한다. 앤스로픽의 클로드 페이블 5가 출시 3일 만에 미국 정부의 수출통제 명령을 받았다. [2] 이유가 뭐였나. "국가안보." 수억 명이 쓰는 상용 AI 모델이, 정부 명령
들어가며 1부 에서는 OpenClaw의 한계와 Hermes Agent로 전환한 배경을 다뤘다. 이번 2부에서는 Hermes의 핵심 기능인 자기 학습 루프가 실제로 어떻게 작동하는지, DGX Spark에서의 설정 과정, 그리고 개인 24시간 비서로 사용하면서 느낀 실질적인 장단점을 정리한다. Hermes의 핵심: 자기 학습 루프(Self-Learning Loop) 대부분의 AI 에이전트 프레임워크는 "작업 수신 → 계획 → 실행 → 결과 반환"의 고정된 루프를 따른다. 세션이 끝나면 아무것도 남지 않는다. 같은 유형의 작업을 100번
들어가며 NVIDIA DGX GB10(DGX Spark)에서 24시간 돌아가는 개인 AI 비서를 만들겠다는 목표로 OpenClaw를 약 한 달간 사용했다. GitHub 스타 34만 개, ClawHub 마켓플레이스의 13,000개 이상의 커뮤니티 스킬, 24개 메시징 플랫폼 지원. 스펙만 보면 완벽했다. 그런데 실제로 매일 쓰다 보니 이야기가 달라졌다. 결론부터 말하면, 지금은 Nous Research의 Hermes Agent 로 완전히 갈아탔고, 훨씬 만족하고 있다. 이 글에서는 OpenClaw를 떠난 이유와 Hermes를 선택하게
전체 12개 · 1/1페이지
NInfer라는 흥미로운 프로젝트를 발견했다. Qwen3.5 계열 Dense/MoE 모델을 위한 C++/CUDA 추론 엔진인데, 범용성을 넓게 가져가는 llama.cpp나 vLLM과는 방향이 다르다. 지원 GPU와 모델을 좁히는 대신 CUDA Graph, 전용 quantization, MTP/DFlash, paged KV cache 같은 최적화를 적극적으로 사용한다. 문제는 지원 대상이 사실상 RTX 5090 하나라는 점이었다. 빌드 타깃은 sm_120a , 내부에도 5090의 170 SM을 전제로 한 튜닝이 들어가 있었다. 내가
로컬에서 실행할 수 있는 LLM이 빠르게 늘고 있다. 같은 모델도 Q4, Q5, Q6, Q8, NVFP4, MXFP4, UD quant처럼 여러 형태로 배포되고, MTP 지원 여부나 튜닝 방식에 따라 실제 사용감도 크게 달라진다. 모델 카드에는 다양한 공개 벤치마크 결과가 있지만, 내가 궁금했던 것은 조금 더 단순했다. 내 NVIDIA DGX Spark GB10에서 실제로 돌렸을 때 어떤 모델이 빠르고, 어떤 모델이 코드를 잘 만들며, 어떤 모델이 도구를 잘 사용하고 여러 단계의 작업을 끝까지 수행하는가? 그래서 직접 로컬 LLM
StockPulse v1 회고 — 예측하는 AI에서, 스스로 고치는 AI로 StockPulse를 처음 만들 때는 거창한 AI 실험을 하려던 것이 아니었다. 주식 투자를 하다 보면 매일 비슷한 정보를 반복해서 확인하게 된다. 시장이 강한지 약한지, 관심 종목이 갑자기 움직이지는 않았는지, 뉴스 분위기는 어떤지, 기술적 지표는 어디쯤 와 있는지 살펴본다. 그렇다면 필요한 데이터를 자동으로 모으고, 매일 아침 하나의 리포트로 만들어주면 어떨까? 그 생각에서 StockPulse가 시작됐다. 처음 StockPulse는 실험이라기보다 개인용
생각보다 잘하는데, 생각보다 멍청했다 --- Hermes Agent의 두뇌를 GPT로 바꾸고 알게 된 것 최근 내가 사용하고 있는 Hermes Agent의 오케스트레이터 모델을 바꿨다. 기존에는 OpenCode.ai의 Go 서비스를 통해 DeepSeek V4 Flash를 사용하고 있었는데, 이번에는 ChatGPT 쪽으로 옮겨 GPT-5.6 Luna를 연결했다. 바꾸고 나서 처음 며칠은 꽤 만족스러웠다. 빠르고, 코딩도
이 글은 이전 칼럼 「AI는 매달 똑똑해지는데, 왜 나는 그대로일까?」와 「왜 AI 강의는 이렇게 잘 팔릴까? — AI는 일을 대신해주지 않는다, 생각할 시간을 돌려줄 뿐이다」의 연장선에 있습니다. # AI는 날마다 똑똑해지는데, 우리는 왜 그대로일까? — 아는 만큼만 쓸 수 있다 눈부신 속도 Kimi3가 나왔다. Fable이 나왔다. GPT 5.6 Sol이 나왔다. AI가 발전하는 속도는 정말 눈이 부
AI가 세계 최강의 오목 엔진을 만들었다? …로그를 보기 전까지는 AI에게 오목 엔진을 만들어 달라고 했다. 단 1시간 만에 780줄의 Minimax 엔진이 완성됐다. 그리고 현존 최강 오목 엔진 Rapfi와 대결을 붙였다. 결과가 너무 완벽했다. 그래서 오히려 믿을 수 없었다. 1부에서 이어집니다 지난 1부에서는 한 가지 사실을 확인했다: LLM 혼자서는 오목을 잘 두지 못한다. 보드를 텍스트로만 '독해'해야 하는 구조적 한계, Alpha-Beta나 MCTS 같은 탐색 알고리즘의 부재. 어쩌면 당연한 결과였다. 하지만 질문을 바꿔
DEVSNACK — 개발자의 시선으로 보는 AI 며칠 전 아침이었다. 습관처럼 블로그 관리 페이지를 열었다. 밤새 새로운 글이 하나 올라와 있었다. 제목은 GPT-5.6 이야기였다. AI가 단순한 도구를 넘어 스스로 계획하고 행동하는 에이전트로 진화하고 있고, 진짜 위험은 모델의 성능이 아니라 인간의 적응 속도라는 내용이었다. 생각보다 괜찮은 글이었다. 몇 문단을 읽다가 문득 이상한 기분이 들었다. 잠깐. 이 글 누가 쓴 거지? 당연히 AI였다. 내가 만든 시스템이 뉴스를 수집했고, 관련 자료를 조사했고, 내용을 정리했고, 글을 작
벤치마크 점수와 실제 생산성 사이의 괴리 AI 업계는 거의 매달 축제를 연다. 새로운 모델이 나온다. 벤치마크 점수가 오른다. 유튜브 썸네일에는 이런 문장이 붙는다. "미쳤다." "이제 인간 개발자 끝났다." "역대 최고의 모델." 댓글도 비슷하다. "혁명이다." "이번엔 진짜다." 퇴근하고 집에 와서 직접 써본다. 그리고 몇 분 뒤 이런 생각이 든다. "음... 그래서 뭐가 달라진 거지?" 아마 많은 사람들이 한 번쯤은 느껴봤을 감정일 것이다. 분명 AI는 더 똑똑해지고 있다. 그런데 이상하게도 내 하루는 크게 달라지지 않는다.
AI는 일을 대신해주지 않는다 — 생각할 시간을 돌려줄 뿐이다 AI를 다루는 콘텐츠를 보다 보
오늘은 어떤 모델이 허깅페이스에 올라왔을까. 습관처럼 허깅페이스 트렌딩 페이지를 열었다. 한국어 파인튜닝 모델이 몇 개 보이고, 새로운 Qwen 변형이 올라왔다. 평소와 다를 바 없는 아침이었다. 그런데 유튜브를 보다가 눈에 띈 영상 하나. "중국, 최첨단 AI 모델 해외 접근 제한 검토." [1] 허걱, 싶었다. 페이블(Fable) 사태를 아직도 생생히 기억한다. 앤스로픽의 클로드 페이블 5가 출시 3일 만에 미국 정부의 수출통제 명령을 받았다. [2] 이유가 뭐였나. "국가안보." 수억 명이 쓰는 상용 AI 모델이, 정부 명령
들어가며 1부 에서는 OpenClaw의 한계와 Hermes Agent로 전환한 배경을 다뤘다. 이번 2부에서는 Hermes의 핵심 기능인 자기 학습 루프가 실제로 어떻게 작동하는지, DGX Spark에서의 설정 과정, 그리고 개인 24시간 비서로 사용하면서 느낀 실질적인 장단점을 정리한다. Hermes의 핵심: 자기 학습 루프(Self-Learning Loop) 대부분의 AI 에이전트 프레임워크는 "작업 수신 → 계획 → 실행 → 결과 반환"의 고정된 루프를 따른다. 세션이 끝나면 아무것도 남지 않는다. 같은 유형의 작업을 100번
들어가며 NVIDIA DGX GB10(DGX Spark)에서 24시간 돌아가는 개인 AI 비서를 만들겠다는 목표로 OpenClaw를 약 한 달간 사용했다. GitHub 스타 34만 개, ClawHub 마켓플레이스의 13,000개 이상의 커뮤니티 스킬, 24개 메시징 플랫폼 지원. 스펙만 보면 완벽했다. 그런데 실제로 매일 쓰다 보니 이야기가 달라졌다. 결론부터 말하면, 지금은 Nous Research의 Hermes Agent 로 완전히 갈아탔고, 훨씬 만족하고 있다. 이 글에서는 OpenClaw를 떠난 이유와 Hermes를 선택하게