
주식 투자 도우미를 만들었는데, AI 자기개선 실험이 되었다
StockPulse를 처음 만들 때는 거창한 AI 실험을 하려던 것이 아니었다.
주식 투자를 하다 보면 매일 비슷한 정보를 반복해서 확인하게 된다. 시장 흐름, 관심 종목의 변동, 뉴스 분위기, 기술적 지표를 매번 따로 챙기는 일이 번거로웠다.
그래서 단순한 생각에서 시작했다.
필요한 데이터를 자동으로 수집해 매일 아침 하나의 리포트로 정리해 주면 어떨까?
초기 StockPulse는 실험이라기보다 개인용 투자 보조 시스템의 PoC에 가까웠다. 머신러닝으로 시장과 종목의 움직임을 분석·예측하고, LLM은 시장 데이터와 지표, 뉴스를 종합해 판단을 정리했다. 정해진 시간마다 결과를 전달하기 위해 Telegram 봇도 붙였다.
목표는 명확했다.
매일 시장을 분석하는 데 드는 시간과 노력을 줄이는 것.
매일 아침 시장을 대신 읽어주는 시스템
StockPulse는 매일 아침 시장 상황과 관심 종목을 정리한 브리핑을 생성했고, 장중에는 지정 종목의 급등락 알림을 보냈다. 뉴스 감성 분석과 자체 계산한 시장 심리 지표도 리포트에 포함했다.
예를 들면 이런 형태였다.
📊 시장 심리 + 수급 브리핑 예시 (2026-08-27)
🟡 공포/탐욕 지수: 57/100 (중립)
💡 전략: 관망 또는 선별 매수
KOSPI 6,808.21 (+0.97%) / KOSDAQ 826.87 (이격도 3.28%)
모멘텀 [███████░░░] 74 | 변동성 [███░░░░░░░] 30
투자심리 [███████░░░] 70 | 이격도 [████████░░] 80
거래량 [██░░░░░░░░] 29 | 고저비율 [█████░░░░░] 50
개별 기능만 놓고 보면 새로운 기술은 아니다. 기술적 지표, 뉴스 감성 분석, 머신러닝 기반 주가 예측은 이미 널리 쓰이는 방법이다.
StockPulse에서 해보고 싶었던 것은 기술 하나를 새로 만드는 일이 아니라,
데이터 수집 → ML 계산 → LLM 판단 → 리포트 생성 → 메신저 알림
으로 이어지는 하루의 분석 과정을 자동화하는 것이었다.
시스템은 계획대로 돌아갔고 한동안 실제로 사용했다.
문제는 그다음이었다.
그런데 실제 투자에는 별로 도움이 되지 않았다
매일 아침 자동으로 리포트를 받고 장중에 알림이 오는 경험 자체는 꽤 재미있었다. 내가 만든 시스템이 실제 시장 데이터를 바탕으로 매일 결론을 내리고 있다는 점도 흥미로웠다.
하지만 투자 보조 도구라는 원래 목적에 비춰 보면 중요한 문제가 있었다.
예측 정확도가 낮았다.
리포트가 그럴듯한 것과 실제 투자에 유용한 것은 다른 문제였다.
LLM은 상승과 하락의 이유를 매끄럽게 설명했고, 여러 지표 사이의 관계도 그럴듯하게 정리했다. 머신러닝 역시 입력 데이터를 바탕으로 방향성을 계산했다.
하지만 가장 중요한 질문에는 답하지 못했다.
그래서 실제로 얼마나 맞혔는가?
v1 종료 시점까지 평가가 완료된 기록은 다음과 같았다.
- LLM Morning 예측: 26건 중 10건 성공 — 약 38.46%
- ML 예측: 24건 중 6건 성공 — 약 25.00%
이 수치를 일반적인 주가 예측 모델의 성능이나 실제 투자 수익률로 해석할 수는 없다. 표본 기간이 짧았고, 실험 도중 평가 규칙도 일부 조정됐다.
다만 당시의 StockPulse를 실제 매매 판단 기준으로 사용하기에는 신뢰도가 부족하다는 점은 분명했다.
이 시점부터 프로젝트의 질문이 바뀌었다.
“AI에게 자신의 실패를 직접 보여주면 어떨까?”
처음 질문은 이랬다.
AI와 머신러닝으로 개인 투자에 도움이 되는 시스템을 만들 수 있을까?
하지만 운영을 계속하면서 더 흥미로운 질문이 생겼다.
AI에게 자신의 예측과 실제 결과를 계속 피드백하면, 스스로 판단 기준을 개선할 수 있을까?
사람이 매번 실패 원인을 분석하고 모델을 수동으로 튜닝하는 대신, AI가 직접 시장 데이터를 보고 예측하고 결과를 확인한 뒤, 왜 틀렸는지 분석해 다음 판단 규칙을 수정하게 만드는 구조를 생각했다.
이때부터 StockPulse는 투자 보조 도구에서 AI 자기개선(Self-Improvement) 실험으로 성격이 바뀌었다.
예측하고, 틀리고, 반성하고, 수정한다
자기개선 루프는 단순했다.
예측 → 평가 → 실패 분석 → 규칙 수정 → 재예측
장 마감 후 예측이 틀렸다면 LLM에게 실패 원인을 분석하게 했다.
어떤 지표를 과대평가했는지, 놓친 시장 신호가 있었는지 정리하고, 그 결과를 바탕으로 LLM의 판단 프롬프트를 수정하거나 ML의 파라미터·피처 변경안을 전달하도록 구성했다.
초기에는 기대가 컸다.
LLM은 이미 일어난 사건을 설명하는 데 꽤 능숙했다.
- “단기 모멘텀을 과도하게 반영했다.”
- “시장 리스크 선호도 변화를 충분히 반영하지 못했다.”
- “급락 후 기술적 반등 가능성을 낮게 봤다.”
이런 분석을 읽고 있으면 다음 날에는 정말 더 잘 맞힐 것 같은 느낌이 들었다.
하지만 현실의 시장은 그렇게 단순하지 않았다.
사후 설명과 실제 개선 사이의 괴리
운영을 계속하면서 몇 가지 문제가 반복적으로 나타났다.
1. 어제의 교훈이 오늘의 편향이 됐다
전날 하락을 놓친 뒤 하락 신호의 가중치를 높이면 다음 날 시장이 반등했고, 반등 가능성을 높여 두면 다시 하락하는 식의 일이 반복됐다.
과거 실패에서 얻은 교훈이 다음 상황에서도 그대로 유효하다는 보장은 없었다.
2. 틀린 이유를 하나로 확정하기 어려웠다
예측이 빗나갔다고 해서 원인이 명확한 것은 아니다.
지표 해석이 잘못됐을 수도 있고, 수급 변화 때문일 수도 있으며, 장중 뉴스나 외부 이벤트의 영향일 수도 있다.
결과가 나온 뒤에는 설명을 만들기 쉽다. 문제는 그 설명이 실제 인과관계를 반영한 것인지, 단지 결과에 맞춘 사후 설명(Post-hoc Rationalization) 인지를 구분하기 어렵다는 점이었다.
3. 규칙이 늘어난다고 모델이 좋아지는 것은 아니었다
실패할 때마다 새로운 예외와 보정 규칙을 추가하다 보면 시스템이 정교해지는 대신 복잡도만 높아질 수 있다.
그리고 v1 파이프라인을 종료하며 전체 코드를 다시 감사했을 때, 더 근본적인 문제가 드러났다.
Proposal ≠ Applied ≠ Improved
v1 종료 후 코드와 실행 로그를 교차 검증하면서 자기개선 파이프라인의 중요한 결함을 발견했다.
ML 단계에서는 실패 분석을 바탕으로 파라미터 변경안을 만들고 override 로그도 남기고 있었다. 하지만 일부 설정 파라미터 이름이 실제 학습 코드에서 사용하는 변수명과 맞지 않아, 해당 변경이 실제 학습에 반영되지 않는 경우가 있었다.
로그만 보면 시스템은 분명 무언가를 고치고 있었다.
하지만 실제 런타임에서는 그렇지 않았다.
이 경험을 통해 자기개선 시스템에서는 최소한 세 단계를 분리해서 봐야 한다는 것을 배웠다.
Proposal
AI가 실패 원인을 분석하고 수정안을 제안했는가.
Applied
그 수정안이 실제 코드와 런타임에 정상적으로 적용됐는가.
Improved
적용된 변경이 이전 방식보다 실제로 더 나은 결과를 만들었는가.
이 세 가지는 전혀 같은 말이 아니다.
개선안을 만들었다고 해서 적용된 것이 아니고, 적용됐다고 해서 성능이 좋아졌다는 뜻도 아니다.
자동화 시스템에서는 이 세 단계가 하나의 “성공 로그” 안에 쉽게 뭉개진다.
StockPulse v1에서 얻은 가장 중요한 교훈 중 하나였다.
운영 성공 ≠ 실험 성공
데이터 파이프라인에서도 비슷한 문제가 있었다.
어떤 날은 수급 데이터가 누락돼 LSTM 시퀀스를 정상적으로 만들지 못하면서 일부 모델이 학습에서 제외됐다. 하지만 예외 처리 덕분에 전체 배치는 Job Success로 종료됐다.
즉,
자동화 작업이 정상 종료됐다
는 사실과
실험 조건이 정상적으로 충족됐다
는 사실은 서로 달랐다.
예측 데이터에서도 비슷한 일이 있었다.
종목 단위 예측 데이터는 약 1,000개 row까지 쌓였지만, 그 전체를 다시 평가하는 후속 파이프라인이 완성되지 않아 상당수가 검증되지 않은 채 남았다.
여기서 또 하나의 구분이 생겼다.
생성했다 ≠ 측정했다 ≠ 검증했다
자동화가 많은 산출물을 만든다고 해서 그것이 곧 좋은 실험이 되는 것은 아니었다.
StockPulse v1에 남은 것
StockPulse v1은 짧은 토이 프로젝트로 끝나지는 않았다.
예측 성능은 기대에 미치지 못했지만, 실제 운영 과정에서 이후 실험을 다시 검증할 수 있는 기록과 데이터가 남았다.
- Daily Report: 68건
- Daily Lab Note: 26건
- Weekly Lab Note: 1건
- Prediction / Evaluation Raw 데이터 보존
보다 자세한 실험 기록과 수치는 StockPulse AI Self-Improvement Lab에 정리해 두었다.
이 기록을 통해 확인한 것은 단순했다.
StockPulse v1에서는 피드백 루프를 만들고 수정안을 생성하는 것만으로 실제 성능 향상이 확인되지는 않았다.
스스로 실패를 분석하고 판단 규칙이나 ML 변경안을 제안하는 시스템까지는 만들 수 있었다.
하지만 그것을 곧바로 자기개선이라고 부르기에는 부족했다.
그래서 v1 파이프라인은 여기서 종료했다.
v2: “고쳤다”가 아니라 “좋아졌다”를 확인하기 위해
다음 단계에서는 기존 시스템을 그대로 연장하지 않고 두 경로를 나눠서 보려 한다.
v1 Fix — 구현 검증
기존 v1의 자기개선 아이디어는 유지하되, 실행 과정에서 발견된 문제를 바로잡는다.
- 파라미터 이름과 런타임 적용 경로 검증
- 평가 경계 명확화
- 데이터 결측 검증
- 제안된 변경이 실제 학습과 추론에 적용됐는지 확인
목적은 원래 의도한 자기수정 루프가 실제 코드에서도 제대로 동작하는지 확인하는 것이다.
v2 Architecture — 비교 가능한 자기개선 실험
v2에서는 개선안이 만들어졌다고 해서 곧바로 기존 모델을 덮어쓰지 않는다.
Baseline과 Candidate를 분리해 같은 데이터와 같은 조건에서 일정 기간 병렬로 실행하고, 충분한 표본에서 Candidate가 실제로 더 나은 결과를 보이는지 비교한 뒤에만 갱신을 승인하는 구조를 생각하고 있다.
앞으로는 다음 세 가지를 각각 확인해야 한다.
- 무엇을 바꾸려고 했는가.
- 그 변경이 실제 런타임에 적용됐는가.
- 같은 조건에서 기존 방식보다 더 나은 결과를 냈는가.
AI에게 실패한 결과를 보여주고 그럴듯한 반성문을 쓰게 만드는 것은 어렵지 않다.
하지만 그 반성이 실제 성능 개선으로 이어지는지 확인하려면, 변경과 적용과 평가를 분리한 통제 구조가 필요하다.
StockPulse에서 가장 흥미로웠던 것도 결국 주가 방향 예측 자체보다 이 지점이었다.
처음에는 매일 아침 시장을 대신 읽어주는 투자 도우미를 만들려고 했다.
끝날 때는 전혀 다른 질문이 남았다.
AI는 자신의 실패를 분석하는 것을 넘어, 실제로 스스로 더 나아질 수 있을까?
StockPulse v2에서는 그 질문을 조금 더 엄격한 방식으로 다시 확인해 보려 한다.