적중률·확률·전망점수의 차이 — 기준 모델과 비용부터 확인하기
작성·검토: KOSAK Studio · 수정:
이전 글의 ‘어떤 모델이든 적중률은 50%로 수렴한다’는 설명은 일반적으로 성립하지 않아 정정했습니다. 상승·하락 두 결과가 있어도 실제 비율이 반반인 것은 아닙니다. 이 안내는 코싸크의 숫자를 읽을 때 비교 기준과 계산 조건을 먼저 확인하도록 돕습니다.
세 숫자는 서로 다른 질문에 답합니다
- 전망점수: 선택한 지표를 합산한 방향·강도 표현입니다. +70점이 다음 가격 상승 확률 70%라는 뜻은 아닙니다.
- 예측 확률: 특정 사건이 일어날 가능성에 대한 모델 출력입니다. 완료된 사례에서 출력값과 실제 빈도가 맞는지 별도 평가해야 합니다.
- 적중률: 정한 판정 기준에서 맞힌 건수 ÷ 완료된 건수입니다. 수익률이나 비용 차감 후 성과를 의미하지 않습니다.
가상 예제: 58%를 맞혀도 기준 모델보다 못할 수 있습니다
평가 대상 100건 중 실제 상승이 60건, 하락이 40건이라고 합시다. 모델이 58건을 맞혔다면 적중률은 58%입니다. 그러나 이 기간에 ‘항상 상승’이라고 답하는 단순 규칙은 60%를 맞힙니다. 무조건 50%와 비교한 +8%p만 제시하면 기준 모델보다 못한 점을 놓치게 됩니다.
같은 100건이라도 미완료 예측을 빼는 방법, 보합을 성공으로 세는지, 1시간 뒤인지 1일 뒤인지에 따라 결과가 달라집니다. 종목·기간·예측 시점·판정 시점이 같아야 공정한 비교가 됩니다. 이 숫자는 계산 예제이며 코싸크 실측 성능이 아닙니다.
같은 100건도 균형 적중률은 다르게 나옵니다
앞의 가상 100건에서 실제 상승 60건 중 36건, 실제 하락 40건 중 22건을 맞혔다고 더 구체적으로 가정해 봅시다.
| 실제 방향 | 전체 건수 | 맞힌 건수 | 그 방향의 재현율 |
|---|---|---|---|
| 상승 | 60 | 36 | 36/60=60% |
| 하락 | 40 | 22 | 22/40=55% |
| 전체 | 100 | 58 | 전체 적중률 58/100=58% |
두 방향을 같은 비중으로 보는 균형 적중률은 (60%+55%)/2=57.5%입니다. 항상 상승이라고 답하는 규칙은 전체 적중률 60%이지만, 상승 재현율 100%·하락 재현율 0%여서 균형 적중률은 50%입니다. 무엇을 평가하는 지표인지에 따라 비교 결과가 달라지며, 이 숫자 중 하나만 골라 수익성이 검증됐다고 말할 수는 없습니다.
AUC 0.53은 적중률 53%가 아닙니다
AUC는 분류 점수의 순위 구분 능력을 평가하는 지표입니다. 하나의 매수·매도 문턱에서 얼마나 맞혔는지와 계산 대상이 다릅니다. AUC를 곧바로 적중률이나 동전 던지기 대비 우위로 환산하지 않습니다. 실제 선택한 문턱에서 나온 정답·오답 건수와 기준 모델의 같은 지표를 별도로 제시해야 합니다.
적중 횟수와 손익은 따로 계산합니다
가상의 거래 열 번 중 여섯 번 +1%, 네 번 −3%라면 거래별 수익률의 산술평균은 (6×1−4×3)/10=−0.6%입니다. 적중률은 60%인데 평균 손익은 음수입니다. 실제 계좌에서는 수수료·미끄러짐·포지션 크기·중복 보유·복리 효과까지 계산해야 하므로 이 산술평균을 계좌 수익률로 표시해서도 안 됩니다.
비용을 넣으면 손익도 달라집니다
가상의 가격 100에 10개를 사서 101에 판다고 합시다. 매수·매도 수수료를 각각 체결대금의 0.1%로 가정하고 다른 비용은 없다고 하면, 매수 비용은 1,000+1=1,001, 매도 수령액은 1,010−1.01=1,008.99입니다. 순손익은 7.99, 매수 비용 대비 수익률은 약 0.798%입니다. 가격 상승률 1%와 같지 않습니다. 실제 시장의 수수료·세율을 제시한 것이 아닌 산술 예제이며 외화 거래에는 환율과 환전 비용도 추가로 구분해야 합니다.
평가 표를 볼 때 확인할 다섯 칸
- 자료와 기간: 어떤 거래소·종목·기간을 포함했고 빠진 자료를 어떻게 처리했는가.
- 원시 건수: 맞힌 건수, 틀린 건수, 미완료 건수가 각각 얼마인가.
- 기준 모델: 같은 사례에서 단순한 규칙은 얼마를 맞혔는가.
- 비용과 위험: 비용 차감 후 평균뿐 아니라 큰 손실과 분포도 공개하는가.
- 독립 평가: 규칙을 고른 데이터와 마지막 평가 데이터가 분리돼 있는가.
특히 미래 24시간의 결과를 매시간 측정하면 이웃한 사례가 같은 가격 구간을 많이 공유합니다. 행 수를 그대로 독립적인 시행 수라고 생각하면 불확실성을 과소평가할 수 있습니다. 시간 순서와 겹치는 구간을 고려한 평가가 필요합니다.
코싸크의 과거 기록도 종류를 구분합니다
- 과거 방향 재계산: 자가검증은 과거 약 40봉의 추세로 다음 가격 방향을 계산하는 경로입니다. 현재 여러 지표의 종합점수 자체를 그대로 재현한 결과가 아닙니다.
- 배포 후 기록: 실제로 기록한 예측을 이후 완료된 봉과 비교하는 채점입니다. 시장·시간봉·기기 기록 범위와 미완료 건수를 확인해야 합니다.
- 전략 손익: 진입·청산·보유 규칙과 비용 조건이 있어야 계산할 수 있습니다. 방향 적중률만으로 대체할 수 없습니다.
2026-10-10의 42개 일봉·주봉 비교 연구는 시장·기간·평가 방법·실패 조건을 따로 적고, 원자료 JSON과 방법·계산 코드를 연결했습니다. 그 연구의 균형 방향 적중률을 모든 현재 종목의 수익 확률로 옮겨 적으면 안 됩니다.
코싸크에서 어떻게 읽으면 되나요?
종목별 점수는 먼저 지표 요약으로 읽습니다. 과거 평가 숫자는 표시된 시장·시간 범위·표본 조건 안에서 해석하고, 가격 전망을 검증된 수익 확률로 바꾸어 읽지 않습니다. 데이터가 없거나 평가 조건이 확인되지 않는 경우 ‘모른다’는 상태를 성과로 채우지 않는 것이 원칙입니다. 오류는 문의 페이지로 제보해 주세요.
검토·정정 기록
2026-09-29에는 모든 모델의 적중률이 일정한 값으로 수렴한다는 일반화를 정정했습니다. 2026-10-22에는 전체·균형 적중률 비교와 비용 계산 예제, 앱의 서로 다른 평가 경로를 보강했습니다. 새 실측 성과를 발표한 것이 아닙니다. 가상 예제는 KOSAK Studio가 직접 계산하고, 일반 지표 정의는 아래 공식 문서와 대조합니다. 오류는 문의 페이지로 받으며 편집·정정 원칙에 따라 본문과 수정일을 함께 갱신합니다.
참고 자료와 직접 계산 연습
- scikit-learn 공식 문서: Accuracy·ROC AUC 등 평가 지표
- scikit-learn 공식 문서: 확률 보정
- scikit-learn 공식 문서: 독립 평가와 시간 순서
- scikit-learn 공식 문서: 균형 적중률
- 시총·거래대금과 원화·달러 검산 도구
일반 원리와 가상 산술 예제를 설명한 글이며 실제 앱 성능이나 특정 종목의 투자 수익을 주장하지 않습니다.