중소형주 분석에 특화된 모델을 만들기 위해 학습 데이터셋을 구축하고 있는데, 종목 하나의 데이터를 만드는 데도 생각보다 시간이 많이 걸리네요. 먼저, 데이터 수집 프로그램(웹에서 자료를 자동으로 긁어 오는 크롤러같은 프로그램)을 하루 종일 돌려서 종목별 뉴스와 공시를 1년에서 3년 치 정도 수집합니다. 그보다 오래된 자료는 꼭 필요한 종목만 더 거슬러 올라가서 모으고요. 수집한 뉴스와 공시를 통째로 모델에 넣으면 학습에 불필요한 정보까지 들어가서 노이즈(성능을 떨어뜨리는 쓸모없는 신호)가 생기고, 연산 비용(모델이 처리해야 하는 계…
회원 전용 게시글이에요
투자자들이 정보를 나누는 래빗스탁 커뮤니티예요. 프리미엄 회원은 전체 내용을 볼 수 있어요.