주식 예측 관련 논문들이 어떤 것들이 있는지 궁금해서 검색해서 정리한 것들을 올립니다. 개인적으로 정리한 내용이니 참고 바랍니다. 추가적으로 주식 관련 괜찮은 논문들을 알고 계시면 댓글을 통해 공유해 주시면 감사하겠습니다.~ ^^

Stock price prediction model using deep learning

주식 예측에 사용되는 기술적 지표(볼린저밴드, stochastic, MACD 등 기술적 지료 활용)들을 NN, CNN, RNN 등 딥러닝 모델을 이용하여 비교 분석한 논문

RNN이 근소한 차이로 타 인공 신경망에 비해 성능 우세하다고 언급

https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cn=DIKO0014298779&dbt=DIKO

강화학습을 이용한 주가 예측

강화학습 기법 중 Actor-Critic 활용하여 매수(Long), 매도(Short), 대기(Neutral) 라는 세 가지 행동을 학습

단기/장기 이동평균성 편차, 종가 기울기, 국제 금거래 시세, Dow Jones, S&P 지수 변화를 더비 변수(바이너리)화하여 KOSPI 200 지수 데이터 예측

http://www.ndsl.kr/ndsl/search/detail/article/articleSearchResultDetail.do?cn=DIKO0014874235

참고자료: 강화학습 기반 주식 트레이딩 시스템 (tbacking 블로그 자료)

하이브리드 주가 예측 모델

주가 예측의 정확도를 향상시키기 위해 공적분(co-integration)과 인공 신명망을 활용한 하이브리드 예측 모델 제시

예측하고자 하는 종목과 유사성이 있다고 판단되는 종목들을 Johansen의 공적분 검정을 통하여 추출한 다음 (1단계) 추출된 종목들의 데이터를 가지고 인공 신경망으로 예측 모델 학습 (2단계<-구시대 기법과 신세대 기법의 하이브리드?)

논문 실험 결과 KOSDAQ은 KOSPI보다는 외부 변수 및 시장 분위기에 의하여 가격이 결정되는 정도가 더 심함을 확인(Johansen 공적분 검정 결과)

http://www.kmfa.or.kr/paper/econo/2007/8.pdf

Stock Market Prediction on High-Frequency Data Using Generative Adversarial Nets

텐서플로우를 이용한 주가 예측에서 가격-기반 입력 피쳐의 예측 성능 평가

제목 그대로 텐서플로우(tensorflow)를 이용(모델은 7Layer FFM)

입력 피처를 변경하면서 모델의 성능 변화를 측정 (시가, 종가 등 단순 피처 + 이동평균 그리고 거래량 피처 등을 추가적으로 활용)

학습 성능 측면에서는 입력 피처를 추가할수록 증가하지만 실제 테스트 관점 정확도(hit ratio) 측면에서는 입력 피처를 추가해도 뚜력한 변화는 없음 ( 47.51% -> 51.01% -> 48.31%)

입력 피처 개수가 증가한다 해서 정확도가 증가하는 것은 아님을 확인, 적절한 입력이 중요, 그렇다면 그 적절함은 무엇인가;;;

http://kiise.or.kr/e_journal/2017/11/KTCP/pdf/03.pdf

주식시세 예측을 위한 딥러닝 최적화 방법

하이퍼 파라미터 (Epoch / Batch / Hidden Layer node / dropout )의 다양한 설정을 통한 주가 예측 정확도를 비교 검토

종목별 최적의 하이퍼 파라미터를 실험적으로 진행

(최적을 얻었다한들 과연 다른 종목이나 환경에서도 최적인지는 의문;;;)

http://khu.dcollection.net/public_resource/pdf/200000057747_20201019230931.pdf

뉴스 텍스트 마이닝과 시계열 분석을 이용한 주가 예측

Bag of words를 이용한 텍스트분석 및 RSI (Relative Strength Index)를 이용한 시계열 분석 기반 가중치 기반 정보 결합

http://sclab.yonsei.ac.kr/publications/Papers/KC/201007%20KCC%20SAhn(%EA%B3%B5%ED%95%99%EB%8C%80%ED%95%99%EC%9B%90).pdf

Deep Learning for Event-Driven Stock Prediction

이벤트 E = (O₁, P, O₂, T)를 먼저 추출하고 나서 신경망을 이용해 event embedding 처리

마치 Word2vec 처럼, 동일한 규모의 벡터 공간에 투영된 이벤트 벡터를 최종 주식 등락 예측 학습에 활용

http://www.wins.or.kr/DataPool/Board/4xxxx/455xx/45587/329.pdf

An innovative neural network approach for stock market prediction

LSTM 신경망 활용, stock 정보를 vector화 (word vector에서 착안)

https://link.springer.com/content/pdf/10.1007/s11227-017-2228-y.pdf

Stock prediction using twitter sentiment analysis

http://cs229.stanford.edu/proj2011/GoelMittal-StockMarketPredictionUsingTwitterSentimentAnalysis.pdf

Comparison of ARIMA and Artificial Neural Networks Models for Stock Price Prediction

시계열 예측에 사용되는 고전적인 ARIMA 와 현대적 인공 신경망 간의 성능 비교

http://downloads.hindawi.com/journals/jam/2014/614342.pdf

주식 차트가 만능은 아니지만 ‘차트가 갑자기 떨어지면 공포심에 다시 오르지 않을까’ 라는 근거 없는 기대는 버릴 수가 없다. 그래서 실제로 폭락을 감지해서 매매를 해보면 어떨까 싶어, 기계적으로 폭락을 감지하는 방법을 찾아보았다. 여러 방법들이 있지만, 그 중에 페이스북에서 개발한 Prophet을 간단히 소개하고자 한다.

Prophet 알고리즘 개요

Prophet은 한마디로 요약하면, 시계열 데이터를 모델링하기 위한 파이썬 모듈이다. (‘모델링 할 수 있다’라는 내용을 쉽게 설명하면, 시계열 데이터 내 순차적 데이터를 모방할 수 있는 블랙박스를 구성할 수 있다라는 의미로 생각할 수 있다. 블랙박스는 몇 개의 또는 경우에 따라서는 수백, 수천만개의 파라미터를 포함하고 있다.)

시계열 데이터를 예측(모델링)하는 방법론에는 머신러닝 방법론 그리고 고전적인 기법 ARIMA가 있다. Prophet은 머신러닝 기법은 아니며, ARIMA라고 하는 알고리즘 방법론을 응용하고 있다. ARIMA를 이용하면, 계절마다의 반복성이나 여름철에 증가하는 전기 사용료를 모델링할 수 있다.

Prophet 은 한층 더 진보적인 방법으로, 트렌드와 주기적 특성뿐 아니라 예외적이고 이벤트와 같은 휴가철 상황까지도 모델링할 수 있도록 ARIMA 알고리즘을 확장한 것이다. 시계열 데이터는 인간 생활과 밀접한 관계가 있는 데이터이기에 결국 모델링 가능한 데이터 범주와 정확도를 높이기 위해 그런 부분까지 확장한 것이 아닐까 생각이 든다.

y(t) = g(t) + s(t) + h(t) + e(t)

with g(t) representing the trend.
s(t) represents periodic changes (weekly, monthly, yearly).
h(t) represents the effects of holidays (recall: Holidays impact businesses).
e(t) is the error term.

Prophet 설치

우선 Prophet 을 설치해보자. 아나콘다(Anaconda) 환경이 설치되어 있으면 설치는 간단하다. 그렇지만 파이썬 환경은 Cython 등 몇 가지 사전 설치 등이 더 필요하다. (아래는 아나콘다에서 설치하는 방법이며 용량이 다소 크긴 하지만 간단하게 설치하고자 한다면 아나콘다 환경을 권장) 자세한 설치 방법은 여기 참조

conda install -c conda-forge fbprophet

Prophet 사용법

사용법은 간단한다. Prophet이라는 객체를 생성한 후, 시계열 데이터를 학습(fit)하면 된다. 머신러닝에 꼭 필요한 패키지가 scikit-learn 이라는 것인데 Prophet은 scikit-learn 패키지와 인터페이스가 유사하다. 객체 생성에 필요한 여러 가지 설정값과 더불어 해당 객체를 선언하고 데이터를 이용해 학습하면 된다.

m = Prophet(daily_seasonality = True) # create Prophet class 
m.fit(data) # fit the model using time series data

Prophet 시계열 data 의 구성은 단순하다. ds 라는 컬럼에 날짜값을, y라는 컬럼에는 실제 시계열 데이터값을 삽입하면 된다.

데이터를 학습(위 코드에서 m 이라는 객체 변수가 생성되고 객체 내 학습 결과 파라미터들을 포함)했으니 이제 예측이 가능하다. 예측을 원하는 날짜수만 입력하기만 하면 된다.

future = m.make_future_dataframe(periods=365) # days in future
pred = m.predict(future)

예측한 값을 출력하면 아래와 같은 멋진 그래프를 얻을 수 있다.

m.plot(pred)
plt.title("Prediction of the Google Stock Price using the Prophet")
plt.xlabel("Date")
plt.ylabel("Close Stock Price")
plt.show()

보다 자세한 내용은 Prophet 문서 사이트 참고하길 바란다.

이상치 검출

주가 폭락은 시계열 데이터 관점에서는 이상치이다. 평균이나 기대값보다는 한참이나 벗어난 값들이라는 의미이다. Prophet을 이용하면 이러한 이상치 검출을 쉽게 할 수 있다. 위 함수 predict를 하고나면 여러 가지 컬럼들이 생성되는 데, 그 중에 yhat이 예측값이고 yhat_lower는 최소치 그리고 yhat_upper가 최대치 값들이 있다. 이러한 값들을 이용해서 이상치 검출을 한다. 즉, 이상치 검출은 단지 실제 시계열 값 y와 yhat_lower나 yhat_upper와 비교만으로 가능하다. 아래 관련 코드를 살펴보자 (pred, andf 는 파이썬 pandas DataFrame)

andf = pred[['ds', 'trend', 'yhat', 'yhat_lower', 'yhat_upper']]
andf['y'] = y # y는 실제 시계열 리스트

andf['anomaly'] = 0  # anomaly 감지 태그 컬럼 생성
andf.loc[andf['y'] > andf['yhat_upper'], 'anomaly'] = 1
andf.loc[andf['y'] < andf['yhat_lower'], 'anomaly'] = -1

이제 andf[‘anomaly’] 컬럼으로, 비정상적인 (이상치) upper (1)인 시점과 lower (-1) 인 시점들 확인이 가능해졌다.

이상치 중요도 측정

이상치 여부만으로는 조금 부족하다. 여부뿐 아니라 이상치의 정도를 의미하는 중요도(importance)를 측정해 보자. 쉽게 설명하면 약간 이상한 정도와 심하게 이상한 정도를 구별하고자 하는 것이다. 중요도는 y 값과 yhat_upper 과의 차이 또는 y값과 yhat_lower 와의 차이를 y값으로 나눠서 구한다. 다시 말해, 실제 시계열 값과 예측 최대치(또는 최소치)와의 차이에 비례한다. 아래 소스 부분을 확인하면 이해가 될 것이다.

andf['importance'] = 0  # 이상치 중요도 컬럼 추가
andf.loc[andf['anomaly'] == 1, 'importance'] = \
    (andf['y'] - andf['yhat_upper']) / andf['y']
andf.loc[andf['anomaly'] == -1, 'importance'] = \
    (andf['yhat_lower'] - andf['y']) / andf['y']
andf['score'] = andf['anomaly'] * andf['importance']

마무리…

어제까지의 데이터를 이용해 Prophet으로 학습한 후에, 오늘 현재 시점에서의 y값과 비교해, 이상치 여부와 중요도 수치를 구할 수 있다. 이로써, 금일 (특정 종목의) 주식이 폭락한 여부를 자동으로 알 수 있고 그에 따라, 자동으로 매수를 하는 프로그램도 가능하다. (위 설명에 사용된 간단한 샘플 소스)

혹시 위 내용이 도움이 되셨거나 대박 나신 분들을 댓글 공유 좀 해주시면 감사하겠습니다. ㅎ

참고 사이트

Anomaly detection in time series with Prophet library
Time-Series Forecasting: Predicting Stock Prices Using Facebook’s Prophet Model
시계열 예측을 위한 Facebook Prophet 사용하기

주가 예측은 주식을 처음 접하는 분들 그리고 머신러닝을 처음 접하는 분들이 어쩌면 가장 관심있어 하는 분야이다. 왜냐하면 주가 예측을 잘하면 수익을 낼수 있다는 기대감 때문이다. 주가 예측에 대한 방법은 여러 가지가 있지만 가장 흔하게 접할 수 있는 방법이 바로 오늘 주제인 LSTM 기반의 주가 예측에 대한 내용들이다. LSTM의 주가 예측 기법은 텐서플로우를 이용하면 쉽게 LSTM 모델을 이용할 수 있고 또한 예측 결과 그래프를 보면 놀랍게도 잘 예측하는 것처럼 보인다. 하지만 실제로는 전혀 적용할 수 없는 부분도 있고 이해가 좀 필요한 부분이 있다. 혹시나 LSTM으로 주가 예측을 잘 하면 돈을 벌 수 있지 않을까 하는 초보자들이 있을까 염려하여 제가 아는 범위 내에서 LSTM 주가 예측에 대한 실상(허상)을 정리하고자 한다. 그렇다고 전혀 부정하는 것은 아니지만 조금이나마 LSTM 주가 예측에 대한 이해를 정확히 실상을 이해하는 데 도움이 되었으면 한다

LSTM 기반 주가 예측의 어려움

기존 신경망에 비해 시계열 처리나 학습에 유리한 LSTM을 이용하면 간단한 시를 학습하기도 한다. 그럴싸해 보인다. 문자 단위의 시계열 패턴을 학습해 문장을 스스로 작성하는 능력을 배울 수 있다. 문법이 정확한 것은 아니지만 그러한 문장을 시계열 데이터 학습이 가능한 LSTM 알고리즘 만으로 배울 수 있다는 사실이 놀랍다. 그럼 오늘의 주제는 LSTM 주가 예측은 어떨까 결론부터 언급하면 영 형편없다. LSTM으로 주가 예측이 어려운 이유는 첫째, 주가는 실수이다. 연속적인 값의 시계열 처리를 학습해야 되기 때문에 위에서 언급한 문자 패턴을 학습하는 난이도와 차원이 다르다. 쉽게 말해, 문자 단위의 시계열 학습은 카테고리가 있는 디지털 세계 학습이고 주가 시계열 학습은 실수 체계의 아날로그 세계 학습이다. 아날로그의 시계열 처리 패턴 정보를 LSTM 신경망 내 패러미터가 담아내기에는 한계가 있다. 두번째 이유는 주가는 거의 랜덤 워크 (random walk) 형태로 움직인다. 랜덤으로 움직이는 패턴은 제 아무리 신경망일지라도 잡아내기 어렵다. 따라서 주가 예측은 거의 랜덤으로 움직이는 실수 체계의 시계열 패턴을 잡아내야 하는 것이다. 신경망이 마치 더하기나 곱하기 실수 체계 학습이 어려운 이유도 비슷한 이유이다. 신경망 계열은 디지털 즉, 카테고리 학습에는 강하지만 실수 체계 학습에는 매우 약하다. 랜덤 워크 이면서 자유도가 높은 실수 체계를 LSTM이 학습하고자 하면 LSTM 모델에서는 패턴 발견이 어렵기에 그래서 애매모호한 중간값으로 예측하는 경향도 발생한다. 그레디언드 기반 학습 방법은 패턴에 대해서 그래서 어느 정도 일관된 모습이 있어야 하는데 그렇지 않은 데이터를 보여주면서 학습해라 하면 LSTM이라 해도 결국 혼란스러워 하는 것이다. 뭐가 정답인지 모르는 것이며 쉽게 말해 학습을 조금만 시켜도 애매한 의미 없는 값(가령 제로)을 리턴하는 경향이 강해진다.

LSTM 의 주가 예측 결과가 우수해 보이는 이유

유투브나 블로그에서 LSTM 주가 예측에 대한 소스와 마지막에 그래프를 그려서 결과 예측이 잘 되는 것처럼 보인다. 하지만 실상은 그렇지 않다. LSTM 기반의 주가 예측은 과거 시계열 데이터(i-N:i)를 이용해 내일(i+1)의 주가 예측을 한다. 이 때 그 다음날(모레)의 예측은 또 과거 시계열 데이터(i-N+1:i+1)를 이용해 모레(i+2)의 주가 예측을 한다. 그러니까 모레의 주가 예측에 사용되는 시계열 데이터는 주가 예측한 내일(i+1) 값과는 별개로 과거 시계열 데이터를 이용한다. 이렇게 누적해서 그린 것이 LSTM 기반 그래프이다. 정리하면, 완전한 예측이 아니고 바로 그 다음날만을 예측해서 누적해서 그린 것이다. 바로 그 다음날만을 예측하면서 그리기에 실제 주가변동과 별 차이가 없는 듯 보이지만, 예측된 수치값을 보면 별 의미 있게 예측이 되는 듯한 느낌은 별로 없다.

‘그 간의 연구 노력이 전부 엉텅리다’ 라고 말하는 것은 절대 아니며, 그만큼 어렵다는 것을 말씀드리고 실상을 정확히 공유해 드리고 싶다는 의미로 작성하게 되었습니다. 틀린 부분이나 다른 의견 있으신 분 댓글로 주시면 감사하겠습니다.

파이썬 64비트 환경이 보편화되었지만 아직도 32비트 환경 파이썬 과의 연동이 필요한 부분이 있다. 대표적으로는 64비트 텐서플로우(tensorflow)나 파이토치(pytorch) 환경에서 32비트 대신증권 CybosPlus API 를 연동하고자 할 경우이다. 주식 트레이딩 알고리즘을 개발하고자 한다면, 대부분 딥러닝 파이썬 소스는 64비트 환경만 지원하는데, 대신증권 파이썬 모듈은 여전히 32비트 환경에서 구동되어, 32/64비트 환경간 통신이 필요해진다.

위 내용으로 이미 본 블로그의 32/64비트 파이썬 프로세스 통신 게시를 하였으나, 소스 관련 문의글이 많아 소스를 공개하고자 한다. 다만 예전 설명과는 조금은 소스 구성이 다르점도 있고 또한 모든 32/64비트 환경 연동 관점에서 공개한 것이지 대신증권 API 모두를 사용할 수 있도록 연동한 것은 아니다.

32/64비트 파이썬 프로세스 통신 관련 소스는 fipc 패키지로 구성되어있다. 각 소스 파일의 구성은 다음과 같다.

fipc/dsapi.py: 대신증권 API 모듈 파이썬 연동 부분
fipc/fakeipc.py: 32/64 비트 파이썬 연동 모듈 (import subprocess)
fipc/fcfg.py: fipc 환경 설정
fipc/fsutb.py: 32비트 파이썬 호출 모듈
fipctst.py: 테스트 파일

사용법

주식을 하는 사람들이 항상 머리속에 습관처럼 지켜야 할 투자법 내지는 격언에 대해서 간단히 정리해보고자 합니다. 머신러닝 기반 알고리즘 트레이딩을 하고자 할 때, 제가  느끼는 점은 머신러닝으로 학습된 결과물은 항상 ‘개발자(창조자)의 투자 스킬 수준을 넘어서지는 않는구나’. 결국 개발자가 데이터를 구성해주고 학습하는 알고리즘도 결정하기에, 머신러닝도 그 수준이거나 또는 아래 수준으로 학습하게 됩니다. 따라서 제대로 된 머신러닝을 위해서는, 주식 시장을 이길 수 있는 방법을 연구하는 것도 필요하다고 생각합니다.  아직도 계속 공부중인것이 아쉽긴 합니다만…

주식 고수들의 지혜와 통찰력 (투자 격언 60개 중에서 아래 발췌)

• 주식을 사지 말고 때를 사라
• 산이 높으면 그만큼 골도 깊다
• 주가는 거래량의 그림자다
• 생활 주변에서 정보를 찾아라
• 사고, 팔고, 쉬고 세 박자 리듬을 타라
• 최고의 예언자는 과거다
• 자신만의 투자기법을 스스로 개발하라
• 손절매를 잘하면 주식투자에 성공할 수 있다

 

여러분들은 어떤 주식 투자 원칙을 가지고 계신지 궁금합니다~^^

참고자료

• 원칙을 지키는 주식 고수들의 투자법, 박용선, 원앤원북스

주식 투자란 사업의 대가들을 본인의 사업 팀장으로 영입하는 멋진 일

ValueTimer의 전략적 가치투자에서

 

주식 투자에 대한 수익은 매수/매도 차익에 의한 수익 그리고 배당에 의한 수익으로 구성된다. 주식 투자를 하면서 배당에 대해서 소홀히 하면 안 된다. 관심있게 지켜봐야 할 사항이다. 특히 정기적으로 돌아오는 배당 시점을 잘 활용하면 남들보다 조금은 더 수익을 낼 수 있지 않을까 싶다. 통상적으로 배당 시점이 다가오면 주가가 상승으로 특성이 있기 때문이다. (물론 항상 그렇지만은 않다)

배당(Dividend)이란

배당은 일정기간 영업활동을 해 벌어드린 이익 중 일부를 그 회사 주주들한테 돌려주는 것을 말한다. 그렇기 때문에 재무상태표 상 이익잉여금의 범위 안에서 배당을 할 수 있다. 당기순손실이 쌓여서 이익잉여금이 결손금의 형태로 나타날 경우엔 배당 불가.

배당을 주는 회사가 그렇지 않은 회사보다 재무적으로 안정적인 경우가 많다. 배당을 지급하는 회사의 주가상승률이 그렇지 않은 회사보다 평균적으로 높은 것으로 나타났다. (나무위키에서 자료 발췌)

영구연금(Perpetuity)

동일한 금액을 영원히 받을 수 있는 현금 흐름을 영구연금이라고 한다. 죽기 전까지 제공되는 연금의 특수한 형태라고 이해할 수 있다.

가령 배당을 영구적으로 받는다고 가정하고 영구연금을 구하면 어떨까. 영구연금의 현재 가치를 구하는 방법은 다음과 같다.

 (Investopedia에서 자료 발췌)

그리고 영구연금과 기업의 현재 가치인 주가와 비교해보면 어떨지 궁금해서 파이썬으로 확인해보았다. (2018년 3월 기준)

확인 결과, 1등으로 ‘씨엠에스에듀’ 종목이 차지했으며 현재 주가 대비 영구연금 배율이 2.6배나 되었다. 주식 투자에 참고하길 바란다.

———————————————————

idx  종목 이름   현재가  배당률  영구연금  배율(=영구연금/현재가*100)