Motivation

• 대부분의 Quant Researcher들은 Backtest를 Research Tool로 생각하는데 이것은 잘못되었다.
• Backtest를 여러 번 실행하게 되면 선택 편향의 결과로 대부분 결함을 갖게 됨. (Bailey, Borwein, Lopez and Zhu, 2014)

Mission Impossible : The Flawless Backtest

Backtest?

• 협의적 관점 : 역사적 시뮬레이션
  • 의미 : 어떤 전략이 과거 시점 구간의 데이터에 적용됐더라면 어떤 성능을 나타냈을까? -> 실험(Experiment)이 아닌 가설(Hypothesis)
    • 실험 : 환경 변수를 통제한 후 실험을 반복해 정밀한 원인-결과 관계를 추론하는 것
    • 실험이 아닌 가설은 어떤 것도 (실증적) 증명을 할 수 없다.
  • 필요성 : 베팅 크기 / 거래량 / 비용에 대한 복원력 / 시나리오에 대한 행동 측면에서의 무결성 검사(sanity check)

Seven Sins of Quantitative Investing (Luo et al. 2014)

1. Survivorship bias
   • 투자 univers를 현재 것 기준으로 사용하여 상폐,파산 증권에 대한 정보 미반영
2. Look-ahead bias
   • 현 시점에서 공개되지 않은 정보를 그 시점에서 활용할 수 있었던 것처럼 실행. point in time 으로 데이터 filling
3. Storytelling
   • 특정 랜덤 패턴 정당화
4. Data minig and data snooping
   • 모델을 테스트 집합에서 훈련 혹은 리서처가 여러 번 미래 정보를 확인한 것을 자신도 모르게 모델에 반영
5. Transaction costs
   • 거래비용 시뮬레이션을 정밀하게 구현하는 것은 어려우나 거래비용을 단순하게라도 반영하지 않으면 알파가 있는 것처럼 착각하게 됨.
6. Outliers
   • 소수의 극단적 관측값을 염두에 두고 전략 수립
7. Shorting
   • 매도 포지션 취하는 경우에 1)대출 비용, 2)가용 대출금과 재고, 상대적 수요에 종속되어 있는데 이를 반영하기가 쉽지 않음

Even if your Backtest is flawless, It is probably wrong

• 위의 seven sins를 이미 알고 있고 이를 피하려고 노력했어도 아마 잘못 됐을 가능성이 높다.
  • 이유 : 그런 노력을 위해서는 수년 동안 수만 번의 Backtest를 실행한다는 것이고, 동일한 데이터셋에 대해 수차례 테스트를 수행하다 보면 발생하는 통계적 요행에 가까움
• 이를 막기 위해선 어떻게 해야할까?

Backtesting is not a Research Tool

• Backtest OVerfitting은 다수의 Backtest에 대한 "선택 편향"으로 정의할 수 있다. 주어진 데이터 안에서 종속적이기 때문에 Recommendation Method를 활용할 때에 "선택 편향"을 줄일 수 있을 뿐이지만 이는 실전에서 매우 큰 차이로 이어진다.

Recommendation Method

• Feature Importance를 적극 활용하는 것
  • Feature가 중요하다고 그것이 투자 전략을 통해 이익을 창출한다는 것과 동치는 아님. Feature Importance != Performance
  • ML Model에 의해 발견된 패턴의 성질을 이해하는 것에 도움을 주는 것이 주요 목적
    • 올바른 Feature Importance를 계산하기 위해 (Data Structures, Labeling, Sample Weights, Ensemble Methods, Cross Validation in Model)을 연구했고 이 모든 과정은 Backtest 하기 전에 이뤄진다. Backtest를 하고 나서는 확인만 할 뿐이다.
  • 핵심 : Feature Importance는 Backtest를 하기 전에 도출된다는 점
    • Backtest의 목적 : 나쁜 모델을 폐기하는 것. 즉, Backtest에 의존해 모델을 조정하거나 변경하는 것은 시간 낭비
• 특정 증권에 대한 것이 아닌 "전체 자산 부류"나 "투자 영역"에 대한 모델을 개발
• ML model로 하는 경우는 Bagging을 적극 활용할 것
• Backtest는 항상 마지막에 진행하고, 데이터셋에 수행한 모든 백테스트를 기록해 백테스트 과적합 확률(PBO)을 추정할 것
• "역사적 시뮬레이션"이 아닌 "시나리오 시뮬레이션"을 수행할 것
  • 여러 시나리오에 과적합 되는 것은 더 어렵다. 역사적 시뮬레이션은 하나의 시나리오에 편향되게 된다. 해당 방법은 Backtesting through Cross Validation으로 수행함
• Feature Importance까지 깊이 연구한 뒤 Backtest 결과가 좋지 않다면 밑바닥부터 다시 시작하라.

Strategy Selection

• Cross Validation 기법을 여러 Part에 적용할 수 있는데 이미 Cross Validation in Model은 Feature Selection과 Hyper Prameter Tuning이 주된 목적이다.
• Cross Validation을 Strategy Selection & Backtesting을 목적으로 사용하는 것으로 확장할 수 있다.
  • CV를 Strategy Selection에 활용하면 PBO(Probability of Backtest Overfitting)을 계산할 수 있고, CV를 Backtesting에 활용하면 여러 Scenario Simulation을 할 수 있게 된다.
• Motivation
  • 일반적으로는 여러 모델이 있고 각 모델에 대한 역사적 시뮬레이션(like Walk-Forward)을 진행했다면 시뮬레이션 결과는 모델 개수만큼 결과가 나오게 된다. 그렇게 되면 전체 기간에 대한 Sharpe Ratio 값도 모델 개수만큼 나오게 되고 이를 Ranking으로 Top N개를 뽑는 것이 일반적인 Strategy Selection 방식이다. Walk Forward로 나온 Sharpe Ratio 값을 그대로 사용하면 Overfitting에 취약하다.
• CV in Strategy Selection : Calculate PBO thorugh the CSCV(Combinatorially Symmetric Cross-Validation) (Bailey et al, 2017a)

  1. N개 모델에 대한 Performance(Ex.Return) Series모아 행렬 M을 구성 (T X N)

  2. 

     • 행렬 M을 서로 공통 원소가 없는 동일한 차원을 갖는 짝수 S개의 부행렬로 만든다. M_s (T/S X N)

  3. 

     • M_s의 조합으로 크기가 S/2인 C_s를 만든다 (S/2 X N) 나머지 집합은 자동으로 결정됨.
       • 예를들어, 행렬 M이 100 X 10 이고 S=20이면 M_s는 5 X 10으로 구성된다.
       • 이때, C_s는 M_s의 선택 그룹이므로 20C10개의 조합이 생긴다. C_s의 원소 하나를 c라고 한다. 원소 하나의 행렬 크기는 50X100이 된다.

  4. 

     • c에는 M_s가 10개가 있으므로 이를 Sequence를 살리면서 하나의 Matrix J로 구성한다. (Sequence를 유지하면 1개 밖에 생성하지 못함)
     • c에 있지 않은 나머지 M_s를 활용해 Matrix J Bar를 구성한다.

  5. Matrix J를 활용해 Performance Metric을 계산한다.

     • 각 열이 Return을 나타낸다면 각 열마다 Sharpe ratio를 계산해낼 것이고 N차원의 성능 통계량 벡터 R을 구성할 수 있다. R의 n번째 원소는 J의 n번째 열의 성능으로 연결된다.

  6. 

     • 
     • n_star는 J에서 결정된 값이다.

  7. Matrix J Bar를 활용해 성능 통계량 벡터 R Bar를 구성한다.

  8. 

     • R Bar에서 n_star가 상대적 percentage 순위 w_c를 계산한다. (절대적 순위는 r_c)

  9. 

     • logit은 높은 값을 가질 수록 IS와 OOS의 performance의 일관성을 갖는 것을 알려줌
       • 

  10. C_s의 모든 c에 대해 위와 같은 계산을 진행한다. 각 c마다 logit을 계산할 수 있다.

      • 
      • 
      • 
        • PBO를 계산하면 이는 OOS보다 성능이 떨어지는 IS 최적 전략과의 연계된 확률을 계산
        • 

Application to Quant System

• PBO를 계산해도 그 확률이 어느정도의 의미를 파악하기는 쉽지 않다. 계속해서 Tracking 하지 않는 이상.
• 대안1) C_s의 모든 c에 대해 그 J와 J Bar에서의 변화의 정도를 n개 열에 대해 전부 계산하여 평균을 내어 그것의 Top Strategy를 선정하는 식으로 계산 가능
• 대안2)
  • 대안1)의 방식은 CV in Backtesting을 통해 해결할 수 있는 부분이기도 하다.
  • N개의 모델에 대해 Walk-Forward한 경우와 CPCV를 한 경우를 비교해서 PBO가 줄어들었는지를 Check하는 방식도 사용 가능하다.