Motivation

• 협의적 : 역사적 시뮬레이션 , 광의적 : (과거에 발생하지 않았던) 시나리오 시뮬레이션
  • 시나리오 시뮬레이션을 통해서 과거 Path 한 개에 bias되지 않고 stress test를 진행할 수 있게 됨.
• 현재는 역사적 시뮬레이션이 Backtesting의 동의어처럼 되어버림. Walk-Forward 방식과 CPCV 방식을 아래에 소개함.

The Walk-Forward Method

• Concept : '과거에 이 전략을 사용했더라면 어떻게 됐을까?'에 대한 역사적 시뮬레이션
  • Train 하는 기간을 어떻게 잡을 것이냐에 따라 약간의 Variation을 줄 수 있음.
• Walk-Forward를 실행하는 과정에서도 정교하게 실행하려 한다면 data source knowledge / market microstructure / risk-management / performance measurement 등 모두 고려해야 한다. 물론, 실행하는 전략에 따라서 각 부분의 강약 조절을 할 수 있다.
  • 장점
    • 명백한 역사적 해석을 갖고 있으므로 시뮬레이션 거래를 통해 일치시킴. -> Production Level에서 Monitoring할 때 주요함
    • Purge가 적절히 구현된다면 information leakage가 없는 것이 보장된다. 또한, embargo는 필요없다. 훈련 집합이 항상 테스트 집합 이전이기에 (참고 : Cross Validation in Model)
  • 단점
    • 단일 시나리오 테스트가 되어버리고 이는 쉽게 과적합 가능
    • WF는 미래의 성능을 나타내려고 표현하기 때문에 특정 Data Point Sequence에 편향될 수 있음
      • 역사도 몇가지 결정적 선택들로 인해 Data Sequence가 바뀔 수 있는데 이 부분에 대한 것을 하나로만 편향되게 결과를 뽑고 이 중에서 좋은 것을 뽑기 때문에 미래의 여러 상황에 대한 Stress test가 매우 부족함. Walk-Backward test 같은 것을 할 때 더 좋은 성능이 나오지 않는다면 과적합의 증거가 됨.
    • 초기 결정은 전체 표본 중 더 작은 부분에서 학습되어 이뤄졌다는 점. 특히, 첫 포인트를 fix하면서 train 하는 경우는 전략 결정의 절반을 전체 기간의 절반 이하의 데이터로만 학습하고 진행하게 됨. 물론 위의 그림처럼 모든 구간에서 학습량을 일정하게 하는 방법도 있으나 이 부분은 많은 양을 학습하지 않는다는 단점이 존재.

The Corss Validation Method

• 투자자가 원하는 것은 08년, 닷컴 버블, 긴축 발작, 15~16년 중국 주식 요동과 같은 전례 없는 스트레스 시나리오에 직면했을 때 투자 전략의 성능을 알고 싶음
  • Simple CV Method
    • 관측 값을 두 가지 집합으로 나누어 2009년~2017년의 데이터로 Train하고 08년에 대해 Test 하는 방식
    • 이 방법은 역사적으로 정확하지 않다. 이 방법의 목표는 역사적 정확도가 아닌 08년도의 내용을 모르는 전략이 08년도와 같은 Stress test를 해보는 것에 있다.
  • 장점
    • CV는 k개의 대체 시나리오를 테스트하고 하나만 과거 sequence에 해당
    • 모든 결정은 동일한 크기의 집합에 대해 이뤄진다. 훈련하는 정보의 양이 동일.
    • 가장 긴 OOS 시뮬레이션을 얻을 수 있다. Walk-Forward 대비해 warm-up 부분이 없기 때문.
      • test(or validation) set을 연결해 가장 긴 OOS 단일 시뮬레이션을 얻을 수 있음
  • 단점
    • Walk-Forward처럼 단일 Backtesting 경로가 시뮬레이션된다. (역사적이진 않지만 관측별로 오직 하나의 예측만 생성됨)
    • 명확한 역사적 해석을 하지는 못한다.
    • Purge/Embargo를 하지 않으면 inforamtion leakage가 발생할 수 있다.

The Combinatorial Purged Cross-Validation(CPCV) Method

• Walk-Forward와 (Simple) Cross-Validation 의 주요 단점을 해결하기 위해 새로운 방법 : CPCV

Combinatorial Splits

• 
  • T= Data Point 개수 , N=전체 그룹 (T를 N개의 그룹으로 나눔) , k=Test 그룹 개수 (빨간색, 하나의 Case에 대한 N-k는 Train 그룹 개수)
• 
  • Backtest Path 개수 계산
  • k * Combination(N, N-k)는 위의 그림의 빨간색 그룹의 총 개수. 전체 그룹 수로 나누면 Backtest Path 개수가 나옴
  • 위의 그림에서 1번끼리만 연결한 것이 하나의 OOS Simulation Path, 2번끼리만 연결한 것이 2번째 OOS Simulation Path
  • 위의 예제는 N=6, k=2, pi=5에 해당
• Issue
  • T개의 Data Point를 N개로 나누면 N번째 그룹의 Data Point 개수는 달라질 수 있음. (나머지가 0인 경우 제외)
    • 
      • 
  • 각 그룹은 T * (1-k/N)의 데이터를 활용해 학습하게 된다.

The CPCV Backtesting Algorithm

1. T 관측값을 N그룹으로 섞임 없이 분할.
   • N번째 그룹 크기는 위의 Issue를 따름
2. 가능한 모든 Train/Test 분할을 계산 후 '각 분할'에선 N-k 그룹은 Train 집합, k 그룹은 Test 집합으로 구성
3. Purge / Embargo Process를 진행.
4. Combination ( N, N-k ) 의 Train 집합에 fitting한 후 Combination ( N, N-k )의 Test 집합에 Inference를 실행
5. 각 Test 그룹들을 Sequence에 맞춰서 Backtest Path로 pi개 형성
6. pi개에 대한 Sharpe Ratio 값을 계산할 수 있고 이를 통해 SR의 empirical distribution을 얻을 수 있음
   • Real Sharpe Ration를 모든 Backtest Path의 Sharpe Ratio의 Average로 한다든지 활용 가능.

A Few Examples

• k=1이면 CV method와 동일해짐
• k=2이면 N-1개의 backtest path 형성
• 더 많은 경로가 필요한 경우에 Train 집합의 Point가 줄어드는 양을 고려해서 k -> N/2까지 증가시킬 수 있다. 다만, k=2여도 충분한 것으로 본다.

How Combinatorial Purged Cross-Validation Addresses Backtest Overfitting

• 왜 CPCV가 CV나 WF보다 적은 거짓을 발견하게 되는지 연역적으로 증명 (Bailey, D., J. Borwein, M. L´opez de Prado, and J. Zhu (2014))
• 직관적 설명
  • WF, CV는 단일 Backtest Path를 가지고 있고 N개의 모델에 대해 N개의 Sharpe Ratio를 계산한 후 Max Sharpe Ratio 값을 갖는 N_star 모델을 최종적으로 선택하게 됨
    • 각 모델의 Backtest는 과적합 될 가능성을 가지고 있고 이 중에서 Max를 찾게 되면 과적합 가능성이 매우 높아짐
  • CPCV는 1개의 모델이어도 Pi개의 Backtest Path에 관한 Pi개의 Sharpe Ratio를 갖게 되고 이를 평균한 것을 해당 모델의 Sharpe Ratio Average라고 정의하게 되면 1개 Path에 우연히 Sharpe가 높게 나온 경우를 걸러낼 수 있게 됨. 총 Sharpe Ratio 개수는 총 Pi * N개 만큼 나오게 되고 Sharpe Ratio Average는 N개만큼 발생함
  • CPCV에 의해서 나온 Sharpe Ratio N개는 한 번의 평균 작업을 거친 결과라 WF,CV에 의해 나온 Sharpe Ratio N개에 비해 Sharpe Ratio Distribution을 그리면 분산이 낮게 나올 수 밖에 없어짐. 즉, CPCV는 Backtest의 분산을 매우 작게 해줘서 과최적 Backtest를 발견하게 할 확률을 매우 낮춰주게 된다.
    • 즉, Sharpe Ratio Average를 활용하면 마음 편히 max값으로 strategy selection을 해도 된다.