Backtest Statistics - jaeaehkim/trading_system_beta GitHub Wiki
Motivation
- ์ ๋ต์ ํน์ฑ์ ํ์
ํ๊ณ ๋น๊ตํ๊ธฐ ์ํ ์ฉ๋
- Backtesting ๋ชจ๋์ ๊ตฌํํ ๋ ์๋ Stat์ ๊ณ์ฐํ๊ธฐ ์ํ ์ ๋ณด๋ฅผ loggingํ๋๊ฒ ์ค์
General Characteristics
- Time Range
- ์์ ๋ ์ง์ ์ข
๋ฃ ๋ ์ง์ ๊ธธ์ด
- Average AUM
- ์ด์ฉ ์ค์ธ ์์ฐ์ ํ๊ท ๋ฌ๋ฌ ๊ฐ์น. ๋งค์,๋งค๋ ํฌ์ง์
์ ๋ฌ๋ฌ ๊ฐ์น๋ฅผ ์์ ์ค์๋ก ๊ฐ์ฃผ.
- Capacity
- ์ ๋ต์ ์ฉ๋์ ๋ชฉํํ๋ ํผํฌ๋จผ์ค๋ฅผ ์ฑ์ทจํ ์ ์๋ ์ต๋ AUM์ผ๋ก ์ธก์ . ์ต์AUM ~ ์ต๋AUM ๊น์ง ์ฑ๋ฅ์ด ์ ํ๋จ.
- Leverage
- ํ๊ท AUM๊ณผ ํ๊ท ๋ฌ๋ฌ ํฌ์ง์
์ ํฌ๊ธฐ์ ๋น์จ์ ๊ณ์ฐ
- Maximum Dollar Position Size
- ํน์ ํฌ์ธํธ์์ ์ต๋ ๋ฌ๋ฌ ํฌ์ง์
ํฌ๊ธฐ๋ฅผ ๊ณ์ฐํจ์ผ๋ก์จ ํ๊ท AUM ๋๋น ์ผ๋ง๋ ํ๋์ง ํ์ธ
- Ratio of Longs
- ๋ฒ ํ
์ค ๋งค์ ํฌ์ง์
์ ๋น์จ์ ๋ณด์ฌ์ค. ์์ฅ ์ค๋ฆฝ์ ์ ๋ต์ธ Long-Short์ ์ด์์ ์ผ๋ก 0.5์ ๊ฐ๊น๋ค.
- Frequency of Bets
- Backtest ๋ด์์ ์ฐ๊ฐ ๋ฒ ํ
๊ฐ์๋ฅผ ์๋ฏธํจ. ์ฐ์์ ์ผ๋ก ๊ฐ์ ๋ฐฉํฅ์ ๋ฒ ํ
์ ํ๋์ ๋ฒ ํ
์ผ๋ก ๊ฐ์ฃผํ๋ค. ๋ฒ ํ
์ ํฌ์ง์
์ ์์น๊ฐ ์ฌ๋ผ์ง๊ฑฐ๋ ๋ค์งํ ๋ ๋๋๋ค.
- ํฌ์ง์
์ ๊ฐ์ >= ๋ฒ ํ
์ ๊ฐ์
- Average Holding Period
- ๋ฒ ํ
์ด ์ ์ง๋๋ ์ผ ์์ ํ๊ท , ๊ณ ๋น๋ ์ ๋ต์ '์ด'๋จ์, ์ ๋น๋ ์ ๋ต์ ๋ช ๋ฌ ~ ๋ช ๋
.
- Annualized Turnover
- ์ฐ๊ฐ ๊ฑฐ๋๋ ํ๊ท ๋ฌ๋ฌ๋๊ณผ ํ๊ท ์ฐ๊ฐ AUM์ ๋น์จ๋ก ์ธก์ . ๋ฎ์ ๋ฒ ํ
์๋ ํฌ์ง์
ํ๋์ผ๋ก ์ธํด์ ๋์ ๊ฑฐ๋๋์ด ๊ฐ๋ฅํจ. ๊ทน๋จ์ ์ผ๋ก ํ์๋ ์ ์ผ๋ ์ต๋ ๋งค์, ์ต๋ ๋งค๋๊ฐ ๋ฐ๋ณต๋๋ ๊ฒฝ์ฐ ๋์ ๊ฑฐ๋๋์ ๋ณด์ธ๋ค.
- Correlation to Underlying
- ์ ๋ต์ ์์ต๋ฅ ๊ณผ ๊ธฐ์ ํฌ์ ์ํ ์์ต๋ฅ ๊ณผ์ ์๊ด๊ด๊ณ. ์,์์ผ๋ก ๋๋ฌด ํฌ๊ฒ ๋์ค๋ ๊ฒฝ์ฐ๋ ํด๋น ์ํ์ ํ๋ฉํ๋ ๊ฒ๊ณผ ๋ค๋ฆ ์๊ธฐ์.
Performance
- PnL
- Backtesting์์ ์ ์ฒด์ ๋ฐ์ํ ๋ฌ๋ฌ ์ด์ก. ์ต์ข
ํฌ์ง์
์ด ๋จ์์๋ ๊ฒฝ์ฐ๋ ๊ทธ๊ฒ์ ํ๊ธํ ๋น์ฉ์ ํฌํจํ๋ค. '์์ต๋ฅ ๊ธฐ๋ฐ ์๋ฎฌ๋ ์ด์
'์ด ์๋ '๊ธ์ก ๊ธฐ๋ฐ ์๋ฎฌ๋ ์ด์
'์ ์งํํด์ผ ๋ํ
์ผํ๊ฒ ๊ณ์ฐํ ์ ์์.
- PnL from Long Positions
- PnL ๋ฌ๋ฌ ์ค์์ ์ค์ง ๋งค์ ํฌ์ง์
์ผ๋ก๋ง ๋ฐ์ํ ๋น์ค. Long-Short bias๋ฅผ ํ๊ฐํ ๋ ์ ์ฉ.
- Annualized Rate of Return
- ์ด ์์ต๋ฅ ์ ์๊ฐ-๊ฐ์ค ์ฐํ์ฐ ํ๊ท ๋น์จ๋ก ๋ฐฐ๋น, ์ฟ ํฐ, ๋น์ฉ์ ํฌํจ.
- Hit Ratio
- ์์ ์์ต ๊ฒฐ๊ณผ๋ฅผ ๋ธ ๋ฒ ํ
์ ๋น์ค
- Average Return from Hits
- ์์ต์ ๋ธ ๋ฒ ํ
์ ํ๊ท ์์ต๋ฅ
- Average Return from Misses
- ์์ค์ ๋ธ ๋ฒ ํ
์ ํ๊ท ์์ต๋ฅ
- Time-Weighted Rate of Return
- Returns Concentration
- Long์ผ๋ก ์ธํ ์์ต๋ฅ ์ง์ค๋, Short, ์๋ณ ์ง์ค๋ ๋ฑ์ ๊ณ์ฐํ ์ ์์
- Drawdown and Time under Water
- ์ ๊ณ ์ ๋๋น ๋ํญ์ ๋ปํ๋ drawdown sequence๋ฅผ ๊ณ์ฐํ ์ ์๊ณ ์ ๊ณ ์ ํ๋ณต ๊ตฌ๊ฐ๋ง๋ค under water ๊ธฐ๊ฐ์ ๊ณ์ฐํ ์ ์์
Implementation Shortfall
- Broker Fees per Turnover
- ๊ฑฐ๋ํ ํฌํธํด๋ฆฌ์ค์ ๋ํด ๋ธ๋ก์ปค์๊ฒ ์ง๊ธํ๋ ๋น์ฉ. ๊ฑฐ๋์๋ง ์ฐ๋ ๊ฒฝ์ฐ์ ๊ฑฐ๋์ ์์๋ฃ.
- Average Slippage per Turnover
- execution์ผ๋ก ์ธํด์ ์๊ธฐ๋ ์ฌ๋ฆฌํผ์ง. ์ฃผ๋ฌธ ์๊ฐ ์ฐจ์ ๋ฐ๋ฅธ ์ฌ๋ฆฌํผ์ง, mid-price์ fll-price๊ฐ์ ์์ค์ ์๋ฏธ
- Dollar Performance per Turnover
- ๋ฌ๋ฌ ๊ธฐ๋ฐ ์ฑ๊ณผ / ์ด ํฌํธํด๋ฆฌ์ค ๊ฑฐ๋์ก -> ๊ฑฐ๋ ๊ธ์ก์ ๊ณ ๋ คํ ์ฑ๊ณผ ์งํ
- Return on Execution Costs
- ๋ฌ๋ฌ ๊ธฐ๋ฐ ์ฑ๊ณผ / ์ด ์คํ ๋น์ฉ
Efficiency
- The Sharpe Ratio
- The Probabilistic Sharpe Ratio
- The Deflated Sharpe Ratio
- Annualized Sharpe Ratio
- Informatio Ratio
Classification Scores
- Accuracy
- Precision
- Recall
- F1
- Negative log-loss