Motivation

• ML Model을 학습시키고 Real World에서 좋은 퍼포먼스를 보이기 위해선 데이터가 가장 중요하다. 이것은 인간이 학습하는 방식과 다르지 않다. 일단, 좋은 교재가 있어야 한다.
• 가장 Raw한 '비구조화된 금융 데이터'에서 Bar(구조화된 데이터 형태, Table의 row)로 변환하는 과정을 소개한다.
• 핵심은 Bar와 ML model간의 연결이다. 금융에 ML을 적용하려는 대부분의 사람들이 놓치는 부분은 ML Model의 대전제이다.
• ML Model의 대전제는 데이터가 IID(Independent and identically distributed)한 상태여야 한다는 것이다.
• Bar를 IID화 시키면서도 데이터에 있는 시그널을 유지시킬 수 있는 방법에 대해 소개한다.

Essential Types of Financial Data

Financial raw data

• 기초데이터 : 감독 기관 제출 데이터, 대부분 재무제표. 백필링(backfilled) & 수정값(reinstated value)의 심각한 오류가 많아서 point in time 처리를 해줘야 함.
• 시장데이터 : 거래소에서 발생하는 모든 데이터. FIX 메세지를 통해 모든 거래 사항 재구성 가능, 하루에 10TB씩 쌓임
• 분석데이터 : 기초, 시장, 대체 또는 다른 종합 데이터로 부터 파생된 데이터 ex) 수익 예측, 뉴스 분석, 신용 평가 데이터
• 대체데이터 : 비즈니스 프로세스, 센서, 위성 데이터 등. 차별점 : 최초 정보. 분명 시그널을 찾아내면 메리트는 있으나 비용이 클 것이라는 점에서 Trade-off

Bars

• 구조화 되지 않은 위의 데이터를 구조화 시킨 상태를 말한다. 구조화는 'Table'과 같은 상태라고 보고 Bar는 Table의 row를 의미.
• 흔히, API를 통해서 주는 모든 가격 데이터들이 Bar 형태를 띄고 있음.

Standard Bars

Time Bars

• Time Bar의 경우 고정된 시간 간격으로 정보를 추출하고, 보편적으로 사용되어서 간편함
• 데이터 : timestamp, ohlcv, vwap
• 문제점 : 중요한 정보가 있는 구간에선 많은 거래가 이뤄진다. 하지만 Time Bar는 이를 고려하지 않고 모든 시간 단위에 따라 일정한 중요도를 부여해 signal이 왜곡된다.

Tick Bars

• 거래 체결일 발생하는 시점마다 정보를 추출함. 체결 단위로는 원소 데이터.
• 문제점 : 매우 큰 이상치가 존재함. 예를들어, 동시호가의 경우 요청만 쌓이고 거래는 일어나지 않으며 최종적으로는 하나의 bar로 처리됨.

Volume Bars

• Tick Bars를 기준으로 Mandelbrot & Taylor (1967)은 표본 추출을 거래 건수의 함수로 수행하면 IID한 데이터 형태로 바꿀 수 있음을 주장하.
• 위의 이론을 바탕으로 예를 들어보면, 거래 건수 1만개가 발생하는 순간마다 추출을 하여 Bars를 구성함. 그렇게 되면 옆에 Timestamp는 비주기적인 형태가 됨. Volume Bars는 Time/Tick Bars에 비해 데이터가 IID화 되며 ML Model에 적용할 수 있는 상태가 됨.

Dollar Bars

• 어떤 함수를 통해서 추출을 하면 IID한 형태로 만들 수 있다는 것을 앎. 물론, 퀀트 모델과 같이 이론적 근거가 있는 추출 방법을 써야함.
• 근거
  1. 실질적으로 주식을 거래하는 사람 입장에선 '거래 개수'가 중요한 것이 아니라 '거래 금액'이기 때문에 '거래 금액' 기반 추출이 더 질 좋은 데이터를 만들어 냄
  2. 주식의 경우 회사 사정에 따라 액면분할, 발행주식수 변경이 된다. 코인의 경우도 더 찍어낼 수 있다. 해당 volume을 constant하게 하는 경우 왜곡 가능.
• 이런 근거에 따라 실제로 IID를 체크해보면 Volume Bars 보다 좋게 나옴
• 이해를 돕기 위해 위의 내용을 코드로 표현하면 다음과 같다.

def get_bar_index(df, mode, unit=None):
    assert mode in ['time', 'tick', 'volume', 'dollar']
    df0 = df.reset_index().rename(columns={'dates': 'time'})
    num_days = (df0.time.values[-1] - df0.time.values[0]).astype('timedelta64[D]').astype(int)
    t, ts = df0['price' if mode == 'tick' else mode], 0
    idx, diff = [], []
    if mode == 'time':
        assert unit in [None, '1d']
        t, m = t.dt.date, '1d'
        idx.append(0)
        for i, (before, after) in enumerate(zip(t.values[:-1], t.values[1:]), 1):
            if after-before >= timedelta(days=1):
                idx.append(i)
        diff.append(0)
    elif mode == 'tick':
        m = len(df0) // num_days if unit is None else unit
        for i, _ in enumerate(t):
            ts += 1
            if ts == m:
                ts = 0
                idx.append(i)
        diff.append(0)
    else:
        m = t.values.sum() // num_days if unit is None else unit
        for i, x in enumerate(t):
            ts += x
            if ts >= m:
                idx.append(i)
                diff.append(ts)
                ts = 0
    return idx, (m, np.std(diff))

Information-Driven Bars

• 이전엔 거래량, 거래금액으로 추출하는 함수를 구성하였다면 이번엔 정보를 좀 더 입체적으로 파악하는 함수를 통해 표본을 추출하는 것으로 세계관을 확장시킬 수 있다.
• 정보의 양을 어떻게 정량화 시킬 것인지가 핵심이고, 이전엔 거래량,거래금액이 Constant였다면 조금 더 Dynamic하게 바뀌었다고 이해하면 됨.
• 대표적으로 Tick/Volume/Dollar Imbalance Bars(TIB,VIB,DIB)와 Tick/Volume/Dollar Runs Bars (TRB,VRB,DRB)가 존재함.
• Imbalance Bar와 Runs Bar의 차이는 대규모 거래자의 흔적을 남긴 매수 주문(Iceberg orders)에 대한 아이디어를 추가로 포함했느냐 여부이다.

Tick Imbalance Bars (TIB)

1. 
2. 
3. 
4. 
5. 
6. 

• tick의 sequence가 있다고 가정, p_t 는 tick t(시간)에 연계된 가격, v_t 는 tick t(시간)에 연계된 거래량
• b_t는 p_t & v_t를 이용해 정의한 규칙. 일종의 틱 단위의 변화량(추세)를 표현한 것이고, b_t가 일정한 방향으로 가는 케이스가 나오면 이때 tick의 imbalance한 현상이 나온 것이고 그때를 추출한다는 것이 핵심이다. 이를 위해 theta_t를 정의.
• theta_t를 연속적(확률적)으로 바꾼 식을 통해 표현할 수 있고, P(b_t=1) + P(b_t=-1) = 1 이라는 제한 조건으로 식을 변경할 수 있음
• E0[T] 는 previous bars의 지수가중이동평균(ewma)로 계산 가능하고, 2P[b_t=1]-1 은 previous bars의 지수가중이동평균(ewma)로 계산 가능하다.
• TIB는 다음 조건을 만족하는 부분 집합을 T*로 다음과 같이 정의 가능하다.

Volume/Dollar Imbalance Bars

1. 
2. 
3. 
4. 
5. 
6. 

• VIB, DIB는 TIB의 세계관을 조금 더 확장시킨 것이다. p_t를 통해서만 information의 imbalance를 찾아낼 것이냐 v_t란 정보를 추가로 활용해서 찾아낼 것이냐의 문제임.
• v_t를 추가하는게 왜 좋을지는 Researcher의 논리를 통해서 이론적 근거를 확보해야 한다. 이 근거는 volume/dollar bars를 생성하는 경우와 동일함.
• theat_t를 p_t * v_t로 확장하였고, 이에 따라 식이 일부 변경되었다. 근본적인 논리는 TIB와 동일하다.
• 위 수식의 논리를 좀 더 명징하게 표현하기 위해 아래 pseudo code를 첨부하였다.

num_prev_bars = 3
expected_num_ticks_init = 100000
expected_num_ticks = expected_num_ticks_init
cum_theta = 0
num_ticks = 0
imbalance_array = []
imbalance_bars = []
bar_length_array = []
for row in data.rows:
    # Track high,low,close, volume info  
    num_ticks += 1
    tick_rule = get_tick_rule(price, prev_price)
    volume_imbalance = tick_rule * row['volume']
    imbalance_array.append(volume_imbalance)
    cum_theta += volume_imbalance
    if len(imbalance_bars) == 0 and len(imbalance_array) >= expected_num_ticks_init:
        expected_imbalance = ewma(imbalance_array, window=expected_num_ticks_init)
       
    if abs(cum_theta) >= expected_num_ticks * abs(expected_imbalance):
        bar = form_bar(open, high, low, close, volume)
        imbalance_bars.append(bar)
        bar_length_array.append(num_ticks)
        cum_theta, num_ticks = 0, 0
        expected_num_ticks = ewma(bar_lenght_array, window=num_prev_bars)
        expected_imbalance = ewma(imbalance_array, window = num_prev_bars * expected_num_ticks)

Tick Runs Bars

1. 
2. 
3. 

• TIB와 근본적인 원리는 동일하다. 대량 거래자들의 분할 주문의 흔적을 찾기 위해서 theta_t의 모델링을 다르게 한 것이 주요한 차이점이다. 이를 수식적으론 max를 활용하여 b_t=1,-1 각각의 경우를 나눠서 본다는 점이 이 부분을 반영한 것이다.
• theta_t의 모델링 외에 다른 것들의 원리는 동일.
• 즉, T*를 보면 Iceberg orders가 많으면 낮은 T값에서 빈번하게 추출될 것이고 주요한 부분에서 ML model이 학습할 기회를 제공하는 좋은 데이터가 되는 처리라고 볼 수 있음.
• 여기에 더해 Iceberg orders가 적으면 TIB에 비해 sequence가 sparse하게 될 가능성이 존재함.

Volume/Dollar Runs Bars

1. 
2. 
3. 

• VIB/DIB와의 핵심 차이는 위에서 서술한 TIB vs TRB와 동일함.
• TRB와 VRB/DRB의 차이는 theta_t의 모델링에 v_t를 추가했다는 점이며 이를 추가한 근거는 TIB에서 VIB/DIB로 확장하는 근거와 동일함

Sampling Features

• 처음 시작했던 Financial raw data -> Bars(Time/Volume/Dollar Bars -> TIB/DIB/VIB -> TRB/DRB/VRB) 까지 확장했다.
• 좋은 Bars를 만드는 목적은 데이터를 시그널을 최대한 유지하면서 IID하게 만들기 위함이고, 이는 ML model의 학습을 극대화 시키는 것에 있다.
• 이런 Bars를 만든 상태에서 추가로 한 번 더 Filtering(Sampling Features)을 거쳐야 하는 이유가 있다.
  1. 몇몇 ML 알고리즘은 표본 크기에 학습 속도가 기하급수적으로 증가하는 경향이 있다. (ex. SVM)
  2. ML 알고리즘과 사람이 학습하는 과정을 생각해보면 모든 문제를 다 학습하는 것보다는 시험에 자주 나오고 중요한 문제를 학습하는게 중요하다. 이를 위해 '학습 유관 데이터'를 선별해주는 것이 정교한 예측을 하는 모델을 만들어 낼 가능성이 높아진다.
• Down Sampling 기법 2가지, Sampling for Reduction & Event-Based Sampling을 소개한다. 후자가 핵심.

Sampling for Reduction

• 아주 간단한 기법으로 정말 속도만을 위해 하는 방식이라고 볼 수 있다. 이는 B2C 서비스 등 속도가 중요하고 성능이 조금은 낮아도 되는 경우에 가성비 좋게 사용할 수 있다.
  1. Linespace Sampling
     • 순차적으로 표본을 추출한다. 다만, 초기값으로 어떤 간격(seed)에 의해 할 것인지에 민감하다는 단점이 존재함.
  2. Uniform Sampling
     • Linespace Sampling을 보완하기 위해서 전체 Bar에서 균일하게 표본을 Sampling 하는 방식으로 최종 bar의 개수가 일정해진다.

Event-Based Sampling

• ML Model의 핵심은 똑똑한 투자자를 여러 명 만들어 그것을 netting하여 Meta Strategy를 만드는 과정의 많은 부분을 자동화 하는 것에 강점이 있다.
• 똑똑한 투자자 한 명의 관점에서 투자 방식을 고민해보면 많은 기회는 변동성이 터지는 순간에 발생한다는 점을 목격할 수 있다. 그 구간에서 많은 Alpha가 존재한다.
• 다른 여러 구간에서 잘 맞춰도 Alpha가 많이 존재하는 구간에서 잘 맞추지 못한다면 이는 좋은 모델이라 할 수 없을 것이다.
• 해당 구간에 좀 더 가중치를 주어서 학습하게 해주는 걸 도와주는 방식이 Event-Based Sampling이라고 보면 된다.
• 다양한 방법이 존재하지만, 산업공학에서 품질 관리를 위해 사용하느 CUSUM filter에 대해 소개한다.

The CUSUM Filter

1. 
2. 
3. 
4. 

• CUSUM Filter의 핵심은 측정 값이 목표 값의 평균으로부터 얼마나 벗어났는지를 찾도록 설계되어 있다.
• IID한 관측값 y_t를 정의하고, 다음 y_t의 누적 합계를 S_t로 정의하자. E_(t-1)[y_t]는 previous t까지의 지수이동평균 또는 y_(t-1)로 표현할 수 있다.
• S_t의 값을 통해 현재 값이 평균으로 얼마나 벗어났는지 측정할 수 있다. 이때, 임계값 h를 설정한다. h를 넘어가는 순간마다 Sampling 할 수 있다.
• 4.의 식에선 상향/하향의 개념으로 확장해서 상향/하향 S_t와 상향/하향 h를 설정할 수 있다. 그리고 이들의 절대값을 기준으로 샘플링하여 조금 더 정교하게 추출이 가능함.
• 임계값을 현재는 constant로 가정하지만 여러 기법을 활용하여 확장할 수 있다. 이론적으로 Structural Breaks, Entropy Features, Microstructural Features등 다양하게 확장 가능하다.
• 상향/하향 개념으로 확장된 CUSUM Filter를 코드로 표현하면 다음과 같다.

def getTEvents(gRaw, upper, lower=None):
    if lower is None:
        lower = - upper
    assert (upper >=0 and lower <= 0)
    tEvents, sPos, sNeg = [], 0, 0
    diff = gRaw.diff()
    for i, change in enumerate(diff.values[1:]):
        sPos, sNeg = max(0, sPos + change), min(0, sNeg + change)

        if sNeg < lower:
            sNeg = 0
            tEvents.append(i)

        if sPos > upper:
            sPos = 0
            tEvents.append(i)

    return gRaw.index[tEvents]