Motivation

• Financial Series(일반적인 시계열로 나타나는 금융 데이터. ex 가격데이터)는 Arbitrage에 의해 기본적인 알파가 소멸되어 있으므로 전처리 되지 않은 상태에선 Low Signal/Noise를 보인다고 알려져 있다. Feature를 만들기 위해 우리는 각종 다양한 연산자를 통해서 알파가 남아있는 Series로 변환시켜야 한다.
• 일단, 통계학 쪽에서 Regression Analysis를 하기 위해 Series를 그대로 사용하여 Factor(Feature)를 계산하기 보다는 Differentiation을 하고 Fitting 작업을 시작한다. 이때, Diff는 단순 1,2,3차의 정수 차분으로 하는 것이 일반적이고, 1차 차분만 사용하는 경우가 99%이다.
• 가격 시계열의 경우 모든 값이 가격 수준(Level)에 대한 기억이 존재하고 이를 정수 차분하게 되면 정상성은 확보되지만 거의 모든 기억이 삭제되므로 (정확히는 Return정도의 기억으로는 이미 많은 알파가 소진되고 있어서) 잔여 Signal을 뽑아내기 위해선 복잡한 연산자를 활용하게 되고 이는 과최적화의 원인을 제공하게 된다.
• 위의 문제는 어떤 방식으로 접근해도 남아있는 근본적인 문제이나 디벨롭 시킬 수 있는 여지가 있는 부분은 '정수 차분'이 아닌 '실수 차분'을 통해서 메모리를 최대한 살려내는 새로운 Series를 만들어 내고 이를 통해 Feature를 개발하는 것에서 잔여 신호를 조금이라도 늘릴 수 있다는 점은 동기가 된다.

Dilemma : Stationarity vs Memory

• Memory(기억) : Series의 평균을 시간에 따라 변동시키는 이전 Level의 일정 기간의 정보에 대한 존재 유무. 다 없어진 상태를 Stationarity 100%라고 볼 수 있음.
  • Weak Stationary하면서 잔여 Signal이 많은 Series로 변환하는게 중요
• 지도학습 알고리즘은 대개 Stationarity가 필요함. 이유는 레이블 되지 않은 새로운 관측 값(Test or Real Data)을 레이블 된 예제(Train Data)의 집합으로 mapping할 필요성이 있고 이로부터 새로운 관측 값의 레이블을 추론해야 하기 때문이다. 즉, Stationarity가 너무 없다면 발산의 문제가 생길 수 있음.
• Stationarity는 예측력을 담보하진 못하고 고성능 ML 모델을 위한 필요,불충분 조건
  • Literature Review : (Hosking,1981) > Johansen > Nielsen > MacKinnon > Jensen > Jones > Popiel > Cavaliere > Taylor
    • Hosking부터 이미 ARMIA Process Family를 실수 차분이 가능하도록 일반화하였고 이후엔 Continuous Probablistic Process의 실수 차분의 연산 최적화와 관련

The Method

Backshift Operator

• 
• |
• 
• 
  • Backshift Operator를 통해 복잡하게 꼬리를 무는 시계열 계산을 간단하게 표현할 수 있고 이 과정에서 이항 계산이 사용됨.

Long Memory & Iterative Calculation for Weight

• 
• 
• 
  • 
• 
  • Backshift를 통해서 X_t를 다음과 같이 표현할 수 있고 weights를 단순 나열한 것과 Iterative하게 표현한 수식을 다음과 같이 정리할 수 있다.
  • 아래 코드는 weights를 iterative하게 계산하는 것을 나타냄

def getWeights(d, size):
    # thresh > 0 drops insignificant weights
    w = [1.0]
    for k in range(1, size):
        w_ = -w[-1] / k * (d - k + 1)
        w.append(w_)
    w = np.array(w[::-1]).reshape(-1, 1)
    return w

Implementation

• 위에선 '실수 차분'을 하기 위해서 필요한 사전 지식을 다뤘고 실제로 구현하는 2가지 방법에 대해 소개

Expanding Window

• 
• 
• 

• 

  • 실제 시계열은 유한하기 때문에 관측값이 T개까지 제한된다. 가중값은 w_k는 1~T-1까지 0이 아닌 값을 갖는다. 이로 인해, 초기 포인트와 최종 포인트는 서로 다른 기억량을 갖게 된다. Expanding Window 기법에선 서로 다른 기억량을 관여하지 않고 단순히 위의 X_t, w를 T개까지의 경우로 제한하여 계산한다.
  • 각 포인트 마다의 기억량을 relative weight-loss를 통해 정량화 할 수 있다. Fixed-Width Window Fracdiff에서는 이를 활용한 실수 차분을 사용한다.

def fracDiff(series, d, thres=0.01):
    '''
    Increasing width window, with treatment of NaNs
    Note: For thres=1, nothing is skipped.
    Note 2: d can be any positive fractional, not necessarily bounded [0,1]
    '''
    # 1) Compute weights for the longest series
    w = getWeights(d, series.shape[0])
    # 2) Determine initial calcs to be skipped based on the weight-loss threshold
    w_ = np.cumsum(abs(w))
    w_ /= w_[-1]
    skip = w_[w_ > thres].shape[0]
    # 3) Apply weights to values
    df = {}
    for name in series.columns:
        seriesF, df_ = series[name](/jaeaehkim/trading_system_beta/wiki/name).fillna(method='ffill').dropna(), pd.Series(index=series.index) # bug in the original code
        for iloc in range(skip, seriesF.shape[0]):
            loc = seriesF.index[iloc]
            if not np.isfinite(series.loc[loc, name]):
                continue # exclude NAs
            a = w[-(iloc + 1):, :].T
            b = seriesF.loc[:loc]
            df_[loc] = np.dot(a, b)[0, 0]
        df[name] = df_.copy(deep=True)
    df = pd.concat(df, axis=1)
    return df

Fixed-Width Window Fracdiff

• 
• 
• 
• 
• 
  • lambda를 이용해서 threshold 일정 수준 이하는 가중값을 삭제하여 가중값의 동일한 벡터(길이가 l*로 일정)를 Xt의 모든 계산에 사용하여 일관성을 부여함.

def getWeights_FFD(d, thres):
    w, k = [1.0], 1
    while True:
        w_ = -w[-1] / k * (d - k + 1)
        if abs(w_) < thres:
            break
        w.append(w_)
        k += 1
    return np.array(w[::-1]).reshape(-1, 1)

def fracDiff_FFD(series, d, thres=1e-5):
    # Constant with window (new solution)
    w =  getWeights_FFD(d, thres)
    width, df = len(w) - 1, {}
    
    for name in series.columns:
        seriesF, df_ = series[name](/jaeaehkim/trading_system_beta/wiki/name).fillna(method='ffill').dropna(), pd.Series(index=series.index)
        for iloc1 in range(width, seriesF.shape[0]):
            loc0, loc1 = seriesF.index[iloc1 - width], seriesF.index[iloc1]
            if not np.isfinite(series.loc[loc1, name]):
                continue # exclude NAs
            df_[loc1] = np.dot(w.T, seriesF.loc[loc0:loc1])[0, 0]
        df[name] = df_.copy(deep=True)
    df = pd.concat(df, axis=1)
    return df

Stationarity with Maximum Memory Preservation

• adfuller test를 활용해서 d 값을 0 ~ 1까지 0.01 ~ 0.1 단위로 테스트 하여 최적 지점을 찾아낼 수 있다.
• 대부분의 경우 d=0.5~0.6 정도로 사용하는듯.

Application to Quant System

• 기존에 feature 만들 때는 Event bar 데이터에 연산자를 더해 계산하는 방식을 사용함
• 가격 시계열, Volume Bar, Event Bar 각각에 실수 차분을 적용하여 feature를 계산한다면 다른 정보를 뽑아낼 수 있을 것으로 보임