2021 01 10 Klines 1 gamma - WojciechMigda/TruRL GitHub Wiki

Parametry eksperymentu: 
Episodes: 100
max_episode_steps: 200
Memory capacity: 100000
GAMMA: <#####>
NEPOCHS(20)
KBinsDiscretizer({
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {34, -0.020000, 0.020000},
    {10, 0.000000, 100.000000},
    {10, 0.000000, 100.000000},
    {10, 0.000000, 200.000000},})
Scaler({[-5.000000, 5.000000], [0, 10000]})
TsetliniClassifierBitwise({
        "threshold": 10000,
        "s": 4.000000,
        "number_of_regressor_clauses": 3200,
        "number_of_states": 127,
        "boost_true_positive_feedback": 1,
        "random_state": 1,
        "n_jobs": 6,
        "clause_output_tile_size": 16,
        "weighted": true,
        "loss_fn": "MSE",
        "loss_fn_C1": 0.000000,
        "max_weight": 2147483647,
        "verbose": false
    })
Gym: <TimeLimit<WavyMarketEnv, gen_fn=07_klines Actions=[<Actions.HOLD: 0>, <Actions.BUY100: 1>, <Actions.SELL100: 2>]>>

Wartości gamma wzięte pod uwagę: 0.70, 0.80, 0.90, 0.95.

Wykonano 10 powtórzeń, po 100 epizodów, każdy epizod po 200 kroków.

Plot AUC Plot

Wykres AUC sugeruje, że gamma równa 0.90 dała o połowę lepszą kumulowaną nagrodę względem wartości 0.70 i 0.80.

Z drugiej strony, wariancja przebiegów jest spora i obserwowane wysforowanie się przebiegu dla 0.90 może być tylko efektem przypadku. Wypadałoby zweryfikować te obserwacje powtarzając eksperyment dla większej liczby epizodów.

Po dodaniu eksperymentu z gamma=0.95 chyba można jednak stwierdzić, że mam do czynienia z trendem.

Do sprawdzenia: 0.99 .

Dane

Lokalizacja: /experiments/2021-01-10_klines_1m

Uzyte skrypty są wersjonowane w katalogu powyżej.

⚠️ **GitHub.com Fallback** ⚠️