【Day-22】データ分析技術で仮想通貨の暴騰・暴落を捉えられるか

f:id:imslotter:20171222012923p:plain

データ分析ガチ勉強アドベントカレンダー 22日目。

今日は、データ分析の練習も兼ねて、ちょっとした実験！！対象は最近話題の仮想通貨。乱高下の激しい通貨に対して、データ分析技術がどこまで通用するかと言うのを検証してみる。

使う技術 : Change Finder
- 全体の流れ
- ライブラリ
実験に使うデータ
コード
実行結果
- パラメータによる違い。
結論
- 暴騰暴落を捉えられたか？
- モデルに関して

使う技術 : Change Finder

change finder とは、データマイニングによる異常検知に出てくる、変化検知の技術。

ざっくりいうと、データをある時系列モデルで予測し、そこからの変化具合を評価する手法

全体の流れ

窓幅kで時系列モデル(ARモデル)を用意してSDARアルゴリズム(忘却型学習アルゴリズム)で学習する
- 時刻 $t-k$ から $t-1$ までの値で、それ以降の時系列を予測するモデル $p_{t}$ が完成する
- 時系列モデルの学習は SDARアルゴリズムと統計的手法による時系列からの外れ値と変化点の検出が、詳しい。単なるARモデルの推定ではなくて、より新しいデータを重視する**忘却機能がついている
- 忘却機能がARモデルでは許されない非定常性のモデルも許す。
上記の時系列モデルに対して、時刻での異常値スコアを次のように算出
- $Score(x_{t})=-\ln{p_{t-1}(x_{t}})$
- もしくはヘリンジャースコア(参考)
幅Tのウィンドウを設けて、スコアの平均を計算する(smoothing)
- 時刻 $t$ での移動平均スコア $y_{t}$ は、下式
- $y_{t} = \frac{1}{T}\sum_{i=t-T+1}^{t}Score(x_{i})$
平滑化された時系列データに対して、再度ARモデルを用意してSDARアルゴリズムで学習する
- 時刻 $t-k$ から $t-1$ までの値で、それ以降の時系列を予測するモデル $q_{t}$ が完成する
- 幅 $T'$ のウィンドウを設けて、スコアの平均を計算する(下式)
- $Score(x_{t})= \frac{1}{T'}\sum_{i=t-T'+1}^{t}\left(-\ln{q_{t-1}(y_{t}})\right)$

ポイントは、2回学習しているところ。一回目のsmoothingで、ノイズに反応した外れ値の除去を行っている。そのため、本質的な変動を捉えられるようになっている。

SDARで設定する忘却パラメータはかなり大事で、どのくらい過去の影響を重視するかに関わってくる。これについては後で見てみる。

ライブラリ

何気なく「changefinder python」で調べると、作っている素晴らしい人がいた。

changefinder - Argmax.jp

なので拝借。上記ページにも書かれているように、numpy, scipy, nose, statsmodelsは必要

pip install changefinder

で入る。二種類のアルゴリズムが用意されていて、通常のChangeFinderと、ARモデルをARIMAモデルに変更したChangeFinderARIMA *1

ChangeFinder

changefinder.ChangeFinder(r=0.5,order=1, smooth=7)

主要パラメータは下記の通り

r : 忘却パラメータ
smooth : 外れ値スコアをsmoothingするための区間長
order : 時系列モデルの次数

実験に使うデータ

12/13-12/21の仮想通貨の価格データ ((githubのcoindata.csvに保管している))
草コインも含めて868銘柄のデータを10分おきに保管している

データの集め方については以前記事にしたAPIを使っている。

【ビットコイン】仮想通貨の全銘柄を集められるAPIを使って分析してみた

コード

詳しくは、githubに上げている。 github.com

銘柄を指定し、changefinderにかけてグラフ表示するまで

コードをみる

%matplotlib inline
import changefinder
import pandas as pd 
from datetime import datetime as dt
import matplotlib.pyplot as plt
import numpy as np
import os


def str2datetime(tstr):
    if tstr.__class__.__name__ == "datetime":
        return tstr
    ts = tstr.split(".")[0]
    return dt.strptime(ts, "%Y-%m-%d %H:%M:%S")

def calc_cf(name, df, cf, threshold=30):
    values = df[name].values
    scores = np.array([cf.update(value) for value in values])
    print(scores)
    # 描画
    fig, ax1 = plt.subplots(figsize=(15,5))
    ax1.set_title(name)
    ax1.plot(df.index, scores,color="red")
    ax1.set_ylabel("anom_score")
    ax2 = ax1.twinx()  # 2つのプロットを関連付ける
    ax2.plot(df.index, df[name].values)
    ax2.set_ylabel("value")
    # しきい値越えリスト
    df["score"] = scores - threshold
    for i in range(1,len(df)):
        if df.iloc[i-1]["score"] < 0 and df.iloc[i]["score"] >= 0:
            print("time:{}".format(df.iloc[i]["timestamp"]))
            ax2.plot(df.index[i],df.iloc[i][name],"o")
    plt.show()
    return df

cf = changefinder.ChangeFinder(r=0.01, order=1, smooth=3)
df = pd.read_csv("coindata.csv").dropna()
df.index = df.timestamp.apply(str2datetime)
calc_cf(name="btc",df=df, cf=cf, threshold=15)