為替取引(FX)でのtickdataの加工とMySQLで管理

1. 為替取引(FX)でのtickdataの
加工とMySQLで管理
理化学研究所情報基盤センター
中田真秀
2015/6/11-22

2. 話の大筋
• Tickデータは高解像度だが、そのままは使い
にくい。そのためローソク足に変換する。
• 市場が開いているのはEET(Eastern European
Time)とEEST(Eastern European Summer Time)
で、月曜0:00:00から金曜23:59:59.999まで
• EET/EESTでローソク足を管理保持し、Query時
に変更する。
– ローソク足をpandas (python)、データ保持を
MySQLで保持する。

3. 為替のインターバンク市場から
個人投機家まで
• 為替は株のように中心に取引所があるわけ
ではない。個々が自主的に行う
• 一番大きな為替市場は、世界中で主に銀行同
士が取引している市場: インターバンク市場
– インターバンク = 銀行間
– インターコンチネンタル = 大陸間
– 一本(=100万通貨)単位で取引しているらしい
• ブローカーはインターバンク市場から小売に
もってくる(bring/broke)

4. インターバンク市場の
オープン、クローズについて
• 銀行はウェリントン(NZ)から開く。時差は
(UTC+12 or 13)
• シドニー(UTC+10, UTC+11)
• 東京(UTC+9)、香港、シンガポール(UTC+8)
…
• イギリス(UTC, UTC+1)
…
• ニューヨーク (UTC-5)
• 銀行のクローズはそのタイムゾーンで17:00まで。

5. インターバンク市場の
オープン、クローズについて
• 世界中に存在する銀行の時間帯(timezone)で…
– 営業時間は9:00-17:00
– 休日は、土日
めんどくさいこと
• 夏時間/冬時間の存在
– Summer /winter time, day saving time etc…
– オーストラリアなどだと南半球なんで冬と夏が逆なこと
– 国と地域によって開始日が違う。
• 曜日によって営業時間が違う。
• 日本で月曜の朝6か7時から、土曜の朝6時か7時から。
• 実際には朝6,7時から開いているbrokerは少ないが…

6. どの時間帯で管理するのが正しい
か:EESTおよびEET
• UTC(世界協定時)やJST(日本)で管理すると、夏冬時間
や営業時間の曜日による不定性が残る。
• EESTおよびEET基準で考える。
– だいたい月曜0:00:00から始まって、金曜の23:59:59.999
で終わるため、管理がしやすい!
– これからはみ出た、足りないものは、その近くのtickで補う。
– この範囲外は値動きが小さく、スプレッドも広く、取引に適
さない。
次スライドでもう少し詳しく見てみる

7. いつ市場が閉まるか
• EET = UTC+2, EEST = UTC+3
• EST = UTC-5, EST(DST) = UTC-4
– 17:00 (EST) = 22:00 (UTC)
– 17:00 (EST+DST) = 21:00 (UTC)
• EET&EST, EEST & EST(DST) :両方夏or両方冬
– 17:00 EST = 22:00 UTC = 24:00 EET
– 17:00 EDT+DST = 21:00 UTC = 24:00 EEST
• EETとEST(DST) : 冬夏
– EEST(10月最終日曜まで) EST(DST) (11月第1日曜まで)
– 11月第1土曜日がスキマ
– 17:00 EST+DST = 21:00 UTC = 23:00 EET
• EESTとEST 夏冬:なし
– EEST(３月最終日曜から) EST (3月第2日曜まで)
– 17:00 EDT = 22:00 UTC = 25:00 EEST
• まとめ：11月第1土曜日以外は24:00 EEST
or ESTに閉まる (23:00EET)

8. いつ市場が開くか
• NZST=UTC+13, NZDT=UTC+12
– 9:00 (NZST) = 22:00 (UTC)
– 9:00 (NZDT) = 21:00 (UTC)
• EET = UTC+2, EEST = UTC+3
• NZST/EET場合
– 11月第1日曜から(EET)-3月第1日曜日まで(EST?)
– 9:00 (NZST?) = 22:00 UTC = 24:00 EET
• NZDT/EEST の場合
– 3月第2日曜日から(EDT?) -10月最終日曜日(EEST)
– 9:00 (NZDT?) = 21:00 UTC = 24:00 EEST
• ホントはNZSTは9月最終日曜-4月の最初の日曜まで、それ
以外はNZDTだが、Dukascopyではそうでなくて、アメリカ東
部夏時間の開始、東ヨーロッパの夏時間終了を基準にし
ているようだ??

9. まとめ:市場のオープン時間
• タイムゾーンにはEET, EEST を使うべし
• 月曜の0:00:00に市場が開く
• 金曜の23:59:59.9999に市場が閉じる
• イレギュラー
– 年に一度、11月第一金曜に22:59:59.999に市場
が閉まる。これはtickを補うことで対処できる。
– NZST, NZDTに関するイレギュラーは考えられる。
しかし実際はDukascopyでは米東、東欧時間を基
準にし、市場が開くので、イレギュラーは無い。

10. ひとやすみ

11. ローソク足の検索のため、番号をふる。
• Tickは不規則だが、ローソク足は時間の規則性
がある。
– Tickはローソク足以上に間隔が広がることがあるし、
そもそも欠けていることがある
• 2015/6/8 9:00:00 (JST)から1024本5分足が欲し
いとかなると…
– 1024本前は何年何月何日何時何分? 土日挟むが?
– EURUSD, EURJPYを1024本と比較したいとき、欠けた
足があると、時間がズレることがある
– 意味がなくとも、埋めといたほうが分析するには楽どうせ
そこら辺は値に影響しない

12. mysqlにとりこむ
大方針
• ヒストリーデータの管理は週単位で、EEST, EETのタイムゾー
ンでやる。
– 月曜0:00:00.000オープン、金曜23:59:59.999クローズ
• タイムスタンプはUTCなのでEEST/EETに変換する

13. mysqlにとりこむ
• TickdataをCSVに変換
– (例) $ php process_dukascopy_data.php EURUSD 200701 201507
EURUSD.csv 容量7.4GBくらい、処理に一時間くらいかかった。
• Nysolで一日単位に分割
• PandasでOHLC形式でリサンプリング
– 1m, 5m, 15m, 1h
– 1h単位以上だと若干問題が出ることがある: 1d足だと1週は5本/6本?
• MySQLに登録。
– UTCからEEST/EETに変換
– EEST/EETの時間に、1970/1/1 0:00:00から何番目の足か、を機械的に
振る
– 無い足はとりあえず無視、取り出すときにPandasで処理をする。