為替のTickdataをDukascopyからダウンロードする

1. FXのtickデータ入手法
Dukascopyより
理化学研究所情報基盤センター
中田真秀
2015/6/10

2. 話の概略
• 為替取引などにおける、もっとも解像度の高
いデータを得たい
• 小売、個人向け配信を集めてくるだけだと
データの遅れ、欠け、信頼性(ブローカーによ
るストップ狩りなど)に問題がある。
• bid, askはマーケットメーカーにも依存する。
• Dukascopyのtickdataをダウンロードして使うと
いうことを行う。

3. Tick dataとは
• 市場での為替取引に関して、個人の顧客まで、
売値、買値が渡ってくる。その最小単位のデータ
である。
• ミリ秒単位で、不規則に気配値 (ask, bid)が渡さ
れる。
– 1秒間に何度も変わるときもあれば数分何もないこと
もある(市場の都合)
• 具体的には(trueFX, Dukascopyより)
– AUD/JPY 1433903439298 95.540 95.549 95.453 95.754 95.581
– 通貨ペア、UNIX Time, bid, ask …
– EURUSD 2010.08.19 19:00:44.536,1.2823,1.2824
– タイムスタンプ、bid, ask

4. 高品質のtickdataは
MT4からは得られない
• MetaTrader４から得られると思いがちだが
– ブローカーのbid,askはそもそも信頼できるか? ストップ狩
りetc
– データが抜けることがある
• サーバ、クライアント、途中のネットワークのわずかなトラブル
– ネットワークの遅延
• MetaTrader4にはサーバーに ping したときの時間が帰ってくる。
日本からNYまで、だいたい100-200ms
• 配信されたデータにはタイムスタンプがない。
– 1分足のbidの値しかヒストリーセンターには無い
• 技術的にはtickを読み出すことは可能
• Spreadを含んだbacktestは困難

5. 無料でTickデータを得るには?
Dukascopyが一番
• TrueFX (Integral)
– 登録必要、ただし無料
– いくつかのmarket makerからデータを入手している
– 2009年から、限られた通貨ペアのみのtickdataがある。
– Web APIによるストリーミングもかのう
– ちょこちょこ欠けていることあり。
– 最新のデータが一月前
– PepperstoneのHistorical dataはコレへの直リンク
• Dukascopy
– スイスに位置する銀行、かつ、market maker、ブローカーとして老舗かつ信頼されている。
– 登録不要、無料。
– 2007年くらいからのデータから、多くの通貨ペア、証券のtickdataがある。
– 最新のデータが一時間前
– 信頼性が高い(らしい)
• Alpari RU
– Tickdataじゃないが、metatrader4で接続する自社のhistory centerに接続、充実(1min bid)。た
だしデータ抜けなどもある。老舗FX broker。
• FXDD
– Metaquotesのサーバにあるデータをそのまま配布。データに長い下ヒゲ多数発見されてる
Dukascopyからtickデータをダウンロードするのが正しい

6. Dukascopyからデータを入手
• https://www.dukascopy.com/swiss/japanese/marketwatch/historical/
から手動ダウンロードだと気が狂いそうになるので
• http://eareview.net/tick-data/dukascopy-php-scripts からBirt’s
Dukascopy tick data PHP scripts v0.27 (updated 27.09.2013)をダウンロー
ドする。
• Ubuntuを使うと…
$ sudo apt-get install php5 curl php5-curl
$ php download_dukascopy_data.php
とする。むちゃくちゃ時間がかかります。EUR/NOKなどマイナーな通貨は、ス
クリプトを編集して入手すること。
データの形式は独自のもの、加工方法は次のページで。

7. CSVへ変換する。
$ php process_dukascopy_data.php EURUSD 200702
201501 EURUSD.csv
これで、
….
2012.06.21 18:33:09.575,1.25555,1.25566,1.50,6.75
…
などのデータが得られる。
Pandasをつかってresamplingするとmetatrader4が扱える
CVSなどに加工するのも容易。

8. 注意点
• ダウンロードには何日もかかるかも。多分帯
域制限をしている。