Dynamic Time Warping を用いた高頻度取引データのLead-Lag 効果の推定Katsuya Ito
This paper investigates the Lead-Lag relationships in high-frequency data.
We propose Multinomial Dynamic Time Warping (MDTW) that deals with non-synchronous observation, vast data, and time-varying Lead-Lag.
MDTW directly estimates the Lead-Lags without lag candidates. Its computational complexity is linear with respect to the number of observation and it does not depend on the number of lag candidates.
The experiments adopting artificial data and market data illustrate the effectiveness of our method compared to the existing methods.
5. (イントロダクション)
4
5.デフォルト確率の期間構造推定(2/32)
• 1期間ロジットモデル
1
= L
(1) (0)
, i 1,2,3, ,
1 exp{ (1)}
(1)
i 0 i
i
i
Z X
N
Z
PD
ºa +b
=
+ -
• 現在(t=0)の時点で利用可能な情報Xi(0) により、1年後(t=1)のデフォルト確率PDi(1) を推計する
• 1期間の原因と結果との関係を示している
• パネルデータに基づくロジットモデル(→離散型の生存分析)
1
+ = L L
( 1) ( )
, i 1,2,3, , ; 1,2, ,
1 exp{ ( 1)}
( 1)
0 Z t X t
N t T
Z t
PD t
i i
i
i
+ ºa +b
= =
+ - +
• 式(5.1)を、時間に関して一般化→ t 時点で利用可能な情報を用いて、t+1 時点のデフォルト確率を計算
• 左辺は「条件付きデフォルト確率」
• t 時点でデフォルトしていない企業が、t+1 期(t ~ t+1)にデフォルトする確率
• 「限界デフォルト確率」、「フォワードデフォルト確率」、「ハザード確率」
(5.1)
(5.2)
6. (イントロダクション)
5
5.デフォルト確率の期間構造推定(3/32)
• 例)リスクファクターが2つ、基底デフォルト確率が線形1次式のモデル
+ = L L
, i 1,2,3, , ; 1,2, ,
1
1 exp{ ( 1)}
( 1)
i
i
+ º a +a +b +g
( 1) [ ] ( ) ( )
0 1 Z t t X t F t
N t T
Z t
PD t
i i
= =
+ - +
• Xi(t):与信先i のt 時点(t=1, 2, ・・・)のリスクファクター
•時間t により変化する→ 時間依存性の説明変数(共変量)
• (第3、4章ではリスクファクターが時間とともに変化することを考慮していない)
• F(t):t 時点のマクロ経済・社会ファクター、あるいはセミマクロ(地域)経済ファクター
•時間t により変化する→ 時間依存性の説明変数(共変量)
• i には依存しない=全てのi に共通
• [α0+α1t]:基底デフォルト確率、ベースラインハザード確率
•時間の経過とともにデフォルト確率が変化する部分を説明しようとするもの
•時間t 自体かつt のみがデフォルト確率に与える影響を示している
• より一般的な関数を想定することが可能(ここでは1次式を考えているが、1次式に限定する必要なし)
• デフォルト確率の期間構造推定
(5.3)
• 離散的な時間変化(t=1, 2, ・・・)
• 与信先i のリスクファクターの時間とともに変化する値(Xi(1), Xi(2), ・・・)
• マクロ経済ファクターの現在および将来の値(F(1), F(2), ・・・)
与信先iがそれぞれの時点で
デフォルトする確率の推定
PDi(1), PDi(2), ・・・
16. : i 番目の借り手の確率的な寿命
15
5.デフォルト確率の期間構造推定(13/32)
– 時間に関する変数名についての定義
デフォルト確率:
~
t
? ? ?
「i 番目の企業がtj 年までに倒産しなかったという条件の下で、tj 年に倒産する確率」
・・・条件付きデフォルト確率(ハザード確率)
i T
t0 = 0 t1 t2 t3 t4
・・・tj
特定の時点(t = t2)
時点tj ; j = 0,1,2
)
~ ~
( ) Pr( i j i j i j PD t º T = t T ³ t
5.2 デフォルト確率の期間
構造推定モデル
17. 5.2 デフォルト確率の期間
5.デフォルト確率の期間構造推定(14/32)
• 5.2.2 基底デフォルト確率構造のみがリスクファクターの場合
構造推定モデル
16
1
+ -
1 exp{ Z ( t
)}
( )
PD t
=
= = L
Z t g t t T
i
i
i
( ) ( ), 1, ,
★「g(t)」の形をどのように決めたらよいか?
• ノンパラメトリックな方法・・・実績データに最も良く適合するように(、離散的に)
•パラメトリックな方法・・・具体的な関数の形状を事前に決める→そのパラメータを推定
★基底デフォルト確率は“時間だけに依存している”(個先にも、マクロ変数にも依存しない)
• 5.2.3 基底デフォルト確率推定:ノンパラメトリックアプローチ
i =a +a +a +a +a
( ) Z t D D D D
0 1 1 2 2 3 3 4 4 , ( )
1
PD t i
1 exp{ Z ( t
)}
i
+ -
=
• 最も容易なノンパラメトリック(※離散的)な方法・・・「年度別ダミー変数」の利用
• 式(5.8)は、5年度分(5期分)のデータを使用しているケース→データの形式は表5.3(p.93)
• 期間構造の形状に先験的な制約を必要としない→ 柔軟な推定方法
(5.7)
(5.8)
20. 5.3 モデルの整理と拡張
19
5.デフォルト確率の期間構造推定(17/32)
• 5.3 モデルの整理と拡張
【本節の構成】
– モデルA:1期間モデル
– モデルB:期間構造モデル
– モデルC:マクロ経済効果を考慮した期間構造モデル
– モデルD:観察されない異質性を考慮したPD期間構造モデル
– モデルE:不確実なデフォルト確率期間構造推定モデル
(以下、詳細)
– モデルA:1期間モデル
= a b
º + = L
i , (1) '(0) , 0,1, ,
PD i i
Z x i N (5.16)
1 exp{ Z
(1)}
i
1
(1) 0
+ -
• Zi(0)は現在時点で観察可能な企業属性の線形結合としての「信用リスク度」と解釈できる
• 現在と将来の1時点を結ぶ1期間モデル
21. 1
+ = a b
+ º + = L = L
i , ( 1) ( ) '( ) , 0,1, ; 0,1, ,
( 1) 0
PD t i i
Z t t x t t T i N (5.17)
20
5.デフォルト確率の期間構造推定(18/32)
– モデルB:期間構造モデル
+ - +
1 exp{ Z ( t
1)}
i
• 任意の時点(t≧1)におけるデフォルト確率の期間構造推定モデル
• 説明変数ベクトルxi’ と定数項α0(t) が時間依存になる
→ 後述参照
• 式(5.17)においてT=1とすると、式(5.16)に等しくなる
→ 従来の1期間デフォルト確率推定モデルの一般化となっている
– モデルC:マクロ経済効果を考慮した期間構造モデル
(5.18)
1
+ - +
1 exp{ Z ( t
1)}
i
+ =
( 1)
PD t
i
0 + º + +
( 1) a ( ) '( )b '( )b
Z t t x t f t
i i f
t = 0,1,L,T ; i = 0,1,L,N
• f(t):時間とともに変わり得るマクロ経済変数(※企業i には依存しない)
5.3 モデルの整理と拡張
22. 5.3 モデルの整理と拡張
(5.19)
21
5.デフォルト確率の期間構造推定(19/32)
– モデルD:観察されない異質性を考慮したPD期間構造モデル
1
+ - +
1 exp{ Z ( t
1)}
i
+ =
( 1)
PD t
i
0 + º + + +
( 1) a ( ) '( )b '( )b
Z t t c x t f t
i i i f
t = 0,1,L,T ; i = 0,1,L,N
• 「観察されない異質性(unobserved heterogeneity)」
•経営者の質、企業文化、内部統制(コンプライアンス意識など)、etc.
•その他にも、観察者が気付くことのできない変数が多く存在するはず
• 企業によって異なる定数項「ci」によって表現→ i 番目の企業に対するダミー変数により推定
– モデルE:不確実なデフォルト確率期間構造推定モデル
1
+ - +
i
i
+ =
( 1) ( ) '( ) '( ) ~
Z t t x t f t
• 個別企業における「観察されない異質性」が不確実である(“確率的に変動する”)場合
• σは推定すべきパラメータ
• PDi(t+1)も不確実な振る舞いをする
(5. 20)
~ ~ (0, 1)
1 exp{ ( 1)}
( 1)
0
N
Z t
PD t
i i f i
e
+ ºa + b + b +se
t = 0,1,L,T ; i = 0,1,L,N
28. 5.A 付録:離散的な生存分析
の理論的な背景
27
5.デフォルト確率の期間構造推定(25/32)
• 【準備1】記号の準備と生存時間解析の基本(※離散時間)
基本要素意味備考
無条件デフォルト確率
fi (tj)
累積デフォルト確率
Fi (tj)
生存確率
Si (tj)
条件付きデフォルト確率
PDi (tj)
• fi (tj) = Pr(T = tj)
• イベントが正確に期間tj で発
生する確率
• 死亡する、デフォルトする、寿
命が尽きる、etc.
• 生存確率と条件付きデフォルト
確率との関係(※離散時間)は、
fi (tj) = Si (tj-1)・PDi (tj)
• 連続時間の場合、「確率密度
関数」に当たる
• Fi (tj) = Pr(T ≦ tj) = Σfi (tj)
• 期間tj までの累積イベント発
生確率
• Fi (0) = 0, Fi (∞) = 1
• 連続時間の場合、「分布関数」
に当たり、「確率密度関数」(上
記f )を積分したものとなる
※Tの~は省略
• Si (tj) = Pr(T > tj)
= 1 - Pr(T ≦ tj) = 1- Fi (tj)
• 期間tj までの生存確率
=イベントが発生しない確率
• Si (0) = 1, Fi (∞) = 0
• 生存時間解析においては、通常の
統計学とは異なり、T ≦ t となる確
率を示す確率分布関数ではなく、T
> t の生存関数の方が頻繁に用い
られる
• Si (tj) ≡ Pr(T = tj |T ≧ tj)
= Pr(T = tj) / Pr(T > tj-1)
• 期間tj 以上生存している条件
の下で、期間tj にイベントが発
生する確率
• 連続時間の場合と異なり、離散時間
における条件付きデフォルト「率」は
確率とみなすことができ、必ず0と1
の間の値をとる
• 連続時間におけるハザード率は1以上の値
を理論的にとり得る→ハザード「率」(hazard
rate)
29. 28
5.デフォルト確率の期間構造推定(26/32)
• 【準備2】「PD」による「S」と「f」の表現
– S およびf をPD で表現しておくことで、後続の尤度関数とロジットモデルとの関連が明らか
となる
– 生存確率をデフォルト確率を用いて表現する
• (5.25) 、(5.28)、(5.29)を基に、(5.30)→(5.33)まで手を動かしてみる
• 「tj 期の生存確率は1からデフォルト確率を差し引いたもの、つまり条件付き生存確率を累積するこ
とによって計算できる」
• ・・・という(5.33)は、直感的に理解しやすい
むしろ、(5.30)の最初の式の関係を意識する方が、より理解の幅が広がるかもしれない
– 無条件デフォルト確率をデフォルト確率を用いて表現する
• デフォルト確率の期間構造を推計するための尤度関数を導くため
• (5.28) 、(5.30)、(5.33)により、容易に展開できる→手を動かしてみる
= - - - - = -
( ) (0)[1 ( )][1 ( )]L[1 ( )][1 ( )] [1 ( )]
S t S PD t PD t PD t PD t PD t
i j i i i j i j i k
-
( )
PD t
Õ Õ
Õ
=
-
i j i j i j i j i k
=
-
=
-
-
= = - =
j
k
i k
i j
i j
j
k
j
k
PD t
PD t
f t PD t S t PD t PD t
1
1
1
1
1
1 2 1
[1 ( )]
1 ( )
( ) ( ) ( ) ( ) [1 ( )]
5.A 付録:離散的な生存分析
の理論的な背景
30. = >
S t T t
i j i j
( )
f t
29
5.デフォルト確率の期間構造推定(27/32)
( ) ( ) ( ) -1 = i j i j i j ■【準備2】の補助1: f t PD t S t
tj
×
・・・
○
tj-1
○
1
2
・・・
i ○ ○
・・・
I
t2 t1
Si(tj-1)
fi(tj)
PDi(tj)
Σ>
=
k j
i k
)
~
( ) Pr(
tj+3
×
○
・・・
・・・
S (t) f (t )
i i j
tj
○
○
○
○
tj+1
×
○
○
○
tj+2
×
○
○
・・・
○
○
○
○
tj-1
○
○
○
○
∞
×
t2 t1
i ○ ○
○ ○
・・・
○ ○
1
○ ○
fi(tj+1)
fi(tj+2)
fi(tj+3)
・・・
fi(∞)
Σ>=
t t
j
■【準備2】の補助2:
5.A 付録:離散的な生存分析
の理論的な背景
31. • 【本題】尤度関数:生存確率と限界デフォルト確率を統合した表現
30
5.デフォルト確率の期間構造推定(28/32)
• 限界デフォルト確率(→PD)の期間構造推定のための尤度関数の導出
↓
• パネルデータに基づくロジットモデルを行う場合の尤度関数と同じ形式であることを示す
パート1:
式(5.35)の考察
三つのパートに分かれている
パート2:
式(5.39)の導入
パート3:
式(5.42)の導出
~
i j T t T t
• 「i 番目の企業がtj 期にデフォル
トしたか、あるいは生存してい
るか」を考える
↓
• tj 期の1期のイベント発生のみ
を考える(=他の期のイベント
発生は考えない)
1
• 指示関数yi,k の導入
(i 番目の企業がtk 期にデフォ
ルトしていれば1、それ以外0)
↓
• tj 期以外(tj 期より以前)の期に
おけるイベント発生も考慮に入
れる
ΣΣ
ln L y ln PD ( t
)
= =
+ - -
• 全ての企業i = 1, 2,・・・, n の
全ての期間k = 1, 2, ・・・, j の
イベント発生有無を考慮した尤度関
数の導出
↓
• 「PD の期間構造推定」はパネル
データ(企業×期間)に基づくロジット
モデルでOKであることを示す
=
0
(1) = )] [Pr(
> )]
- =L y i ,k ~
[Pr( i i d
i j
d
式(5.35) 式(5.39) 式(5.40) ΣΣ
= =
=
n
i
j
k
i k i k
n
i
j
k
i k i k
y PD t
1 1
,
1 1
,
(1 ) ln[1 ( )]
この項の
目的
5.A 付録:離散的な生存分析
の理論的な背景
32. 31
5.デフォルト確率の期間構造推定(29/32)
• 尤度関数:生存確率と限界デフォルト確率を統合した表現~ パート1
尤度要素
2
(生存)
表:n = 10( or 8) およびj = 5 とした場合の計算イメージ
t5
○
t3
○
t4
○
tk
i
1
t2 t1
○ ○
2 ○ ○ ○ ○
○
3 ○ ○ ○ × -
-
4 ○ ○ ○ ○
○
5 ○ ○ ○ ○
×
×
○
×
○
-
尤度要素
1
(デフォルト)
-
-
○
○
○
○
-
○
○
○
○
-
-
6 ○ ○
7 ○ ○
8 ○ ○
9 ○ ○
10
○ ×
• 「i 番目の企業がtj 期にデフォルトしたか、あ
るいは生存しているか」を考える
→tj 期の1期のイベント発生のみを考える
(=他の期のイベント発生は考えない)
= =
T t d
d i j i
> =
= > - =
), 0
~
Pr(
), 1
~
Pr(
)]
~
)] [Pr(
~
[Pr( (1 )
i j i
T t i T t i
i j
d
i j T t d
Si(tjf ) i (tj)
L (詳細はテキスト参照)
= = >
L T t T t
)]
i i
[ ]
Õ
-
( )
PD t
i j
Õ Õ
= =
1 1
-
( )
PD t
Σ i j
i
ΣΣ [ ]
= = =
=
-
- +
=
-
=
=
n
i
j
k
i k
n
i i j
n
i
j
k
i k
d
i j
n
i
d
i j
d
i j
PD t
PD t
L d
PD t
PD t
i
1 1 1
1
(1 )
ln 1 ( )
1 ( )
ln ln
1 ( )
1 ( )
p.110 -111
~
)] [Pr(
~
[Pr(
両辺対数をとって、
式(5.35)
式(5.37)
式(5.38)
Õ=
[ -
] 5
1
1 1 ( )
k
k PD t
Õ=
[ -
] 5
1
2 1 ( )
k
k PD t
Õ=
[ -
] 5
1
4 1 ( )
k
k PD t
Õ=
[ -
] 4
1
5 1 ( )
k
k PD t
Õ=
[ -
] 4
1
6 1 ( )
k
k PD t
Õ=
[ -
] 5
1
7 1 ( )
k
k PD t
Õ=
[ -
] 4
1
8 1 ( )
k
k PD t
Õ=
[ -
] 5
1
9 1 ( )
k
k PD t
( ) 5 5 PD t
( ) 6 5 PD t
( ) 8 5 PD t
tj 期以前のイベント発生は考慮
に入っていない
tj 期の1期のイベント発生のみ
を考える
5.A 付録:離散的な生存分析
の理論的な背景
33. i t
番目の企業が期にデフォルトしている場合
k
番目の企業が最終年度まで生存している場合、
1,
番目の企業が期にデフォルトしている場合のそれ以外の期
32
5.デフォルト確率の期間構造推定(30/32)
• 尤度関数:生存確率と限界デフォルト確率を統合した表現~ パート2
拡張
尤度要素
2
(生存)
表:n = 10( or 8) およびj = 5 とした場合の計算イメージ
t5
○
○
-
○
×
×
○
×
○
-
尤度要素
1
(デフォルト)
t3
○
t4
○
tk
i
1
t2 t1
○ ○
2 ○ ○ ○ ○
3 ○ ○ ○ ×
4 ○ ○ ○ ○
5 ○ ○ ○ ○
○
○
○
○
-
○
○
○
○
-
6 ○ ○
7 ○ ○
8 ○ ○
9 ○ ○
10
○ ×
• 指示関数yi,k の導入
(i 番目の企業がtk 期にデフォルトしていれ
ば1、それ以外0)
=
1,
i t
番目の企業が期にデフォルトしている場合
番目の企業が期に生存している場合
j
j
i i t
d
0,
式(5.39)
(式(5.40)も参照)
Õ=
[ -
] 5
1
1 1 ( )
k
k PD t
Õ=
[ -
] 5
1
2 1 ( )
k
k PD t
Õ=
[ -
] 5
1
4 1 ( )
k
k PD t
Õ=
[ -
] 4
1
5 1 ( )
k
k PD t
Õ=
[ -
] 4
1
6 1 ( )
k
k PD t
Õ=
[ -
] 5
1
7 1 ( )
k
k PD t
Õ=
[ -
] 4
1
8 1 ( )
k
k PD t
Õ=
[ -
] 5
1
9 1 ( )
k
k PD t
( ) 5 5 PD t
( ) 6 5 PD t
( ) 8 5 PD t
=
k
tj 期以外(tj 期より以前)の期における
イベント発生も考慮に入れる
i k
i t
i
y 0,
,
5.A 付録:離散的な生存分析
の理論的な背景
34. 5.A 付録:離散的な生存分析
33
5.デフォルト確率の期間構造推定(31/32)
• 尤度関数:生存確率と限界デフォルト確率を統合した表現~ パート3
尤度要素
2
(生存)
表:n = 10( or 8) およびj = 5 とした場合の計算イメージ
t5
○
○
-
○
×
×
○
×
○
-
尤度要素
1
(デフォルト)
t3
○
t4
○
tk
i
1
t2 t1
○ ○
2 ○ ○ ○ ○
3 ○ ○ ○ ×
4 ○ ○ ○ ○
5 ○ ○ ○ ○
○
○
○
○
-
○
○
○
○
-
6 ○ ○
7 ○ ○
8 ○ ○
9 ○ ○
10
○ ×
• 全ての企業i = 1, 2,・・・, n の
全ての期間k = 1, 2, ・・・, j のイベント発生
有無を考慮した尤度関数の導出
-
( )
PD t
Σ ΣΣ [ ]
= = =
- +
i PD t
=
n
1 i
1 1
j
k
i k
n
i j
PD t
L d
i i j
ln 1 ( )
1 ( )
ln ln
式(5.42)
Õ=
[ -
] 5
1
1 1 ( )
k
k PD t
Õ=
[ -
] 5
1
2 1 ( )
k
k PD t
Õ=
[ -
] 5
1
4 1 ( )
k
k PD t
Õ=
[ -
] 4
1
5 1 ( )
k
k PD t
Õ=
[ -
] 4
1
6 1 ( )
k
k PD t
Õ=
[ -
] 5
1
7 1 ( )
k
k PD t
Õ=
[ -
] 4
1
8 1 ( )
k
k PD t
Õ=
[ -
] 5
1
9 1 ( )
k
k PD t
( ) 5 5 PD t
( ) 6 5 PD t
( ) 8 5 PD t
(yi,k の導入;詳細はテキストp.111参照)
-
( )
PD t
ΣΣ ΣΣ
- +
i k
ln ln
,
i k
ln 1 PD ( t
)
1 PD ( t
)
L y
= 1 = 1 = 1 =
1
= + - -
• デフォルト確率(PD)の期間構造推定のため
には、「企業×期間」の形のパネルデータを
用意すればよい
Õ=
[ -
] 3
1
3 1 ( )
k
k PD t
Õ=
[ -
] 1
1
10 1 ( )
k
k PD t
( ) 3 4 PD t
( ) 10 2 PD t
[ ]
ΣΣ ΣΣ [ ]
= = = =
=
n
i
j
k
i k i k
n
i
j
k
i k i k
n
i
j
k
i k
n
i
j
k i k
y PD t y PD t
1 1
,
1 1
,
ln ( ) (1 ) ln 1 ( )
1期間のロジット回帰分析の
対数尤度関数と同じ形
n 企業のj 期間に関する総計をとる
の理論的な背景
35. 5.A 付録:離散的な生存分析
の理論的な背景
-
( )
PD t
( ) t を動かして先々のPD の推定値
34
5.デフォルト確率の期間構造推定(32/32)
• まとめ
– 離散時間ロジスティック回帰モデル(discrete time logistic regression model)
• (モデルの由来)
– Cox(1972) により比例ハザードモデルの拡張として提唱される
– Allison(1982)、Efron(1988)等により、“通常の”ロジスティック回帰モデルとの関係が明ら
かにされる
» 最尤法によるパラメータ推定→ “通常の”ロジスティック回帰モデルと同様の手順で
分析が可能
» (Cox は、比例ハザードモデルと同様、部分尤度法によるパラメータの推定を提唱)
• モデルの形
– 条件付きデフォルト確率PD のオッズが、基底オッズに比例する(比例定数はexp(x’β))
– PD の対数オッズが、対数基底オッズとリスクファクター(共変量)の線形子により説明される
{ i i k ki}
( )
PD t
( )
PD t
0 exp
i j X X X
1 ( )
j
j
i j
PD t
PD t
b +b + +b
-
=
-
L
1 1 2 2
0
1 ( )
-
( )
PD t
i j t X X X
PD t
j i i k ki
i j
b b b q + + + + =
L
0 1 1 2 2 ( )
1 ( )
ln
– デフォルト確率とその期間構造推定
1
( { }) j i i k ki
PD t
+ - q +b +b + +b
=
i j t X X L
X
0 1 1 2 2 1 exp ( )
を得る=期間構造を推定する
º
1 ( )
( ) ln
0
0
0
j
j
j PD t
q t
両辺
対数をとる
対数基底オッズ:
リスクファクターの値が全て0の場
合の(=リスクファクターに依存し
ない) PD の対数オッズ
★これをどういう形で表現するかが
このモデルのポイント・妙味の一つ
39. 38
参考文献
[1]Allison, P. D.(1982), Discrete time methods for the analysis of event
histories, Sociological Methodology Vol. 13, pp. 61-98
[2]Allison, P. D.(2010), Survival Analysis Using SAS: A Practical Guide
Second Edition, SAS Institute Inc.
[3]Cox, D. R.(1972), Regression models and life-tables, J. R. Statist. Soc.
B 34, 187-220.
[4]Efron, B.(1988), Logistic regression, survival analysis, and the Kaplan-
Meier curve, Journal of the American Statistical Association, Vol.83,
414–425.
[5]大橋靖雄・浜田知久馬(1995), 生存時間解析-SASによる生物統計, 東京大
学出版会
[6]辻谷将明・左近賢人(2005), 時間依存型共変量を伴う生存データの解析, 応
用統計学Vol. 34, No. 1, 15-29