Successfully reported this slideshow.
Upcoming SlideShare
×

# Backtesting

549 views

Published on

Published in: Education
• Full Name
Comment goes here.

Are you sure you want to Yes No
• Be the first to comment

• Be the first to like this

### Backtesting

1. 1. Backtesting Análise de Risco (7) R.Vicente 1
2. 2. Resumo Basle Traffic Light Teste de Proporção de Falhas (Kupiec POF) Tempo até Primeira Falha (Kupiec TUFF) Ponderação por tamanho de perda (Lopez) Tempo entre Falhas Bibliografia 2
3. 3. Basle Traffic Light ⎛N⎞ n P(n N = 250; q = 1%) = ⎜ ⎟ q (1 − q) N −n ⎝n⎠ 30% 25% P(n|N,q) 20% 15% 10% 5% 0% 0 1 2 3 4 5 6 7 8 9 10 11 12 n 3
4. 4. Basle Traffic Light Para intervalo de confiança = 99% # Exceções Prob. Cumulativa 100% 0 8,11% 1 28,58% 80% SUM(P(k|N,q);k<n) 2 54,32% 60% 3 75,81% 4 89,22% 40% 5 95,88% 20% 6 98,63% 7 99,60% 0% 8 99,89% 0 1 2 3 4 5 6 7 8 9 10 11 12 9 99,97% n 10 99,99% 11 100,00% 12 100,00% 13 100,00% 4
5. 5. Basle Traffic Light PETR4 EWMA Lambda=0,99 12% 8% 4% 0% -4% -8% -12% nov-01 fev-02 set-01 jul-02 ago-01 out-01 dez-01 jan-02 mar-02 mai-02 jun-02 ago-02 abr-02 EWMA Backtest 9% n=4 8% 7% 6% P&L 5% 4% 3% 2% 1% 1% 2% 3% 4% 5% 6% 7% 8% Previsão com 99% (unicaudal) 5
6. 6. Basle Traffic Light EWMA Lambda=0,96 PETR4 12% 8% 4% 0% -4% -8% -12% nov-01 fev-02 set-01 mar-02 abr-02 ago-01 out-01 mai-02 dez-01 jan-02 jun-02 jul-02 ago-02 EWMA Backtest 9% n=6 8% 7% 6% P&L 5% 4% 3% 2% 1% 1% 2% 3% 4% 5% 6% 7% 8% 9% Previsão com 99% (unicaudal) 6
7. 7. Basle Traffic Light EWMA Lambda=0,5 PETR4 12% 8% 4% 0% -4% -8% -12% nov-01 fev-02 ago-01 set-01 out-01 dez-01 jan-02 mar-02 abr-02 mai-02 jun-02 jul-02 ago-02 EWMA Backtest 9% n=10 8% 7% 6% P&L 5% 4% 3% 2% 1% 1% 3% 5% 7% 9% 11% 13% 15% 17% Previsão com 99% (unicaudal) 7
8. 8. Basle Traffic Light Medida paliativa para corrigir modelos rejeitados: aumentar coeficiente de confiança. EWMA Lambda=0,5# Exceções Prob. Cumulativa Confiança 0 8,11% 2,33 1 28,58% 2,33 12% 2 54,32% 2,33 8% 4% 3 75,81% 2,33 0% 4 89,22% 2,33 -4% -8% 5 95,88% 2,73 -12% nov-01 fev-02 ago-01 set-01 out-01 jan-02 mai-02 jun-02 ago-02 dez-01 mar-02 abr-02 jul-02 6 98,63% 2,83 7 99,60% 2,98 8 99,89% 3,08 EWMA Backtest 9 99,97% 3,18 19% 10 99,99% 3,33 17% 11 100,00% 3,33 15% 12 100,00% 3,33 P&L 13% 11% 13 100,00% 3,33 9% 7% 5% 3% 1% 1% 6% 11% 16% 8 Previsão com 99% (unicaudal)
9. 9. Proporção de Falhas Hipótese nula: Probabilidade estimada na amostra = 1% . n H 0 : p = p = = 0,01 ˆ N N= # de pontos e n=# de falhas observadas. Teste de razão de verossimilhança: ⎛ ⎞ 14 ⎜ 1% n (1 − 1%) N −n ⎟ ( ) 12 LR = −2 ln ⎜ N −n ⎟ 10 ⎜⎛ n ⎞ ⎛ n n⎞ ⎟ 8 LR ⎜ ⎜ ⎟ ⎜1 − ⎟ ⎟ 6 ⎝⎝ N ⎠ ⎝ N⎠ ⎠ 4 LR tem distribuição χ2 com 1 grau 2 0 de liberdade quando N →∞ 1 2 3 4 5 6 7 8 9 10 9 n
10. 10. Proporção de Falhas Com 95 % de confiança não rejeitamos a hipótese nula de p=1% se LR < LRMAX P( LR < LRmax ) = 95% 100% 14 90% 80% 12Chi 2 Acumulado 70% 10 60% 8 LR 50% 40% 6 30% 4 20% 10% 2 0% 0 0 2 4 6 8 10 1 2 3 4 5 6 7 8 9 10 LRMAX = 3,84 → n < 7 LR n 10
11. 11. Proporção de Falhas EWMA Lambda=0,96 12% 8% 4% 0% -4% -8% -12% fev-02 nov-01 ago-01 set-01 jan-02 mar-02 abr-02 jun-02 jul-02 out-01 dez-01 mai-02 ago-02 n=6 Não Rejeita Hipótese Nula. 11
12. 12. Tempo até a Primeira Falha Hipótese nula: Para q=1%, 1 falha a cada 100 dias. Alternativamente, o tempo médio para a primeira falha na amostra é de 100 dias. 1 H0 : p = p = ˆ = 0,01 1 ν probabilidade de falha em um dia. ν ⎛ ⎞ ⎜ ⎟ 0,01(1 − 0,01)ν −1 ⎟ LRTUFF = −2 ln ⎜ ⎜ ⎛ 1 ⎞⎛ 1 ⎞ν −1 ⎟ ⎜ ⎜ ⎟⎜ 1 − ⎟ ⎟ ⎝ ⎝ ν ⎠⎝ ν ⎠ ⎠ LR tem distribuição χ2 com 1 grau de liberdade quando N →∞ 12
13. 13. Tempo até a Primeira FalhaCom 95% de confiança ν > ν MIN e ν < ν MAX P ( LR < LRMAX ) = 95% 8 6 LR 4 2 0 2 42 82 122 162 202 242 282 322 362 402 ν LRMAX = 3,84 → 7 < ν < 438 13
14. 14. Tempo até a Primeira Falha EWMA Lambda=0,96 Lambda=0,9612% 8% 4% 0%-4%-8%-12% fev-02 nov-01 set-01 ago-01 out-01 ago-02 dez-01 mar-02 abr-02 mai-02 jul-02 jan-02 jun-02 ν = 18 Não rejeita Hipótese Nula. 14
15. 15. Função de Magnitude de Perda Hipótese Nula: Os log-retornos de 1 dia têm distribuição condicional normal com média nula. ⎧ R − VaR ⎪ j ⎪ ⎪ j ⎪ VaR , R j > VaR j Cj = ⎨ ⎪ ⎪ j ⎪ ⎪ 0, c.c. ⎩ 250 C250 = ∑ C j j =1 15
16. 16. Função de Magnitude de Perda Dada a hipótese nula C 250 pode ser obtido via simulação utilizando am=ostras i.i.d. de uma distribuição Normal N(0,1): 150 100 50 0 0 0. 5 1 1. 5 2 2. 5 3 Com 95% de confiança C250 < 1, 2 16
17. 17. Função de Magnitude de Perda EWMA Lambda=0,9612% 8% 4% 0%-4%-8%-12% fev-02 nov-01 set-01 ago-01 out-01 mai-02 ago-02 dez-01 mar-02 abr-02 jul-02 jan-02 jun-02 1% 35% 35% 28% 52% e 79%C250 = 2,31 Rejeita Hipótese Nula com 95 % de 17 confiança
18. 18. Tempo Entre Falhas Hipótese nula: As falhas são independentes e para q=1%, o tempo médio entre falhas na amostra é de 100 dias. ⎛ ⎞ ⎛ ⎞ ⎜ ν k −1 ⎟ ⎜ ν1 −1 ⎟ n ⎜ 0,01(1 − 0,01) ⎟ ⎜ 0,01(1 − 0,01) ⎟ LR = −∑ 2 ln ⎜ ν k −1 ⎟ − 2 ln ⎜ ν1 −1 ⎟ k =2 ⎜ ⎛ 1 ⎞⎛ 1 − 1 ⎞ ⎟ ⎜ ⎛ 1 ⎞⎛ 1 − 1 ⎞ ⎟ ⎜ ⎜ ν ⎟⎜ ν ⎟ ⎟ ⎜ ⎜ ν ⎟⎜ ν ⎟ ⎟ ⎝ ⎝ k ⎠⎝ k ⎠ ⎠ ⎝ ⎝ 1 ⎠⎝ 1⎠ ⎠ νk é o tempo entre as falhas k-1 e k.LR tem distribuição χ2 com n+1 graus de liberdade quando N →∞ 18
19. 19. Tempo Entre Falhas 100% 80% Chi 2 Acumulado 60% 40% 20% 0% 0 5 10 15 LR Com 95% de confiança LR<12,6. 19
20. 20. Tempo Entre Falhas EWMA Lambda=0,9612% 8% 4% 0%-4%-8%-12% fev-02 nov-01 set-01 ago-01 out-01 ago-02 dez-01 mar-02 abr-02 mai-02 jul-02 jan-02 jun-02 17 17 43 143 dias dias dias dias 1 dia 4 diasLR >18 Rejeita a Hipótese nula com 95% de confiança 20
21. 21. Sumário S S S Proporção de Tempo Magnitude Falhas entre falhas ? OK ? ? N N N VaR Correlação entre Caudas pesadas subestimado Falhas 21
22. 22. Bibliografia• Jorion P., Value at Risk, Irwin, 1997.• RiskMetrics Technical Document (www.riskmetrics.com).• Basle Committee on Banking Supervision, “Supervisory Framework for the use ofBacktesting in Conjunction with the Internal Models Approach to Market RiskCapital Requirements”, Jan/96, www.bis.org Leituras ComplementaresHaas, Marcus, New Methods in Backtesting, 2001, www.gloriamundi.orgBlanco, C. e Ihle, G., How Good is Your VaR ? Using Backtesting to AssessSystem Performance, Financial Engineering News nr. 11, http://fenews.com 22