Your SlideShare is downloading. ×
0
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
J. Rozante - Metrics for the Evaluation of Numerical Predictions
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

J. Rozante - Metrics for the Evaluation of Numerical Predictions

757

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
757
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Métricas de Avaliações de Previsões Numéricas José Roberto Rozante
  • 2. 1) Introdução.2) Por que avaliar as previsões numéricas?3) Como avaliar as previsões numéricas.4) Tipos de Avaliações.5) Página de Avaliação do CPTEC/INPE
  • 3. 1) IntroduçãoAvaliar : testar o grau de correspondência entre asprevisões numéricas e as observações/análises.A idéia de avaliar as previsões tempo surgiu em1884 (Finley, 1884) . A partir da década 50 essaidéia foi incorporada a previsão numérica.A avaliação é uma das principais etapas duranteo processo de desenvolvimento/aperfeiçoamentode modelos numéricos .
  • 4. 2) Por que avaliar as previsões numéricas? Melhorar o entendimento no que diz respeito àconfiabilidade, à sensibilidade e as limitações dosistema de previsão; Monitorar a qualidade das previsões ao longo dotempo;Melhorar a qualidade das previsões através deum melhor entendimento dos erros encontrados;Verificar o impacto de inserção de novasimplementações (física, dinâmica, resolução e etc ...)nos modelos numéricos.
  • 5. 3) Como avaliar as previsões numéricas Avaliar contra análises Avaliar contra observações
  • 6. Contra as análises Vantagens1) Pontos de grades;2) Facilidade na obtenção dos índices;3) Tamanho maior da amostra;4) Distribuição espacial;5) Não é necessário utilizar métodos de interpolaçõesou aproximação para pontos mais próximos. Desvantagens1) Erros embutidos na própria análises não serãodetectados;2) Não existe a possibilidade de avaliar aprecipitação.
  • 7. Contra as observações Vantagens1) Em geral, possui maior confiabilidade;2) Em alguns dados, maior freqüência temporal;3) Menor custo para o armazenamento. Desvantagens1) Necessidade de um rigoroso controle de qualidade;2) Distribuição não homogênea;3) Escassez de dados sobre algumas regiões dodomínio (ex: oceanos e florestas);4) Necessidade de Interpolações ou aproximaçõespara o ponto de grade do modelo;5) Dificuldade maior no cálculo de índices.
  • 8. 4) Tipos de AvaliaçõesAvaliação Objetiva - estabelece padrões de comportamentoentre as previsões e as observações que podem ser medidosatravés de números/índices.Avaliação Subjetiva - estabelece padrões decomportamento entre as previsões e as observações quepodem ser verificados através de fatosobserváveis/interferência humana.Avaliação-Semi Objetiva - estabelece padrões decomportamento entre as previsões e as observações quepodem ser verificados através de algoritmos numéricosjuntamente com a interferência humana.
  • 9. 4a) Exemplos de Avaliações ObjetivasErro Médio (ME) - diferença entre a média daprevisão e a média das observações/análises. Indicatendências de superestimativas e subestimativas. 1 ME = (Fk  Ok ) n F= previsão O=observação/análiseExemplos Gráficos
  • 10. 4a) Exemplos de Avaliações ObjetivasRaiz do Erro Quadrático Médio (RMSE) - raiz quadrada do valormédio do quadrado das diferenças entre a previsão e a observação.Indica a magnitude dos erros. RMSE =  (Fk  Ok )2 n F= previsão O=observação/análise Exemplos Gráficos
  • 11. 4a) Exemplos de Avaliações ObjetivasCorrelação de Anomalia (AC) - Correlação linear entre asanomalias dos valores previstos e as anomalias das análises, ambascalculadas em relação a reanálises do NCEP.  C        C  CC FF AA            AC * 1 C   2  C        CC FF A  A 2   F= Previsão C=Climatologia A= Análises Exemplos Gráficos
  • 12. 4a) Exemplos de Avaliações ObjetivasCorrelação de Pearson (r) - medida do grau de relação linear entreas previsões e observações.  F    n i  F  Ai  Ai i=1 COV(F, A) r= = var (F)  var (A)  F   A  n n 2 2 i F  i A i=1 i=1 F= Previsão A= Análises R>0 positiva r<0 negativa r=0 não dependem linearmenteExemplos Gráficos
  • 13. 4a) QPF Índices quantitativos - precipitação Limiares (mm)‫‏‬ 0.254 2.540 6.53 12.7 19.05 25.4 38.1 50.8POD - relação do evento de chuva prevista corretamente POD= acom os eventos previstos correta ou incorretamente. (perf=1) a+cRAF - proporção de previsões de ocorrência de chuva RAF= bque na verdade não ocorreu (+ próx. 1 previsão ruim) a+bBIAS - razão simples das previsões de chuva com as BIAS= a+bchuvas observadas (<1 subestima. >1 superestima) a+c  ( a a R )‫‏‬ETS - definido a partir do threat score (TS) ETS ( a  b  c  a R )‫‏‬com objetivo retirar a tendência de acertos (a + b)(a + c)aleatórios (Mesinger e Black, 1992). aR = nExemplos Gráficos
  • 14. 4b) Exemplo de Avaliação Subjetivaanálise análise Sistema Avaliado – Baixa Associada ao Sistema Frontal Modelo posição Fct-24 Fct-48 .. .. Eta 20km 30S-40W AC AD AT NP .... N. modelos
  • 15. 4c)Avaliação Semi-Objetiva - Sistema Frontal Jun/jul 2009DANL/FCT = 300 km => acerto300 km > DANL/FCT <800km => adiantou300 km > DANL/FCT <800km => atrasou (latFCT < latANL)‫‏‬DANL/FCT > 800km => não previu
  • 16. Obrigado !!!roberto.rozante@cptec.inpe.br
  • 17. Finley,J. P.,1884:Tornado predictions. Amer. Meteor .J., 1, 85–88. Voltar
  • 18. ETA 40 CATT-BRAMS T126 24 horas 48 horas
  • 19. FCT-48hVOLTAR
  • 20. ETA 40 CATT-BRAMS T126 24 horas 48 horas VOLTAR
  • 21. VOLTAR
  • 22. FCT-48hVOLTAR
  • 23. FCT-48hVOLTAR
  • 24. VOLTAR
  • 25. VOLTAR
  • 26. Altura Geopotencial CPTEC UKMet ECMWF AutráliaT062 T126 T213 voltar

×