• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
J. Rozante - Metrics for the Evaluation of Numerical Predictions
 

J. Rozante - Metrics for the Evaluation of Numerical Predictions

on

  • 849 views

 

Statistics

Views

Total Views
849
Views on SlideShare
340
Embed Views
509

Actions

Likes
0
Downloads
1
Comments
0

5 Embeds 509

http://dapa.ciat.cgiar.org 503
http://ciat.cgiar.org 2
http://ciatcorporate.staging.wpengine.com 2
http://dapablog.local 1
http://webcache.googleusercontent.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    J. Rozante - Metrics for the Evaluation of Numerical Predictions J. Rozante - Metrics for the Evaluation of Numerical Predictions Presentation Transcript

    • Métricas de Avaliações de Previsões Numéricas José Roberto Rozante
    • 1) Introdução.2) Por que avaliar as previsões numéricas?3) Como avaliar as previsões numéricas.4) Tipos de Avaliações.5) Página de Avaliação do CPTEC/INPE
    • 1) IntroduçãoAvaliar : testar o grau de correspondência entre asprevisões numéricas e as observações/análises.A idéia de avaliar as previsões tempo surgiu em1884 (Finley, 1884) . A partir da década 50 essaidéia foi incorporada a previsão numérica.A avaliação é uma das principais etapas duranteo processo de desenvolvimento/aperfeiçoamentode modelos numéricos .
    • 2) Por que avaliar as previsões numéricas? Melhorar o entendimento no que diz respeito àconfiabilidade, à sensibilidade e as limitações dosistema de previsão; Monitorar a qualidade das previsões ao longo dotempo;Melhorar a qualidade das previsões através deum melhor entendimento dos erros encontrados;Verificar o impacto de inserção de novasimplementações (física, dinâmica, resolução e etc ...)nos modelos numéricos.
    • 3) Como avaliar as previsões numéricas Avaliar contra análises Avaliar contra observações
    • Contra as análises Vantagens1) Pontos de grades;2) Facilidade na obtenção dos índices;3) Tamanho maior da amostra;4) Distribuição espacial;5) Não é necessário utilizar métodos de interpolaçõesou aproximação para pontos mais próximos. Desvantagens1) Erros embutidos na própria análises não serãodetectados;2) Não existe a possibilidade de avaliar aprecipitação.
    • Contra as observações Vantagens1) Em geral, possui maior confiabilidade;2) Em alguns dados, maior freqüência temporal;3) Menor custo para o armazenamento. Desvantagens1) Necessidade de um rigoroso controle de qualidade;2) Distribuição não homogênea;3) Escassez de dados sobre algumas regiões dodomínio (ex: oceanos e florestas);4) Necessidade de Interpolações ou aproximaçõespara o ponto de grade do modelo;5) Dificuldade maior no cálculo de índices.
    • 4) Tipos de AvaliaçõesAvaliação Objetiva - estabelece padrões de comportamentoentre as previsões e as observações que podem ser medidosatravés de números/índices.Avaliação Subjetiva - estabelece padrões decomportamento entre as previsões e as observações quepodem ser verificados através de fatosobserváveis/interferência humana.Avaliação-Semi Objetiva - estabelece padrões decomportamento entre as previsões e as observações quepodem ser verificados através de algoritmos numéricosjuntamente com a interferência humana.
    • 4a) Exemplos de Avaliações ObjetivasErro Médio (ME) - diferença entre a média daprevisão e a média das observações/análises. Indicatendências de superestimativas e subestimativas. 1 ME = (Fk  Ok ) n F= previsão O=observação/análiseExemplos Gráficos
    • 4a) Exemplos de Avaliações ObjetivasRaiz do Erro Quadrático Médio (RMSE) - raiz quadrada do valormédio do quadrado das diferenças entre a previsão e a observação.Indica a magnitude dos erros. RMSE =  (Fk  Ok )2 n F= previsão O=observação/análise Exemplos Gráficos
    • 4a) Exemplos de Avaliações ObjetivasCorrelação de Anomalia (AC) - Correlação linear entre asanomalias dos valores previstos e as anomalias das análises, ambascalculadas em relação a reanálises do NCEP.  C        C  CC FF AA            AC * 1 C   2  C        CC FF A  A 2   F= Previsão C=Climatologia A= Análises Exemplos Gráficos
    • 4a) Exemplos de Avaliações ObjetivasCorrelação de Pearson (r) - medida do grau de relação linear entreas previsões e observações.  F    n i  F  Ai  Ai i=1 COV(F, A) r= = var (F)  var (A)  F   A  n n 2 2 i F  i A i=1 i=1 F= Previsão A= Análises R>0 positiva r<0 negativa r=0 não dependem linearmenteExemplos Gráficos
    • 4a) QPF Índices quantitativos - precipitação Limiares (mm)‫‏‬ 0.254 2.540 6.53 12.7 19.05 25.4 38.1 50.8POD - relação do evento de chuva prevista corretamente POD= acom os eventos previstos correta ou incorretamente. (perf=1) a+cRAF - proporção de previsões de ocorrência de chuva RAF= bque na verdade não ocorreu (+ próx. 1 previsão ruim) a+bBIAS - razão simples das previsões de chuva com as BIAS= a+bchuvas observadas (<1 subestima. >1 superestima) a+c  ( a a R )‫‏‬ETS - definido a partir do threat score (TS) ETS ( a  b  c  a R )‫‏‬com objetivo retirar a tendência de acertos (a + b)(a + c)aleatórios (Mesinger e Black, 1992). aR = nExemplos Gráficos
    • 4b) Exemplo de Avaliação Subjetivaanálise análise Sistema Avaliado – Baixa Associada ao Sistema Frontal Modelo posição Fct-24 Fct-48 .. .. Eta 20km 30S-40W AC AD AT NP .... N. modelos
    • 4c)Avaliação Semi-Objetiva - Sistema Frontal Jun/jul 2009DANL/FCT = 300 km => acerto300 km > DANL/FCT <800km => adiantou300 km > DANL/FCT <800km => atrasou (latFCT < latANL)‫‏‬DANL/FCT > 800km => não previu
    • Obrigado !!!roberto.rozante@cptec.inpe.br
    • Finley,J. P.,1884:Tornado predictions. Amer. Meteor .J., 1, 85–88. Voltar
    • ETA 40 CATT-BRAMS T126 24 horas 48 horas
    • FCT-48hVOLTAR
    • ETA 40 CATT-BRAMS T126 24 horas 48 horas VOLTAR
    • VOLTAR
    • FCT-48hVOLTAR
    • FCT-48hVOLTAR
    • VOLTAR
    • VOLTAR
    • Altura Geopotencial CPTEC UKMet ECMWF AutráliaT062 T126 T213 voltar