201707srws第六回その2メタアナリシス・異質性・出版バイアス
•Download as PPTX, PDF•
1 like•3,155 views
堺と倉敷で行っている2017年系統的レビュー研究計画書作成ワークショップ第6回その2のスライドです。 メタアナリシス・異質性・出版バイアスの解説をしています。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 201707srws第六回その2メタアナリシス・異質性・出版バイアス
Similar to 201707srws第六回その2メタアナリシス・異質性・出版バイアス (20)
More from SR WS
More from SR WS (20)
Recently uploaded
Recently uploaded (20)
201707srws第六回その2メタアナリシス・異質性・出版バイアス
- 1. 系統的レビュー研究計画書作成ワークショップ 第六回 その2 メタ・アナリシス・異質性・出版バイアス 尼崎総合医療センター Hospital Care Research Unit 片岡裕貴 辻本啓 京都大学大学院 辻本康 精治寮病院 阪野正大 岡山県精神科医療センター 宋龍平 京都大学大学院医学研究科社会健康医学系専攻医療疫学分野 吉岡貴史 安房地域医療センター 北本晋一 亀田総合病院集中治療科 佐藤明 山本良平 安田英人 近畿中央胸部疾患センター呼吸器内科 香川智子 亀田総合病院麻酔科 重城聡 亀田ファミリークリニック館山 宮本侑達
- 2. この動画の目標 ・メタ・アナリシスの仕組みについて説明できる ・異質性について説明できる ・出版バイアスについて説明できる each study Odds ratio and 95%CI Z-Value p-Value 0 1.960 0.050 4 0.931 0.352 0 0.000 1.000 0 1.242 0.214 3 0.587 0.557 0 2.189 0.029 0.5 1 2 Favours A Favours B
- 3. QUIZ：以下のうち正しいのは？ 通常のメタアナリシスでは同じPICOをもつ 複数の研究の結果を • 重み付けをせず統合する • それぞれの研究のp値の逆数で重み付けし て統合する • それぞれの研究のRoBの程度を重み付け して統合する • それぞれの研究のばらつきの程度を重み 付けして統合する 3
- 4. この動画の目標 ・メタ・アナリシスの仕組みについて説明できる ・異質性について説明できる ・出版バイアスについて説明できる each study Odds ratio and 95%CI Z-Value p-Value 0 1.960 0.050 4 0.931 0.352 0 0.000 1.000 0 1.242 0.214 3 0.587 0.557 0 2.189 0.029 0.5 1 2 Favours A Favours B
- 7. メタ・アナリシス
- 9. メタ・アナリシスをする前に Pairwise vs multiple
- 10. メタ・アナリシスをする前に Participants vs studies
- 11. 単純に統合するだけでは… 有効 治療 25/30=83.3% プラセボ 44/56=78.6% 治療 31/54=57.4% プラセボ 17/31=54.8% 試験① 試験②
- 12. シンプソンのパラドックス 有効 治療 25/30=83.3% プラセボ 44/56=78.6% 治療 31/54=57.4% プラセボ 17/31=54.8% 試験① 試験② 有効 治療 56/84=66.7% プラセボ 61/87=70.1% 試験①+②
- 14. 重みづけ 分散の逆数を使うことが多い。 ばらつきの小さいものに大きな重み。 研究 介入 プラセボ 対数OR 分散 重み ① 12/65 16/65 -0.366 0.185 5.402 ② 8/40 10/40 -0.288 0.290 3.453 ③ 25/400 80/400 -1.322 0.058 17.155
- 15. Forest plot
- 16. 今日の目標 ・メタ・アナリシスについて説明できる ・異質性について説明できる ・出版バイアスについて説明できる each study Odds ratio and 95%CI Z-Value p-Value 0 1.960 0.050 4 0.931 0.352 0 0.000 1.000 0 1.242 0.214 3 0.587 0.557 0 2.189 0.029 0.5 1 2 Favours A Favours B
- 20. 概念的異質性・統計学的異質性 概念的異質性 臨床的異質性 患者背景、治療の違い 方法論的異質性 risk of bias、脱落の程度・扱い方 統計学的異質性 概念的異質性の結果 (偶然)
- 24. 統計学的異質性の検討法 フォレストプロット Odds ratio and 95%CI Value 0.050 0.352 1.000 0.214 0.557 0.029 0.5 1 2 Favours A Favours B dy name Statistics for each study Odds ratio and 95%CI Odds Lower Upper ratio limit limit Z-Value p-Value 1.200 1.000 1.440 1.960 0.050 0.800 0.600 1.067 -1.520 0.128 1.500 1.100 2.045 2.562 0.010 0.700 0.600 0.817 -4.535 0.000 1.800 1.500 2.160 6.319 0.000 1.125 0.762 1.661 0.592 0.554 0.5 1 2 Favours A Favours B Analysis
- 28. 統計学的異質性の検討法 I 統計量 I2=(Q-df)/Q×100 df: degree of freedom 0%-40% might not be important 30%-60% moderate 50%-90% substantial 75%-100% considerable
- 30. 今日の目標 ・メタ・アナリシスについて説明できる ・異質性について説明できる ・出版バイアスについて説明できる each study Odds ratio and 95%CI Z-Value p-Value 0 1.960 0.050 4 0.931 0.352 0 0.000 1.000 0 1.242 0.214 3 0.587 0.557 0 2.189 0.029 0.5 1 2 Favours A Favours B
- 31. 報告バイアス 統計学的に有意な結果は 報告されやすい。 出版バイアス アウトカム報告バイアス 引用バイアス 言語バイアス タイムラグバイアス
- 33. 出版バイアスを起こりにくくする因子 JAMA. 2003;290(4):495-501. doi:10.1001/jama.290.4.495 • 有意差 • オーラルセッションでの発表 • 製薬会社による資金提供
- 34. 多くの領域で出版バイアスが報告されている。 一般内科 公衆衛生 救命救急 補完代替医療 動物実験 Song et al. Health Technol Assess 2010;14:iii, ix-xi, 1-193 Sena et al. PLoS Biol 2010;8:e1000344 → 出版された結果のみで結論を出すと、 判断を誤る可能性。
- 35. TNF阻害薬 リウマチ分野を含め適応をとっている 治療薬であるが、2010年の時点で、 ClinicalTrials.govに登録された188本 の試験のうち34%しか結果が報告され ていない Ioannidis et al. BMJ 2010;341:c4875 doi: 10.1136/bmj.c4875 それらが有意だから治療は効くと言え ますか？
- 36. 出版バイアスの検討法
- 38. Funnel plotの非対称性の検定 Egger’ test Begg’s test Harbord’s test Deeks’ test などなど
- 39. Funnel plot が非対称(small study effect)である理由 選択バイアス 出版バイアス アウトカム報告バイアス Ｎの小さな研究で方法論の質が低い 真の異質性 アーチファクト 偶然
- 40. Contour-enhanced funnel plot (contour: 輪郭、外形)
- 41. 今日の目標 ・メタ・アナリシスについて説明できる フォレストプロットについて説明できる ・異質性について説明できる ・出版バイアスについて説明できる funnel plot(漏斗プロット)について説明で きる each study Odds ratio and 95%CI Z-Value p-Value 0 1.960 0.050 4 0.931 0.352 0 0.000 1.000 0 1.242 0.214 3 0.587 0.557 0 2.189 0.029 0.5 1 2 Favours A Favours B
- 42. QUIZ：以下のうち正しいのは？ 通常のメタアナリシスでは同じPICOをもつ 複数の研究の結果を • 重み付けをせず統合する • それぞれの研究のp値の逆数で重み付けし て統合する • それぞれの研究のRoBの程度を重み付け して統合する • それぞれの研究のばらつきの程度を重み 付けして統合する 46
- 43. QUIZ：以下のうち正しいのは？ 通常のメタアナリシスでは同じPICOをもつ 複数の研究の結果を • 重み付けをせず統合する • それぞれの研究のp値の逆数で重み付けし て統合する • それぞれの研究のRoBの程度を重み付け して統合する • それぞれの研究のばらつきの程度を重み 付けして統合する 47
- 44. References • Systematic Reviews in Health Care, Egger M, Smith GD, Altman DG • Chapter 9 and 10, Cochrane Handbook for Systematic Reviews of Intervention, Higgins JP • Applied Meta-Analysis with R, Chen DG, Peace KE
Editor's Notes
- 本講義の目標です
- 本講義の目標です
- まず繰り返し述べていることだと思いますが、系統的レビューとメタアナリシスは別物だということを念頭においてください。 系統的レビューは科学的に事前に定められた方法で集められた文献をレビューすること メタアナリシスはいくつかの研究の結果を統合することでした。
- メタアナリシスでは２つ以上の別の試験の結果を統計的に統合していきますが、何を統合しているのかという点も重要です。 例えば左側のようにりんごとオレンジのような違うものをただくっつけただけというのは、あまり良くないですし、何を見ているのかわからなくなります。 メタアナリシスの注意点としてはこのような違うものを混ぜ合わせて、良く分からない結果を出してしまうくらいならしない方がマシです 右側のようにうまく混ぜ合わせることができるものを統合することが重要です。 https://pixabay.com/ja/%E3%82%A2%E3%83%83%E3%83%97%E3%83%AB-%E3%82%AA%E3%83%AC%E3%83%B3%E3%82%B8-%E3%83%9F%E3%83%83%E3%82%AF%E3%82%B9-%E3%83%95%E3%83%AB%E3%83%BC%E3%83%84-%E9%A3%9F%E5%93%81-%E5%81%A5%E5%BA%B7-%E6%96%B0%E9%AE%AE%E3%81%AA-531163/ https://en.wikipedia.org/wiki/Drink_mixer
- 実際にメタアナリシスをした結果というのはこの図のように表されます。詳しい説明は後ほど行います。
- メタアナリシスの利点としては、1つの研究だけでは結論が出なかった研究も、同様の研究を集めることでより統計的パワーを持ち精度のよい推定が得られる可能性があります。 また、異なる研究結果の原因が一体なんなのかを探索的に考察することができます。
- メタアナリシスをする前にメタアナリシスのいくつかの種類についてご説明します。 まずこの図のように、メタアナリシスには一つの比較をするものと、複数の比較をするものがあります。後者はネットワークメタアナリシスと呼ばれます。 今回は前者の一つの比較を取り上げます
- 次に、メタアナリシスで統合するものの基本単位が研究に含まれる個人なのか、それとも１つの研究が基本単位なのかでもメタアナリシスの手法は違ってきます。 前者はIPD(individual patient data)を用いたメタ・アナリシスと呼ばれます。 今回扱うのは後者です。 https://pixabay.com/ja/%E8%88%B9%E5%93%A1-%E7%B7%8F%E5%93%A1-%E6%B5%B7%E8%BB%8D-%E8%BB%8D%E4%BA%8B-%E4%BA%BA-%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97-%E7%94%B7%E6%80%A7-%E5%A5%B3%E6%80%A7-%E7%BE%A4%E8%A1%86-903044/ https://pixabay.com/ja/%E3%82%B1%E3%83%B3%E3%83%96%E3%83%AA%E3%83%83%E3%82%B8-%E5%BB%BA%E7%89%A9-%E6%A7%8B%E9%80%A0-%E3%82%A2%E3%83%BC%E3%82%AD%E3%83%86%E3%82%AF%E3%83%81%E3%83%A3-%E9%80%9A%E3%82%8A-%E4%BD%8F%E5%AE%85-66714/
- 続いて研究を統合するときに、単純に足し合わせてしまうと生じる数字のマジックを紹介します。 ここにお示しするような試験があるとします。分母が割付者数、分子がアウトカム発生数です。 どちらの試験も治療群の方が効果があったという報告でした。 しかし、両群の割付数とアウトカム発生数を単純に足すと
- 不思議なことにプラセボ群の方がアウトカム発生割合が多くなり、効果が高いということになってしまいます。 これをシンプソンのパラドックスといいます。
- なぜこのようなことが起こるのかというと、研究毎の推定精度、つまりこれはサンプルサイズ(N)に依存しますが、これを考慮にいれていないということがまず挙げられます。研究の精度に合わせ重み付けをする必要があったのですね。 そして、治療アームの数ではなく効果サイズで検討しないといけません。
- 重み付けについては、分散の逆数を使うことが多いです。 分散が小さい、つまりサンプルサイズが大きく信頼区間が狭いような推定精度が高い研究により大きな重みがつくようになります。
- 目にした方も多いフォレストプロットです。今回は２値アウトカムのフォレストプロットですので、左からアウトカム数、トータルのn数、次にあるのがweightで各研究毎の重みになります。そして、効果量であるリスク比が記載され、randomとありますので、ランダム効果モデルで統合しているという意味です。 そしてその右側に点推定値が青い点、95%信頼区間が黒い線で表されています。この点推定値を示す青い点の大きさが重み、つまりサンプルサイズを反映しています。各研究を縦に見ていき最後にひし形で表されるのが、メタアナリシスした結果です。ひし形の中心が点推定値、横幅が95%信頼区間を表すと決まっています。
- さて、ここまでがメタアナリシスを行う過程でした。 少し難しかったと思いますが、後でRevManというソフトでやってみると案外簡単にできると感じることができると思います。 続きまして、異質性というものについて説明していきたいと思います。
- 系統的レビューを行い、2つ以上の研究をレビューしたら、必ずメタアナリシスをしないといけないわけではありません。 メタアナリシスをするかしないかという判断については、その異質性、そして前回お話ししたRoBがあります。個々の研究でバイアスの程度がどのくらいかというものを加味する必要があります。さらにこの後お話しする報告バイアスというものを考慮して、結果を統合するかしないかということを決めていきます。混ぜていいかどうかということは結局のところ各研究が似ていると考えるか、似ていないと考えるかという価値判断に依存します。 https://en.wikipedia.org/wiki/Apples_and_oranges
- さて、個々の研究の効果サイズが違うときに、それがなぜ起こっているのかという理由としては １つめは単なる偶然ということが挙げられます。 もう１つの原因として、似ていると思ったものが実は似ておらず、全く違うものをみているという可能性があります。これが異質性と呼ばれるものです。
- 異質性には大きく分けて２つの概念があります。１つは概念的異質性で、これは例えばりんごとみかんは同じものでしょうか？聞かれたときに、果物というカテゴリーでの研究の場合は同じという判断になります。しかし、柑橘類というカテゴリーで研究したいと考えている場合はそこにリンゴを入れることはマズいですね。この概念的異質性というものは、みなさんがどのようなカテゴリーで研究したいのか、というものを念頭におき、臨床的価値判断つまりclinical expertiseで判断するということになります。一方で統計学的異質性とはでてきた数字から判断する異質性です。どちらが重要かと言いますと、ここまでのお話からお分かりの通り、まずは概念的異質性を考えることが極めて重要です。
- これらの異質性をもう少し細かくみていきます。概念的異質性には臨床的異質性と方法論的異質性があります 臨床的異質性は例えばPやIといった患者背景、治療での異質性です。 方法論的異質性は研究のやり方自体による異質性のことを指し、risk of biasの違いなどよる異質性です。 もう１つは統計学的異質性です。これは概念的異質性の結果として あるいは偶然の結果として異質性がどの程度か統計学的手法を用いて検討するものです。
- 概念的異質性について重要なこととして、あらかじめprotocolで配慮が必要だということです。 明らかに異質性が高いものについては、別に統合する、一方だけ統合する、統合しないなどいった対応を事前に決めておくことが重要です。 例えば、ある薬を子供に投与した場合と大人に投与した場合は、おそらく異質性があると考えられますね その場合は、子供の結果と大人の結果をそれぞれ別々に統合するといったようなことを、あらかじめ決めておきましょう。
- 統計学的異質性は通常概念的異質性の結果として生じると考えられてはおりますが、概念的異質性があると判断されても統計学的異質性が計算結果としてないという結果になったり、その逆もあります。
- 統計学的異質性の検討方法についてはここにあげたものがあります。
- まずフォレストプロットです。フォレストプロットは先ほどご説明したとおり、点推定値と、95%信頼区間をプロットしていった図になりますが、 この２つの図でどちらが異質性が高いとと思われますか？ 当然、右の図の方が異質性が高いです。信頼区間の重なりが多いのか少ないのかといったところをvisualで判断します。
- 次にQ統計量を用いて異質性を判断する方法がありますが これは、、、、という注意点があります。
- 検出力が１次研究数に依存するということはどういうことかというと、 検出力、つまり本当は異質性があるものをないと判断してしまう可能性がメタアナリシスに含まれる１次研究数に依存し、 研究数が少ないとそれだけで異質性なしと判断される恐れがあります。逆に研究数が多いと有意に異質性があると出やすくなります。 メタアナリシスでは通常そんなに多くの数の研究数を取り扱うことはないため、有意ととるカットオフを0.05ではなく、0.1にしているケースが多いです。
- また、異質性に対し、非定量的で、異質性があるとされても、一体どの程度の異質性があるかはわからないということに注意してください。 https://en.wikipedia.org/wiki/Emperor_penguin https://pixabay.com/ja/%E3%83%9A%E3%83%B3%E3%82%AE%E3%83%B3-linux%E3%81%AE-%E3%83%9E%E3%82%B9%E3%82%B3%E3%83%83%E3%83%88-%E6%BC%AB%E7%94%BB%E3%81%AE%E3%82%AD%E3%83%A3%E3%83%A9%E3%82%AF%E3%82%BF%E3%83%BC-%E5%9B%B3-%E7%B7%91-8641/
- 続いてI統計量、I２と呼ばれることが多いですが、これは定量的に異質性を判断することができ、どの程度異質性があるかを判断することができます。
- 統計学的異質性が認められた場合、メタアナリシスすべきではありません。 また、年齢に異質性があるのではないか、投薬量に異質性があるのではないかなどと仮説を立てた上で、サブグループ解析といって別々のグループに分けて解析するといった方法で異質性の原因を探索することができます。 この辺りはややこしいので、またみなさんがプロトコルを完成させた時点で改めて我々と相談させていただければと思います。
- 本日の最後の内容の出版バイアスについてお話します。
- 報告バイアスとは、研究の報告が研究結果の方向性によって影響を受けるときに生じます。 すでに分かっていることとして、統計学的に有意の結果が報告されやすいということが言われています。
- 出版バイアスというのは、同じPICOをもつ研究が複数あったときに、結果が有意なものが選択的に出版されるということによるバイアスです。 アウトカム報告バイアスというものは１つの研究の中で、有意な結果が選択的に報告されることを指します。
- 出版バイアスを起こりにくくする因子として、既存のエビデンスとしては…
- また、ここに挙げた多くの領域で出版バイアスが報告されています。
- 例えば、私が研修医だった2010年頃にTNF阻害薬はリウマチ分野を含め適応をとっていましたし、実際に使われていました。 しかし、実はその時点で、、、 これは非常に大きな問題です。検索して出てきた論文の結果だけで、結論を出すと判断を誤ることがあるということです。
- ではこの出版バイアスを検討するにはどうすればよいかというと、 １つはClinicalTrials.govやICTRPといった臨床試験の登録サイトでみなさんのリサーチクエスチョンを検索して、実際に臨床試験として登録はされているけれども出版されていない試験はないかを確認することになります。今は通常の雑誌であれば臨床試験として登録していないと、そもそも出版しないというルールが決まっていますので、通常臨床試験を行う前に登録サイトに登録がなされています。 もう１つはfunnel plotと呼ばれる方法で、みなさんが検索して出てきた結果をプロットし、偶然よりも大きな偏りをもって結果が報告されているかどうかを検討するというやり方です。
- Funnel plotでは通常横軸が効果量、縦軸が対数効果量の標準誤差を取ります。 実際に報告されているものだけをプロットすると右側になりますが、これは明らかにORが高い研究の報告がされていないということが予想されます。 そして、報告されていない結果を含めると左のように左右対称になります。 まずは目でみて、左右対称がないかを判断します。
- このfunnel plotを目で見るだけではなく、数字で検定したいという場合はこれらの方法があります。
- Funnel plotが非対称の理由としては、 小規模な研究で方法論、methodの質が低かった 異質性があった 偶然などが知られています。
- 他にもやり方の変えたfunnel plotを出すといったやり方がされることもあります。 これについてはまた実際にやるときにご相談させていただければと思います。
- 今日のお話の復習です。 まず、メタアナリシスとは複数の研究の結果を統合することでした。 フォレストプロットとは効果量とその95%信頼区間、そしてそのサンプルサイズが示されたプロットでした。 異質性はりんごとみかんを一緒にするのか、それとも別にするのかということを事前に決めておくということ。 出版バイアスとは、よかった結果だけを報告するというバイアスのことで、それを検証する方法としては、臨床試験登録サイトを検索することや、funnel plotを書いてその非対称性を検討することが挙げられました。
- リファレンスです。
- そして元スライドをご提供いただいた神戸大学の大西先生へ感謝申し上げます。