201712 srws第五回robの評価
•Download as PPTX, PDF•
2 likes•1,518 views
系統的レビュー研究計画書作成ワークショップの第五回は、risk of bias評価についてご説明します。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 201712 srws第五回robの評価
Similar to 201712 srws第五回robの評価 (20)
More from SR WS
More from SR WS (13)
Recently uploaded
Recently uploaded (10)
201712 srws第五回robの評価
- 1. 系統的レビュー研究計画書作成ワークショップ 第五回 個々の文献の質の評価 精治寮病院 阪野正大 尼崎総合医療センター Hospital Care Research Unit 辻本啓 片岡裕貴 京都大学大学院 辻本康 岡山県精神科医療センター 宋龍平 亀田総合病院集中治療科 山本良平 安田英人 近畿中央胸部疾患センター呼吸器内科 香川智子 亀田総合病院麻酔科 重城聡 亀田ファミリークリニック館山 宮本侑達
- 3. 前回の復習:MEDLINE PubMedでの注意 1. 前方一致は*のみ(400パターンまで許容) 2. ワイルドカードは使えない 3. 近接演算子はつかえない 4. サーチタグが無いとAutomatic Term Mappingが作動 5. “and”や”or”などは必ず大文字で使用 3
- 4. 前回の復習: 引用検索とは 1. 診療ガイドラインが見つかったら、関連 する記述に関する参考文献を見つける (＝二次文献のリファレンスチェック) 2. 見つかった参考文献を”引用している文 献”をGoogle scholarを用いて行います （＝被引用検索） 3. 最終スクリーニングで組み入れになった 文献の参考文献を見つける (＝組み入れ 文献のリファレンスチェック) 4
- 5. SR＆MAの全体像 5 構造化された疑問 系統的な検索 ・データベースの選択 ・検索式の作成 ・文献の選択基準 ・事前登録 漠然とした疑問 選択文献を対象とした 批判的吟味 ・事前に規定した 評価基準(Risk of bias) 発表 結果の統合とまとめ (=meta-analysis) 第一回 第二ー四回 第五回第五－七回第八,九回
- 6. 6 第五回 質の評価
- 7. QUIZ 割り付けの隠蔽においてlow risk of bias であるものを選んでください 1. 透ける封筒 2. 中央割付 3. 表に連続番号が振ってある、透けない、 封をした封筒 7
- 8. 今回取り扱う”質”とは 1. リサーチクエスチョンに対して、その研 究がどれだけバイアスのない正しい答え を導いているか (内的妥当性) 2. 研究結果を他の集団へ適用するために、 適切なリサーチクエスチョンを投げかけ ているか (外的妥当性) 8
- 9. Risk of BiasとGRADE 同じPICOを持つ個々の研究を評価するのが Risk of Bias 同じPICOを持つ研究をメタ・アナリシスし て出てきた結果に対して、精度や外的妥当 性(=非直接性)を加味して エビデンスの総体を評価するのが 9
- 10. 例えば 10
- 11. 今日の目標 • Risk of Bias tableの作り方が分かる • Plagiarismの避け方が分かる 11
- 12. 介入研究：7つのドメイン 1. ランダム割り付けの手順の評価 (selection bias) 2. 割り付け隠蔽の評価 (selection bias) 3. 患者と医療者の盲検方法の評価 (performance bias) 4. アウトカム評価者の盲検の評価(detection bias) 5. 欠測アウトカムの評価(attrition bias) 6. 報告バイアスの評価(reporting bias) 7. その他のバイアス評価 12
- 13. 評価は3種類 1. High Risk of Bias 2. Low Risk of Bias 3. Unclear 可能な限り、HighまたはLowに分ける どうしても判断できない時のみUnclear Unclearの方がHigh riskより良いということで はないので注意 13
- 15. 介入研究：7つのドメイン：フェーズと評価対象ごと 15 Cochrane handbook for Systematic Reviews of Interventions ランダムの手順の評価 割り付け隠蔽の評価 選択バイアス の評価 対象者と医療者 のマスク化 評価者の盲検 欠測アウトカムの評価 報告バイアスの評価 対象患者 割り付け 介入群 コントロール群 アウトカム評価 アウトカム評価 アウトカムの報告
- 16. 割り付けの順序の評価 (selection bias) ランダム割り付けの作成の評価 (Random sequence generation) Low riskの例) コイントス、乱数表、統計ソフ トでの乱数発生 High riskの例) 曜日、誕生日、カルテ番号 16
- 17. 割り付けの隠蔽の評価(selection bias) 割り付けが隠蔽されているか =割り付けが決まった後で介入開始までに割り付け が分かってしまう方法を取っていないか (Random concealment) High riskの例） • 透ける封筒（割り付けがわかってしまう） Low riskの例) • 中央割付 • 表に連続番号が振ってある、透けない、封をした 封筒 17
- 18. 患者と医療者の盲検化方法の評価 (performance bias) 介入開始後に、研究参加者や研究に関わる関係者に 参加者がどちらに割り付けられているか分からない 状態が保たれているか、もしくは分かったとしても、 結果に影響されないと判断されるか High riskの例) • 手術 vs 保存的加療 Low riskの例) • プラセボ対照で、被験者と医療者が試験終了まで どちらの群か判断できない 18
- 19. 評価者の盲検方法の評価(detection bias) アウトカムを評価する人は患者がどちらのグループに 入ったか分からない状態に保たれているか、もしくは分 かったとしても結果に影響がないとされるか High riskの例) • カテーテル治療を介入として、治療者がエコーで心 機能評価 Low riskの例） • アウトカムが体重や血液データ等の客観的指標 • カテーテル治療を介入として、盲検化された技師が エコーで心機能評価 19
- 20. 欠測アウトカムの評価(attrition bias) ドロップアウトに関する群間の系統的誤差 High riskの例) ・データの欠測の理由がアウトカムに関連し ている ・比較する群の間で欠測の割合が偏っている Low riskの例) • 全例追跡できている 20
- 21. 報告バイアスの評価(reporting bias) • Protocolが入手可能で、事前に設定され たアウトカムが事前に設定された方法で 報告されているか • Protocolが入手可能でなくとも期待され るアウトカムがすべて報告されているか 21
- 22. その他のバイアス • 上記でカバーできていないRisk of Biasが 想定される場合は新たに項目をつくり評 価する • 例についてはCh.8.15に記載 • 先行研究を参考に 22
- 23. 実習：Random sequence generation Random methodsを選んでください 1. Computerによる乱数リストで割り付け 2. 生年月日で割り付け（e.g.偶数,奇数） 3. 参加者の希望 4. さいころで割り付け（e.g.偶数,奇数） 5. 登録順に交互に割り付け 6. 多くのくじの入った袋のくじ引きで決める 23
- 24. 実習：Random sequence generation Random methodsを選んでください 1. Computerによる乱数リストで割り付け 2. 生年月日で割り付け（e.g.偶数,奇数） 3. 参加者の希望 4. さいころで割り付け（e.g.偶数,奇数） 5. 登録順に交互に割り付け 6. 多くのくじの入った袋のくじ引きで決め る 24
- 27. Risk of Bias tableの作り方 Handbookを読んでください Chapter 8: Assessing risk of bias in included studies Editors: Julian PT Higgins, Douglas G Altman and Jonathan AC Sterne on behalf of the Cochrane Statistical Methods Group and the Cochrane Bias Methods Group. Key points Problems with the design and execution of individual studies of healthcare interventions raise questions about the validity of their findings; empirical evidence provides support for this concern. An assessment of the validity of studies included in a Cochrane review should emphasize the risk of bias in their results, i.e. the risk that they will overestimate or underestimate the true intervention effect. Numerous tools are available for assessing methodological quality of clinical trials. We recommend against the use of scales yielding a summary score. The Cochrane Collaboration recommends a specific tool for assessing risk of bias in each included study. This comprises a judgement and a support for the judgement for each entry in a ‘Risk of bias’ table, where each entry addresses a specific feature of the study. The judgement for each entry involves assessing the risk of bias as ‘low risk’, as ‘high risk, or as ‘unclear risk’, with the last category indicating either lack of information or uncertainty over the potential for bias. Plots of ‘Risk of bias’ assessments can be created in RevMan. In clinical trials, biases can be broadly categorized as selection bias, performance bias, detection bias, attrition bias, reporting bias and other biases that do not fit into these categories. For parallel group trials, the features of interest in a standard ‘Risk of bias’ table of a Cochrane review are sequence generation (selection bias), allocation sequence concealment (selection bias), blinding of participants and personnel (performance bias), blinding of outcome assessment (detection bias), incomplete outcome data (attrition bias), selective outcome reporting (reporting bias) and other potential sources of bias. Detailed considerations for the assessment of these features are provided in this chapter. 8.1 Introduction 8.2 What is bias? 8.3 Tools for assessing quality and risk of bias 8.4 Introduction to sources of bias in clinical trials Table 8.4.a: A common classification scheme for bias 8.5 The Cochrane Collaboration’s tool for assessing risk of bias 8.6 Presentation of assessments of risk of bias Figure 8.6.a: Example of a ‘Risk of bias’ table Figure 8.6.b: Example of a ‘Risk of bias graph’ Figure Figure 8.6.c: Example of a ‘Risk of bias summary’ Figure 8.7 Summary assessments of risk of bias Table 8.7.a: Possible approach for summary assessments 8.8 Incorporating assessments into analyses 8.9 Sequence generation 8.10 Allocation sequence concealment 8.11 Blinding of participants and personnel 8.12 Blinding of outcome assessment 8.13 Incomplete outcome data 8.14 Selective outcome reporting 8.15 Other potential threats to validity 8.16 Chapter information 8.17 References 27 ちょっと つらい
- 29. 先行研究のルールを参考にする
- 31. 巨人の肩に立つ 31
- 34. Plagiarismとは？ 他人の論文・発表のアイデアや一部を許可なし/帰属 を明示せず使用する事！ 特定不正行為 (データ捏造、データ改ざん、盗用)の 一つ 例) • 引用符(“ ”)なしに一部をそっくりそのままコピペ すること(citation に示していても) • 二次文献を読んで、その一次文献のみを内容を読 まずに引用 • 文献を要約してcitationなしに利用 34 Emma Barber, English-language editor Cochrane Japan, NCCHD “Avoiding plagiarism”
- 35. 特別な例外 • Cochrane Reviewはmethods sectionで 他のreviewとオーバーラップする割合が 高い • 引用を示さなかったり、逐語的であった りしない限り問題とはならない • the characteristics tables/risk of bias tablesの類似は問題とならない 35 http://community.cochrane.org/editorial-and-publishing-policy- resource/plagiarism#special-circumstances Emma barber, english-language editor cochrane japan, ncchd “Avoiding plagiarism”のスライド
- 36. どのようにしてPlagiarismを避けるのか • 言い換え(paraphrase)して引用 • シソーラス（同義関係・類語関係などによって単語を分類し体系化し た辞書）を用いる • シソーラスの例:Merriam-Websterのオンライン辞書 (http://www.merriam-webster.com/)で検索→類義語や、類義語 の下部に表示されるrelated wordsを参考にして適宜言い換えする • 共起表現検索（ある単語の前後にどのような表現がよく使われている かを調べる検索）も利用できる • 共起表現検索の例:ライフサイエンス辞書の英語共起表現検索 (http://www.life-science-dictionary.com/cgi- bin/lsdproj/conc_home.pl)やWeblio辞書の英語共起表現検索 (http://ejje.weblio.jp/concordance/) 康永秀生「必ずアクセプトされる医学英語論文完全攻略50の鉄則」 • 要約して引用 • 引用符を用いて引用 • レビューグループのテンプレを使用する 36 http://community.cochrane.org/editorial-and- publishing-policy-resource/plagiarism
- 37. QUIZの答え 割り付けの隠蔽においてlow risk of bias であるものを選んでください 1. 透ける封筒 2. 中央割付 3. 表に連続番号が振ってある、透けない、 封をした封筒 37
- 38. 本日のまとめ • Risk of Bias sheetの内容がわかる • Plagiarismの避け方が分かる 38
- 39. 参考文献 Cochrane handbook for Systematic Reviews of Interventions [internet] available from http://community.cochrane.org/handbook Plagiarism http://community.cochrane.org/editorial-and-publishing-policy- resource/plagiarism Emma Barber, English-language editor Cochrane Japanワークショップ @ncchd 2015.2.5 “Avoiding plagiarism”のスライド Hypothermia for neuroprotection in children after cardiopulmonary arrest (Cochrane Review) Warfarin initiation nomograms for venous thromboembolism（Cochrane Review） H26年度 研究活動における不正行為への対応等に関するガイドライン Available from http://www.mext.go.jp/b_menu/houdou/26/08/__icsFiles/afieldfile/20 14/08/26/1351568_02_1.pdf
Editor's Notes
- 精治寮病院の阪野正大と申します。よろしくお願いいたします。
- まず、本コースの目標ですが、、、、、
- 系統的レビューのワークフローです。 まず漠然とした疑問から、構造化された疑問を設定し、データベースを選んで、網羅性の高い検索式を作成します。 ここまでは検索前に行っておくことです。ここからの作業は、検索後のお話です。 今日は、検索式でヒットした論文の中で、組み入れ条件を満たしたものをRisk of biasツールというものを用いて評価していきます。
- このパートは系統的レビューだけでなく、日々の臨床でRCTの論文を評価するという意味でもとても役立つと思います。
- 質については２つ考えなければいけないポイントがあります。 １つ目が内的妥当性です。これは、、、、、、 2つ目が外的妥当性です。これは、、、、、、 一般化可能性や研究の適用性につながる概念です。これは研究結果をどのように使うかに関係します。 外的妥当性を考える際はStudyの組み入れ基準などが問題となってくる。詳しくはGRADEの講義で解説する予定です。 今回取り扱う質評価は、１の内的妥当性になります。 http://handbook.cochrane.org/ 内的妥当性：Capter8を参照 外的妥当性：Capter12を参照 (Cochrane reviewは大半がランダム化試験であり、このタイプの妥当性を評価する方法に特化している) 非ランダム化試験の評価方法⇒Chapter13 有害事象に関して考慮すべきもの⇒Chapter14 外的妥当性を考える際はStudy のEligibilityや非直接性が問題となってくる。詳しくはGRADEの講義で。
- 例えばですが、お寿司を評価するのに、個々のネタの評価がRisk of biasです。 そしてお寿司全体の評価がGRADEで評価するbody of evidenceの質 http://allabout.co.jp/gm/gc/44998/ “質”という際には、あるアウトカムに関して系統的レビューされた後にその推定値の質(確信度)を表す場合＝一皿のお寿司全体の質＝body of evidence の質 GRADE 個々の組み入れ研究についてその研究の質（バイアスのリスク）を表す場合＝お魚の質＝Risk of Bias GRADEに関しては次々回で。
- 本講義の目標です。Risk of bias tableの作り方がわかる。Plagiarismの避け方がわかる。Plagiarismは盗作、剽窃と訳されることが多いが、意味は一般的なそれらの言葉よりさらに広いですので、説明をしておこうと思います。
- まず初めにRisk of biasについてです。 Risk of biasでは組み入れられたRCTにおける、これら7つのドメインを評価することになります。 個々のバイアスについてはのちほど詳しくご説明します。 Reporting bias reported findingとunreported findingに関する系統的誤差 選択報告バイアスのこと。結果に及ぼすもっとも実質的なバイアスの1つ。 Other bias 主に試験デザインに関するもの(例、cross-over試験におけるcarry-over、cluster-randomized試験におけるrecruitment bias) ほか、限られた状況で起こるもの (例、コンタミネーション、介入群と標準群が混ざることによる場合、たとえば患者が薬をため込むなど) 詳細は http://handbook.cochrane.org/chapter_8/table_8_5_d_criteria_for_judging_risk_of_bias_in_the_risk_of.htm
- このRisk of biasの評価は３種類です。 High risk of bias, low risk of bias, そしてunclearの３つのうちどれかに前述のバイアスをカテゴライズしていきます。 ここで重要なこととして、可能な限り、、、、 それぞれの項目について評価 介入研究に関しては http://handbook.cochrane.org/chapter_8/table_8_5_d_criteria_for_judging_risk_of_bias_in_the_risk_of.htm を参照 診断精度研究に関しては QUADAS-2: A Revised Tool for the Quality Assessment of DiagnosticAccuracy Studiesを参照 検査の性質によって若干ことなるため、迷ったら辻本まで相談ください。 Unclearとする基準 High RiskやLow Riskと判断するための情報が不十分な場合
- Reviewし終わって結果を表にすると、このようになる 緑○がlow risk 黄色○がunclear risk 赤○がHigh risk と決まっている。 Warfarin initiation nomograms for venous thromboembolism から使用 http://onlinelibrary.wiley.com/doi/10.1002/14651858.CD007699.pub2/abstract
- 左のフローチャートががRCT実施の流れになります。 ランダム手順や、割付の隠蔽化というものは割付前に行います。 ブラインド化やマスク化といったいわゆる二重盲検化というものは割付後の話です。 そして、試験終了後のアウトカム評価では評価者の盲検化、アウトカムの欠測について評価します。 さらに、きちんと規定されたアウトカムや、重要なアウトカムが報告されているかを評価します。
- ランダム化作成の評価についてです。予測不可能でないといけないため、曜日、誕生日、カルテ番号で割り付けといったものは正しい方法とは言えず、High Riskとなります。 一方、乱数表での割り付けや、統計ソフトで乱数を発生させるなどのやり方はlow riskと云えます。 Handbook Chapter8 tabke8.5.c参照 患者さんを組み入れる前に研究者がその割り付けを知っているとマズイ！
- 次に割付の隠蔽化についてです。前述で予測不可能なランダム化を行ったとしても、それが組み入れ者に把握されてしまうと、バイアスを生じます。 この隠蔽化がきちんと行われていないと、介入群の効果を20%程度overestimateしてしまうという報告もあり、とても大事なバイアスの１つです。 重要なことなので、何度か申し上げますが、この隠蔽化は盲検化やマスク化とは違いますのでご注意ください。 先ほどのフローチャートを思い出していただくと、試験の組み入れ前に組み入れ者がどちらの群に入るかわからないようにするのが、隠蔽化 試験開始後に治療者と被験者がどちらの群に入っているのかわからなくするのが、盲検化です。 この隠蔽化がきちんと行われていない場合の例としては、透ける封筒が挙げられます。透かして見ることで組み入れ者が意図的に選ぶことができてしまいます。 ハンドブックの中にLow riskの例としてあげられているのは、表に連続番号が振ってある、透けない、封をした封筒です。 他には組み入れ者と独立した中央センターで割り付けが行われているなどが隠蔽化としてlow riskと言えます。 Handbook Chapter8 tabke8.5.c参照
- 続いて盲検化の評価です。これは、、、、 High riskの例としては、、、、医療者が手術の方が効くと思っていると、その他の治療の質が変わる危険がある。（Co-intervention) さらに被験者側も介入群だとわかってしまうことで、ホーソン効果が生じる可能性があります。 Low riskの例は,,,, Handbook Chapter8 tabke8.5.c参照 例として、有名なホーソン効果がおこってしまう。
- 評価者の盲検化の評価です。 アウトカムを、、、、という点を見ていきます。 High riskの例として、、、が挙げられます。 Handbook Chapter8 tabke8.5.c参照
- Attrition bias 被験者のアウトカムデータが欠測することによるバイアスを指します。 両群がランダムにドロップアウトしている場合は問題ないのですが、例えば、継続が難しいハードな運動療法などを介入にし、ドロップアウトした人のアウトカムが欠測してしまうと、 最終的に介入群として解析できるのは、激しい運動療法を継続できる強い意志を持つ被験者に限られ、それはバイアスを生みます。 見るポイントは組み入れのフローチャートを見てドロップアウトが起こっていないかをチェック、ドロップアウトが生じた患者のベースラインはその他の患者と変わらないかをチェック ドロップアウトを生じた理由をチェックし、それがランダムに生じているかを評価します。 Attritionというものとexclusionの違いは、 Attritionは試験途中でドロップアウトしアウトカムデータが測定されていない状況です。 Exclusionとは追跡はできており、アウトカムが揃っていますが、解析から除外されることです。 Handbook Chapter8 tabke8.5、8.13を参照
- 次に報告バイアスの評価です。これはアウトカムが計測されているにもかかわらず、統計学的に有意ではない、とか、介入群に不利である、といった理由で論文中に報告されないことによるバイアスです。 チェックポイントは、、、、、 です。 １つ目のチェックポイントについて、通常RCTの場合は、Clinicaltrials.govや、ICTRPといったトライアルレジストリに登録してから試験を開始します。 このレジストリには計測するすべてのアウトカムを登録することになっています。逆に、事前に規定されていないアウトカムが増えていないかということもチェックすべきでしょう。 ２つ目については、臨床的に重要とされるアウトカムが計測されているかをレビュアーが判断します。例えば、脂質を下げる薬の効果で、コレステロール値は報告されているが、新血管イベントは報告されていないなどです。
- 最後に、その他のバイアスがあります。例についてはCh8.15を参考にしてください。その他にも先行研究を参考にいただくとよいと思います。
- 適切なランダム化は 割り付けの予測不能性で特徴付けられ、それぞれの参加者が双方どちらに割り付けられるかの確率が等しい。 Cochrane training online module “Risk of Bias”の一部を利用 どれが、適切なランダム化でしょうか？
- 正解は1,4,6番です。これらの決め方であれば割付はランダムに生じさせることができます。（隠蔽化ができるかは別です）
- http://onlinelibrary.wiley.com/store/10.1002/14651858.CD009442.pub2/asset/CD009442.pdf?v=1&t=ia51zkoe&s=651cb61f4b3632e9369770bdf12f215dcbbedf85 実際にprotocolを投稿する際はこの程度でも問題ありません。 しかし、いざ論文を読んで、このシートを２人で独立して埋めていって、一致するでしょうか。特に初めてレビューする方にとってはかなり難しいのではないでしょうか。
- http://onlinelibrary.wiley.com/store/10.1002/14651858.CD009442.pub2/asset/CD009442.pdf?v=1&t=ia51zkoe&s=651cb61f4b3632e9369770bdf12f215dcbbedf85 こちらの例ではどういう場合をLow riskとするかをある程度決めています。 実際にRisk of Bias Sheetを埋めていく場合は自分たちで細かいところも決めておいた方が、再現性もあり、2人のレビュアーの不一致も減り、恣意的にならずに済みます。 この作業はレビュー作業に慣れていない方にとって、重要だと思いますので、宿題ではこのようにどのような時にriskが低いのか、判断基準を書いていただいた方がいいと思います。
- とは言うもののCh8を全部読むのはつらいです。
- こういう時は、先人に学ぶべきでしょう。 第一回講義資料(片岡Dr)を改変
- Cochrane libraryで同じようなデザインのレビューを検索していただくと良いです。
- Risk of bias toolはReview論文になると削除されている可能性もありますので、Protocolを選びましょう。
- Protocolの中にある他のレビュアーのquality assessment toolを参考にしてみてください。
- より理解を深めるには、、、、
- さて、ここからはPlagiarismの説明です。書き方に悩んだ時、先行研究の文章の一部を使っていいのでしょうか？ http://sciblogs.co.nz/open-parachute/tag/plagiarism/ http://community.cochrane.org/editorial-and-publishing-policy-resource/plagiarism
- Emma barber, english-language editor cochrane japan, ncchd “Avoiding plagiarism”のスライド
- http://community.cochrane.org/editorial-and-publishing-policy-resource/plagiarism#special-circumstances Emma barber, english-language editor cochrane japan, ncchd “Avoiding plagiarism”のスライド
- http://community.cochrane.org/editorial-and-publishing-policy-resource/plagiarism#AP3 Emma barber, english-language editor cochrane japan, ncchd “Avoiding plagiarism”のスライド
- 正解は2番と3番です。割り付けの隠蔽は、ランダムに割り付けされたかどうかとは別のドメインですので注意が必要です。
- なお、Cochrane handbook for Systematic Reviews of Interventions は書籍もあります。