Download to read offline
Uploaded byHidemichi Yuasa
GRADE ガイダンス 34・35：不精確さにの評価の最新情報
GRADE ガイダンス 35で、以下の2点は論文が間違いと思われる。 １．Fig. 2. のCの図の上から3と4番目の９５％CIが、ヌルの線でカウントされている。 ２．4.4.2. Precision of trivial or small effectsのRISの数字と、図６の図と解説の数字が逆転している。 元論文：https://www.sciencedirect.com/science/article/pii/S0895435622001871#bib14 GRADE ガイダンス 34: 最小コンテキスト化アプローチを使用したグレーディングの不精確さに関する最新情報 https://www.sciencedirect.com/science/article/pii/S0895435622001883#bib9 GRADE ガイダンス 35: 状況に応じた証拠の確実性を評価し、意思決定を行うための評価の不精確さに関する最新情報 計算サイト https://docs.google.com/spreadsheets/d/1VGcLdP2yjYADv83ZoGCFPB7-qTVlyEX5/edit#gid=1692191080
GRADE ガイダンス 34・35：不精確さにの評価の最新情報
- 1. GRADE Guidance 34:update on rating imprecision using a minimally contextualized approach GRADE ガイダンス 34: 最小コンテキスト化アプローチを使用し たグレーディングの不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 216-224 GRADE guidance 35: update on rating imprecision for assessing contextualized certainty of evidence and making decisions GRADE ガイダンス 35: 状況に応じた証拠の確実性を評価し、意 思決定を行うための評価の不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 225-242
- 2. GRADE Guidance 34:update on rating imprecision using a minimally contextualized approach GRADE ガイダンス 34: 最小コンテキスト化アプローチを使用し たグレーディングの不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 216-224
- 3.
- 4.
- 5. コンテキスト化の分類と適応 1. 最小コンテキスト化（通常はシステマティックレビューで 使用される）：1つのアウトカムだけを考慮し、効果が実際 に存在することを確信する確度を評価するために、ヌルに 関するものか、最小限に重要な差（MID）に関するものか に関して、それぞれ評価を行います。 2. 部分コンテキスト化：1つのアウトカムに対して、効果が些 細な、小さな、中程度の、または大きな影響を表す範囲内 にあるという確信を評価します。 3.完全コンテキスト化（通常はガイドラインで使用され る）：複数のアウトカムを同時に考慮し（つまり、介入の 望ましい影響と望ましくない影響をトレードオフする）、 介入を推奨するための決定的な閾値を設定し、その閾値以 上では介入を勧め、それ以下では介入を勧めないようにし ます。
- 6.
- 7. 過去 5 年間のGRADE の重要な進展によって、表の要約に結果 の平易な言葉による要約が含まれることが提案され、そのような 要約で使用する言語に関するガイダンスが作られた。 確実性の高いエビデンスが存在する場合、SRやCPG著者は、“effects present 「効果あり」 ”と要 約することができ、中程度の確実性のエビデンスが存在する場合、著者は “effects probably or likely present 「効果はおそらく存在する」 ”と結論づけることができ、低品質のエビデンスがある 場合、わかりやすく要約すると “effects possibly present 「効果が可能性として存在する」 ” と なる。エビデンスの確実性が非常に低い場合、著者は、” the evidence is very uncertain「エビ デンスが非常に不確実」“であることを示す声明を出すことになる。 この平易な言葉で考えると、例えばCIに有害な効果が含まれる場合、不精確さを1段階だけ評価した とすると、平易な言葉で要約すると、「介入は「おそらく」重要な効果がある」となり、これに違 和感を持つかもしれない。 このような場合、不精確さを2段階ダウンした要約である、「効果が可能性として存在する」、また は3段階ダウンした要約である「介入の効果について証拠は非常に不確実である」の表現のが、より 適確な表現となる。 よって、2段階下げる場合を、明確に提示する必要がある。
- 8. 不精確さを2段階下げる場合は？ ●点推定値が重要な効果を示唆する場合、最小重要差の閾値に関 する確実性を評価する 1. 点推定値は重要な利益を反映し、CI の境界は、害、特に重要な害の可能 性を含む。 2.点推定値は重要な害を反映し、CIの境界は利益（特に重要な利益）の可能 性を含む（例は、重要な害の正確なしきい値を指定せずに、点推定値なら びにCIの上下限の値のみが、益か害かを判断する場合（現実的には、この 状況が多い））。
- 9. 不精確さを2段階下げる場合は？ ●点推定値が些細な効果を示唆する場合、最小重要差閾値との関 連で確実性を評価する 1. 点推定値は些細な効果と一致し、CIは重要な有益性と重要な有害性の 両方の可能性を含む 2. 点推定値は些細な効果と一致し、CIは実質的な（おそらく大きな）重 要な害の可能性を含んでいる。 3.点推定値は些細な効果と一致し、CIは実質的な（おそらく大きな）重 要な有益性の可能性を含んでいる。
- 10. 不精確さを2段階下げる場合は？ ●閾値が不明だが、点推定値が明らかに、有益か害のどちらかである場合には、 95％CIの上下端の値が、不明だがたぶん閾値を越えているかどうかで確実性 を評価する 1. ゼロではない有益性の確実性を評価する場合、点推定値は有益性を示唆し、CIは重要な有害 性の可能性を含む こんな記載がある「点推定値は有益性を示唆しているが、 （CIが広いので）不精確さを1段 階のみ下げるならば、GRADEの平易な言葉を使用すると、標準用量レジメンと比較して、可 能であれば減量レジメンが死亡を減らすのに有益であるという「“likely”可能性が高い」とい う声明になるが、この言葉に満足するかどうかを検討する必要がある。95％CI上限より、減 量レジメンでは死亡率が大幅に増加する可能性もある。よって著者らが、もし“effects possibly present 「効果が可能性として存在する」 ” の言葉のが適切と判断したら、2段階 下げるだろう。」との記載があるが、これならば、言葉の選択で判断をするという文章になっ てしまう。 2. 害の確実性を評価する場合、点推定値は害を示唆し、CIは重要な益の可能性を含んでいる。
- 11.
- 12.
- 13. ベースラインリスクが非常に低い場合、不精確さのためにグレー ドダウンしないことが良いと考えられる ベースラインリスクが非常に小さい場合（ベースラインリスクがどの程度小さいかは、アウトカムの重要性に依存 する）、意思決定に用いられる効果の絶対推定値は、どれだけ新しいエビデンスが追加されたとしても、大きく変 わることはないだろう。したがって、ベースラインリスクが非常に小さい状況に直面した場合、著者は相対効果に 関する不正確さについてエビデンスの確実性を下げるのではなく、ベースラインリスクの全体的な確実性を評価す るべきである。 たとえば、A治療よりB治療のが、100人あたり6人多く異常を経験する患者が得られ、CIは1人多いから11人多い ことが示された、OR：2.48、95％CI 1.08～5.71; RR2.34 、95％CI 1.06～5.17の場合（具体的な病名があっ たがはぶく）で、かつ、ベースラインリスクは1％が確実である場合を想定する。 有害性のMIDを15％増加（100人中15人増加）の場合は、RDの全CIはMIDの閾値よりも小さくなるであろう（1～ 11人のため）。CIアプローチでは、閾値Eをまたがないので、著者は不精確さを評価することはないだろう。 次に、OISを満たしているかどうかを確認する場合、ORのCI（5.3）の上限と下限の比が2.5より大きいので、不正 確さを2段階評価することになる。 しかし、対象集団のベースラインリスクが1％程度であると確信される場合、ORが2.5から4.5に増加しても、絶対 効果（すなわちRD）周りのCI全体は関心の閾値（15％の増加）の小さい側に収まることが、計算するとわかる。 これらのシミュレーションは、ベースラインリスクが非常に小さい場合、相対効果がどれだけ変化しても、意思決 定に用いられる効果の絶対推定値が大きく変化することはない。 したがって、このような状況では、著者は不精確さを理由にエビデンスの確実性を評価しない方が良いと思われる。 ベースラインリスクがそれほど小さくない場合（例えば3％や5％）、ORの変更に伴い、点推定値やRD周りのCI境 界が顕著に変化するので、不精確さを理由に評価を下げるのが良いだろう。
- 14. 不精確さを3段階下げる場合は、CIアプローチに基づく GRADEのガイダンスでは、確実性評価の対象をどのように選択するかについて、 CIが非常に広く（すなわち、CIの2つの端が非常に異なる推論を示唆する）、著者 が真の効果について非常に不確実であり、確実性評価の対象を決定する必要がない 状況の例をあげている。 このような状況では、不正確さを3段階下げることを評価することができる。この ような判断が可能な場合、CIをどの程度と判断することは、著者らの価値判断の 問題となる。 部分的および完全に文脈化された設定における精度評価を扱った関連論文では、不 精確さのために3段階評価を下げることに主眼を置いている。これは、最小コンテ キスト化にも適用できる。 Schünemann HJ, et.al.. GRADE guidance 35: update on rating imprecision for assessing contextualized certainty of evidence and making decisions. J Clin Epidemiol. 2022 Oct;150:225-242. ただし、GRADEのユーザーは、ランダム効果モデルを使用してメタアナリシスを 行う場合、不精確さと非一貫性を二重にカウントする可能性に注意する必要がある。
- 15. GRADE Guidance 34:update on rating imprecision using a minimally contextualized approach GRADE ガイダンス 34: 最小コンテキスト化アプローチを使用し たグレーディングの不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 216-224 GRADE guidance 35: update on rating imprecision for assessing contextualized certainty of evidence and making decisions GRADE ガイダンス 35: 状況に応じた証拠の確実性を評価し、意 思決定を行うための評価の不精確さに関する最新情報 Journal of Clinical Epidemiology Volume 150, October 2022, Pages 225-242
- 16. 部分コンテキスト化による不精確さの評価のステップ ステップ1. アウトカムを二値変数か連続変数かを明確化 ステップ 2.エビデンスBodyについて、アウトカムの絶対効果につい て、小さい効果、中程度の効果、大きい効果に対応する閾値を、望ま しいものと望ましくないものの両方について設定する（注：アウトカ ム、例えば死亡率は、減少すれば望ましいアウトカムであり、増加す れば望ましくないアウトカムである）。 閾値の決定は、他の意思決定者が既に設定している研究、関係者の合 意、絶対的な効果サイズとアウトカムの相対的な重要性を統合した閾 値に関する経験的な証拠、または何も利用できない場合はコンテンツ 専門家の最適な推測に従うしかない。いずれにしろ、閾値を設定する 方法を明示することが重要である。
- 17.
- 18. 部分コンテキスト化による不精確さの評価のステップ ステップ 4. 関心のあるアウトカムに対するbodyof evidence に対して、ベースラインリスクと相対効果に基づく信頼区間を 含む絶対効果推定値、または、関係があるならば、研究間のリ スク差のメタ分析推定値、を計算する（例：研究におけるイベ ント数が非常に少ない場合）。 ステップ5．効果推定値が望ましい健康効果を示唆するか望ま しくない健康効果を示唆するかにかかわらず、信頼区間がいく つの閾値を越えるかを決定する（「 “no effect” 効果なし」を 閾値として数えない）。 ステップ6. 閾値が交差する数だけ、レートを下げる。
- 19. 部分コンテキスト化による不精確さの評価のステップ 選択的ステップ 7. 効果が大きい（すなわち、点推定値が大きな効果の閾 値を超える）場合、および明らかに少数のイベントまたはサンプル数に基 づいている場合、 RISが満たされないためにさらなるレーティングダウンが必要かどうかを 判断するために、そのアウトカムについて、小さな効果、中程度の効果ま たは大きな効果の必要サンプルサイズを計算してreviewinformation size （RIS）の使用を検討する（本論文の計算機を参照）。そうでない場 合は、ステップ 6 のレーティングを使用する。 効果が些細なものかないように見える場合（すなわち、点推定値が些細な ものかない効果から小さな望ましい効果、望ましくない効果の閾値に入 る）、例えば介入の同等性の評価のために、些細なものかない効果のRIS が満たされているかどうかをチェックし、さらなるレーティングダウンが 必要かどうかを決定する。そうでない場合は、ステップ 5 のレーティン グを使用する。←なぜステップ5？、5に注意した6では？
- 20.
- 21.
- 22.
- 23. RIS：メタ分析の結果、絶対効果が大きい場合（すなわち、点推 定値が大きな効果の閾値を超える場合） 基本的な考えとして、review information size（RIS）は、95％信頼区間の下限がどの程度高い信頼性で得られるかに応じて、単一の研 究に必要なサンプルサイズと考える。OISは、点推定値そのものが単一研究で必要とされるサンプルサイズなので、RISは、 95％信頼区間 の下限なので、必要サンプルサイズはOISより少ない事になる。 そして、大きな閾値を超えて大きい場合、RISを用いると、大きな効果について過度に高い確実性で結論を出す可能性を減らすことができる。 すなわち、その95％信頼区間の下限が、大きな閾値に必要なRISより大きいなら、問題無いので、不精確さを下げない。しかし、大きな閾 値に必要なRISより小さく、かつ、中の閾値に必要なRISより大きいならば（当然、RISは、大きな閾値の数より少ない）、一段階下げる。 と言った感じを掴むと理解が進むのではないか？ 例えば、合計100人の参加者を含むランダム化試験のシステマティックレビューで、メタ分析では、そうなったが、一見するとあり得ない と思われる大きな効果（例えば、絶対的な死亡率の減少またはリスク差が、比較群の20％から介入群の10％になるなど）を示す場合を考え てみる。 RISを計算すると（計算用のスプレッドシートが用意されている）、大きな効果の閾値（9％）以上の精度を持つ場合は10,044、中程度の 効果（5％）以上の場合は1,116、小さな効果（MID）（2％）以上の場合は496となる。 そして、評価者は、実際のメタ分析でのサンプルサイズが本当に10,044より大きいか（評価を下げない）、10,044～1,116（評価を1段階 下げる）、1,116～496（評価を2段階下げる）、496以下（評価を3段階下げる）を確認することになる。すると、合計100人なので、496 人以下となり、不精確さが3段階下げることになる。 注意：サンプルサイズは、他の利用可能なガイダンスを使用して決定されるべき対照イベント率に依存する。 注意：3段階下げるので、明らかに効果がある事例に対して過度にダウンすることがある。そうなると考えられるときは（誰がそれを決め る？）、RISの計算の時に閾値間の間隔を修正するという方法がある。 オンライン計算機 https://www.gradepro.org/calc/reviewinformationsize。
- 24. RIS：些細な効果や小さな効果の場合 RISは、かなり大きな効果の不精確さが問題であるかどうかを判断する際に最も役立つが、SRでも利用できる。 まず、RISは、小さな効果、中程度の効果、大きな効果に対して任意のRIS閾値を設定することが必要である。RISの閾値は、 間接的な証拠（他のアウトカムから）から導き出すこともできるし、実際的には、小さな効果（MIDとなる）のRISに2.5と4を 乗じて、中程度と大きな効果の閾値を任意に導き出すこともできる（ここで2.5は、中程度を小さな効果量0.5/0.2で割ること で導き出し、4は大きな効果をコーエンの効果量0.8/0.2で割ることで導き出せる）。 メタ分析による絶対値の推定値が、些細～全くないの間の場合、その絶対値が本当に些細なものであることが、おおよそわかっ ている場合を考える。そうなると、実際のサンプルサイズとRISを比較し、些細な効果が実際にはランダムエラーによるもので はないと、どの程度の確信を持って言えるかを考える必要がある。実際のサンプルサイズが、1つ、2つ、または3つの隣接する 閾値のRISよりも小さい場合、それぞれ1つ、2つ、または3つレベルを下げるべきである。 例えば、小さな効果（2%）を示すために10,044人、中程度の効果（5%）を示すために1,116人、大きな効果（9%）を示す ために496人の参加が必要な場合、評価者はレビューのサンプルサイズが、10,044より大きいか（評価ダウンしない）、 10,044～1,116（1段階評価ダウン）、1,116～496（2段階評価ダウン）、496以下（3段階評価ダウン）かを確認する。 しかし、、Fig. 6. の文章は、”TheRIS derived sample sizes would be 10,044 for being above the large (9%), 1,116 for being above the moderate (5%), and 496 for being above a small effect (2%) threshold in each group.”と書いてあり、逆転している（問い合わせ中）。 このアプローチは、2つの介入が同等であることを確信を持って立証するのに役立つ。ここではガイダンスとして提供されてい るが、評価者は、例えば、他の間接的な証拠（上記参照）に基づいて効果が大きいか些細であると予想される場合、過度のペナ ルティを与えないように注意深く進めるべきである。
- 25.
- 26. 閾値の取得方法 GPT-4で翻訳 • 現在進行中の研究では、明示的な効用と絶対効果に基づいて経験的 な閾値を導出している。 •ガイドラインパネルを用いて事前に閾値を導出する方法もある。こ れには、検討される結果の重要性が含まれるべき。 • ガイドライン開発グループで閾値が導出される場合、注意深く検討 し、意思決定機関によって十分に理由付けされるべき。 • パネリストは、これらの決定の意味と影響を理解するために適切な トレーニングが必要。 • 閾値を非常に小さく設定することや密接に設定することは、精度が 低下する可能性が高まることを認識すべき。 • 閾値は、各結果の重要性を評価した後、証拠を評価する前に決定す ることを推奨。 • 新しい証拠が出てきた場合、閾値を更新する必要があり、結果の不 確実性の評価も更新する必要がある。
- 27. 非一貫性inconsistencyとの関係 GPT-4で翻訳 いくつかのシナリオでは、確実性の評価は非一貫性と不精確さの両方によって影響 を受ける。 ランダム効果モデルを用いた高度に異質な研究のメタ分析では、固定効果モデルよ りも信頼区間が広くなることがある。 この場合、非一貫性と不精確さの両方に対して評価を下げる必要はなく、どちらに 対して評価を下げるか慎重に検討すべき。 例えば、局所性腎腫瘍の患者では、部分腎摘出術が全摘出術に比べてがん特異的死 亡率が低いことがメタ分析で示された。効果は研究間で異なる(I二乗 =63%)。 ランダム効果推定量(HR 0.79; 95%CI, 0.57–1.11)は、精度が高い固定効果推 定量(HR 0.71; 95%CI, 0.59–0.85)と比較して不精確さありと判断された。 この場合、非一貫性の評価のみを下げて、不精確さの評価は下げないことを検討す ることがある。 一方、信頼区間が非常に広い研究をメタ分析すると、個々の研究のポイント推定値 が大きく異なり、非一貫性が存在することを示唆しても、異質性が統計的に評価さ れることはまれ。