Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

3診断精度系統的レビューのための系統的検索

DTA SRWS@尼崎
2016.09.24

  • Login to see the comments

3診断精度系統的レビューのための系統的検索

  1. 1. 診断精度研究の系統的レビュー作成ワークショップ @兵庫県立尼崎総合医療センター 診断精度研究の系統的レビュー作成 のための文献検索 2016.09.24. 前半:山下 ユミ(京都府立医科大学附属図書館) 後半:諏訪敏幸(大阪大学大学院人間科学研究科) 1
  2. 2. 予定  9:55~10:50 (前半:知識) 基礎編 系統的検索と発見的検索 / 系統的検索の目標 技術編 系統的検索への技術的要求 / 主題検索 / 構成的検索 応用編 DTA-SR の検索の構成 / 検索式の改良  11:00~12:30(後半:演習) 演習 検索式発表と講評(2~3名)講評 質疑応答 2
  3. 3. 基礎編 • 系統的検索と発見的検索 • 系統的検索の目標 3
  4. 4. 発見的探索ー発見的検索  日常的に経験する「検索」のほとんど  1つの問い → 1つの答(ごく少数の情報源)  明日の天気は?  全国の糖尿病患者の数は?  適当な情報が1つ手に入ればそれで十分 「他に何があるか」は問題ではない 早く・簡便に・わかりやすく: 「手から口へ」 → めざす情報の一本釣り 4
  5. 5. 系統的探索―系統的検索  「全体像を把握する」 全体像をまとめる、代表情報に集約する、全体の 中で個別の情報を評価する → 「網を打つ」 ×一本釣りは通用しない  探索にはしっかりした方法論が不可欠 最善の方法は「すべて読む/調査する」 日常的には、系統的に調査されまとめられた情 報源を使用することが多い  地図、電話帳、名簿・・・教科書、総説、講義 5
  6. 6. 6 発見的探索: 主な情報1つだけが必要 系統的探索: 該当するものすべてが必要 発想の転換 6
  7. 7. 基礎編 • 系統的検索と発見的検索 • 系統的検索の目標 7
  8. 8. 書誌データベースと検索システム 文献の世界 書誌データベース: 規格化され、構造化された、書誌情報の集合体 MEDLINE など データベース検索システム: データベースと人との間のインターフェイス OvidSP, EBSCOhost, PubMed, SciFinder, CSA Illumina, Scopus, … 機械的検索 検索操作 検索者 大量の情報からの機械的抽出 表示 8
  9. 9. 系統的検索向けの 検索システムにとって「検索」とは  検索命令で与えられた基準に従って、データ ベース内の全レコード(1件1件のデータ)を適 合・不適合に機械的に選別し、適合レコード の集合を作ること 9 ■?
  10. 10. 検索は圧縮  系統的検索の目標は「網羅的」だが、どんなに がんばっても検索には細かい芸当はできない 使える情報が限られている 検索機能は単純な選別以上のものではない  検索の役割は圧縮 不可視な集合から、人手で扱える集合に 10 +集約された情報(件数など)
  11. 11. スクリーニングとの分担  書誌データベース(107~9件) ↓ 検索: 機械的な選別過程  出力される検索結果 (102.5~4.5件) ↓ 1次スクリーニング: タイトル・抄録など個々に判断  1次スクリーニング通過文献 (100.5~2件) ↓ 2~次スクリーニング: 本文精査・同質性確認  採択文献(included studies) (100~1.5件) 11
  12. 12. 検索効率の指標―再現率と適合率  再現率(recall)=検索された適合文献/データベース中の全適合文献 =感度(sensitivity) ・・・同一の指標、「どの程度網羅的か」  適合率(precision)=検索された不適合文献/検索された全文献 ≠ 特異度(specificity) ・・・異なる指標だが、両者の意図はほぼ同じ 検索結果 データベース 検索 再現率: 2÷4=0.5 (50%) 適合率: 2÷5=0.4 (40%) ●=適合文献、○=不適合文献とすると、 ノイズ 12
  13. 13. 再現率重視  再現率重視: 漏れが生じないことを最優先 ただし、何が何でも再現率100%ではない  検索の限界を自覚する  他のアプローチ(引用調査など)も考慮する  適合率は低くてもよい: ノイズが多発しても、 スクリーニング能力を超えない範囲なら許容 → 限界的な目標件数(≦スクリーニング能力)を 予め設定し、その中での再現率向上を目指す 13
  14. 14. 技術編 • 系統的検索への技術的要求 • 主題検索 • 構成的検索 14
  15. 15. 系統的検索の条件  1. 網羅的・不偏的であり、検索それ自体によっ て新たなバイアスが持ち込まれないこと ⇔ 部分的・恣意的  2. 検索方法が合理的であること ⇔ 思い付き的  3. 検索過程がすべて検索者のコントロール下 にあり、説明可能/再現可能であること ⇔ 結果がすべて  方法論の客観化―方法論的限界への自覚 発見的探索では これが正しい 15
  16. 16. 網羅的・不偏的であるために 【データベース自体に起因する漏れ・偏りへの対策】  検索を文献探索方法の1つと位置付ける  引用調査、被引用追跡(逆引き)、人に聞く、レビューを調べる、ハ ンドサーチ など  複数種類のデータベースを検索する  MEDLINE+EMBASE+CENTRAL + その他 【データベース検索によって発生する漏れへの対策】  主題検索を軸とする検索方法  適切な検索目標・検索手順・終局点 16
  17. 17. 合理的かつ説明可能であるために  コントロール 同じデータベースでも、できる限り検索者のコント ロールが働く検索システム/インターフェイスを使う  構成的検索 検索過程を構成要素に分解し、それを合理的に 組み立てる ⇔ 詰め込み型検索 (発見的探索型)  履歴(ヒストリ)を残す 17
  18. 18. 検索システムによって異なるコントロール 18 系統的探索向け ← → 発見的探索向け (命令そのまま) (裏でいろいろ) Google などの 「検索エンジン」 PubMed (Search Box) 医中誌Web (検索画面での、フィールドを指定しないキーワード検索) EBSCOhost OvidSP PubMed(Advanced) など
  19. 19. 技術編 • 系統的検索への技術的要求 • 主題検索 • 構成的検索 19
  20. 20. 検索メソッド  検索において何を評価-選別の基準にするか  キーワード検索  タイトル・抄録などに現れた語句を基準にする  主題検索  その文献の内容(を示す主題索引)を基準にする その他の索引項目による検索  引用検索、構造検索・反応検索、著者検索など  履歴検索  検索済みのヒットレコードの集合を基準にする検索 20
  21. 21. キーワード検索  指定された文字列(日本語検索)/単語(英語検索)と の一致/不一致を評価  Cd(カドミウム)→ ●diagonal CD ●CD-ROM ●CD 22  がん → ×癌 ×白血病 ×leukemia ●がんこな フレーズは “ ” で括る “tests and measures” 略語とスペルアウト、”-” 有り無しなどは、それぞ れを検索 フィールドを指定  PubMed : test[ti] (タイトル), test[tiab] (タイトルと抄録) など  OvidSP : test.ti (タイトル), test.ti ,ab (タイトルと抄録) など 21
  22. 22. キーワードの表現力を高める  truncation (部分一致) gene* → ○gene ○genes ただし ●general ●Geneva ※「*」など部分一致を表す記号は、検索システムにより異なる  proximity search (近接演算) PubMed では使えない? 2語が指定された語数以内に現れればヒット ※文法や実際の動作は検索システムにより異なる ※説明通り正しく動作しない場合があるので注意  near: 順不同 with: 指定された順 diagnostic [with 2] accuracy → ○diagnostic test accuracy22
  23. 23. キーワード検索では全体は見えない 例.院内感染 hospital infection, nosocomial infection …  catheter-related fungemia  nurse to patient transmission  TB morbidity among long-term care nurses ・・・ [より具体的な表現] 例.老人  老年期 高齢者 非若年層 シルバー お年寄り [類義語表現]  Aさん(1932年生) B地区居住者18名 (66~89歳) [具体的表現]  息子夫婦に介護される在宅認知症患者事例 壮年期での発症 から30年後の追跡調査 年齢上位25%層 [関係性表現]  対象者の内訳は表1~3を参照 [構成的な表現] → たまたま表現的に一致した一部分しか見えない 23
  24. 24. 主題検索  文献の内容で探す―言葉で探すのではない データベース作成時に付与された主題索引を使用  (データベース作成時) 文献を主題分析し、主題カテゴリーでコード化 カテゴリーはシソーラスthesaurus(辞書)で統制 →(検索時) シソーラスの主題カテゴリーで検索 → そのテーマの文献がひとまとめに 24
  25. 25. シソーラス thesaurus  主題カテゴリーを統制するための辞書 「言葉の統制」ではなく概念のカテゴライズする 見出し語(descriptor/heading)は概念へのラベル  カテゴリー間は上下関係で体系化されている より広い(上位の)概念、より狭い(下位の)概念の 関連付け ※「MeSH」(Medical Subject Headings)は MEDLINEの、EMTREE は EMBASE のシソーラ スの固有名詞 25
  26. 26. 主題検索の手順  検索しようとする概念に相当するカテゴリーをシ ソーラスで探す (PubMedではMeSHで検索)  (必要なら)検索オプションを設定 ◎ explode 下位のカテゴリーも同時に検索 × major descriptor その論文の主要テーマの時だけヒット △ subheadings 特定の切り口に特化する  検索実行 (Add to search builder → Search PubMed) 26
  27. 27. 副標目 subheading  主題カテゴリーに付加し、特定の切り口に限定  Diabetes Mellitus + blood (血液に関わる文献に限定)  Bone + radiography (骨の放射線画像・放射線診断) Subheading だけ別に独立して検索し、掛け合わ せなどで使うこともできる  その文献のどの MeSHタームへの付加でもヒット  Subheading と同じ意味の主題カテゴリーがシ ソーラスにある場合もある―必要なら両方試す  Diagnosis, Radiography, Ultrasonography など 27
  28. 28. 見出し語に惑わされない  シソーラスの見出し語(※)は、概念カテゴリー に付与されたラベル ※subject heading; descriptor; thesaurus term; シソーラス用語 ×キーワード(不適切な表現)  概念カテゴリーとして適切であれば、ラベルは どうでもよい  MeSH はスコープ(PubMed では見出しの下)を見れ ば、MEDLINE上での定義がおおよそわかる 28
  29. 29. 主題検索の限界  データベース作成時に索引化の過程が介在 △検索者とインデクサー・著者との見方の違い・ミス ×シソーラスにない概念, シソーラス未適用の年代, 未索 引レコード(in process, as supplied by publisher, etc.) → ここで検索もれが生じる  意図せざる不要文献も多数ヒット  カテゴリーの意味的広がり 新生物∋良性、悪性  主題と研究の関係の多様性 心疾患∋既往、対照 ・・・とはいえ、あるテーマに沿って文献を網羅的に 押さえるには最も良質で効率的な方法 29
  30. 30. キーワード検索は補完的に使う  基本的には、主題検索で「面」としておさえる  通常、適合文献の大部分はこれでおさえられる  疾患・薬物などはほぼこれだけで十分  そのトピックスが主題索引として索引化されて いない研究もあり得ると考えられる場合はキ ーワード検索し、主題検索に OR で追加する  シソーラス上に適当なカテゴリーが無く、上位でもだめ  研究によっては同類の中の one of them として現れる  論文の中では端役に過ぎなくてもレビューにとって重要 30
  31. 31. 技術編 • 系統的検索への技術的要求 • 主題検索 • 構成的検索 31
  32. 32. 1つのステップには1つの検索語  発見的検索のように詰め込まない ×「大腸がん 内視鏡 早期発見」 → 1つずつ別に検索 → 試行錯誤、透明性  1検索語ごとの情報が分析的に得られる  さまざまな組み合わせが試せる  AND, OR によりどの程度増減したかわかる  例外  キーワード検索で類似のキーワードをORでつなぐとき  文法的に複数検索語で構成される検索式 32
  33. 33. AND は1項対1項で #1 AND #2  AND は情報が減る過程 → 多項の AND で一気に減ると、問題点が分析できない A B A not B B not A A and B A or B 33
  34. 34. ブロック化  全体的な検索課題を概念的要素に分析した ブロックをANDで結合する A or B or C ・・・ M or N ・・・ R or S ・・・and and ・・・ 基本形は: 検索語 or 検索語 ・・・ でブロックを作る(同質な要素の累積) → ブロックを and で掛け合わせる(異質な要素による互い の制約) → 絞り込みはブロック化のプロセスの外に置く: 以上がすべ て終了後、最後に研究デザインなどの形式的な絞り込み ブロック ブロック ブロック 34
  35. 35. 検索はリスク  AND を重ねれば重ねるほど、検索漏れのリス クは増大する  優先順位を決め、それに従って検索する  より確実に検索でき、かつ重要なブロックが優先  目標件数を下回ったら、そこで検索を止める35 ブロック ブロック ブロックand and ・・・ 件数は絞られていくが ・・・ 思わぬ検索漏れのリスクも増大
  36. 36. ブロックに順位を付ける  検索順序は、高再現率ブロック→低再現率ブロック; 各ブロックの内部構成は、高再現率ブロックでは(高 再現率の検索語がブロックの中心にあることを前提 に)適合性重視、低再現率ブロックでは再現率重視  再現率が高い検索語を持つブロック(=先行して検索 されるブロック)は、補完的で適合率の低い検索語(キ ーワード検索)を抑制し、不必要にノイズを増やさない  ここでノイズが多くなり件数が膨れ上がると、再現率確保の難 しい後続ブロックに適合率向上の負担が集中し、結果的に検 索過程全体としての再現率が低下する  後続ブロックは、再現率をそれ以上低下させないことを 最重視する ・・・ 検索しないで済めばそれが最善 36
  37. 37. 実際編 • DTA-SR の検索の構成 • 検索式の改良 37
  38. 38. フレーム(PICOT)からブロックの構成へ  すべてを検索しなければならないわけではない  再現率低下(検索漏れ)の危険性が高いブロックはでき るだけ検索しない → T-I( -C(-P-O)) の優先順位で PICOT 重要性 危険性 ■特に検索しない場合 ☆特に検索する場合 T 高 低 ■I が決まれば T も (稀に、T が決まれば I も)ほ ぼ決まる場合(例. がんマーカー) → T か I のど ちらか一方のみ、または T or I にするI 高 やや低 C 研究目的 による やや高 ■ごく一般的な検査手法の1つである場合、または 検索困難な場合(例. 問診) P やや低 低~高 ☆問題構成上きわめて重要で、かつ確実に検索で きる患者属性(例. 新生児) ■状況(例. 入院前)、 症状(例. 痛みが強い)、一般的な属性(例. 男) O 低 高 ☆副作用研究など 38
  39. 39. I-C の構成には幾つかの選択肢がある ※ここには主なものを示す T I C P OAND 「I and C」型: I と C 両方を含む研究のみを探す AND ANDAND 「I or C」型: I と C のどちらかを含む研究を広く探す T I C P OAND AND ANDOR 「I 」型: C は度外視し、I を含むことだけを条件に探す T I P OAND AND AND ( ) ( ) ( )39
  40. 40. 選択はレビュー方針に従う ブロック構成の型 メタアナリシス 検索に関して予想される問題 I and C 1研究内での直接比較 Cの検索の不確実性による漏れ I 1研究内での直接比較 I 単独での評価 研究間比較 Cに検索漏れ‐バイアスの可能性 I or C 研究間比較 スクリーニング件数が過大になる  実際のレビューでは I 型が多く、IandC型、IorC型はごく少数  ここでは検索上の問題だけ挙げたが、これらとは別に分析に関係する問題(例えば 直接比較は該当研究数が過少になりやすく、研究間比較は研究間の異質性を考 慮しなければならない)もあり、それらをも考慮した上でどんな分析をするか―その ためにどんな文献収集が必要か―という手順で考えられなければならない。 40
  41. 41. 絞り込みは最後、必要最小限 絞り込みはしばしばバイアスの源になる → バイアスを伴う絞り込み、根拠のない絞り込みはしない ×英語文献に絞る ×会議録(meeting abstract) を除外 ※MEDLINEではもともと除外済 ×合理的理由なく出版年を限定 絞り込みは高率で検索漏れの原因になる → 必要性・効果と検索の確実さのバランスを考える ×「認知症高齢者の・・・」の「高齢者」 ▲DTAに絞るための “sensitivity” などのキーワード検索 ▲「フィルタ」 T I C, P, ・・・ 絞り込み→ ) (→(→ ) 41
  42. 42. 効果/リスクのバランスを考える 手法 期待される 減量効果 ※1 一般的に見込ま れるリスク リスクへの対策 AND による主題 的な掛け合わせ ○ ブロック毎の検索 漏れの相乗効果 確実性・重要性の低い ブロックは検索しない humansに限定 × 道連れ除外 Not-Not 出版年を絞る ×~△ 恣意的な除外 合理的理由が無けれ ば絞り込みしない 年齢層の絞り込み ×~△ 無用な絞り込み 絞り込みをしない 言語を英語に絞る × 情報バイアス 絞り込みをしない 研究デザインによ る絞り込み △~○ 見解の相違、 コーディング不備 DTAではできるだけ使 用しない DTAフィルタ △~○ 無用な絞り込み 使用しない ※1 MEDLINEで適切に使用した場合の経験的な効果レベル。○は元の件数の1/10以下への 減量、×は減量分が元の数の1/10前後(1/101±0.5)のレベル、△はその中間。 42
  43. 43. 実際編 • DTA-SR の検索の構成 • 検索式の改良 43
  44. 44. 準備と試行錯誤  データベースはブラックボックス → 正しい検索のしかたはわからないがスタート地点 系統的検索にとって試行錯誤は本質的に不可欠 検索過程で情報を引き出し、改良、評価  最短距離を求めず、 事前の準備―試行錯誤―事後のチェック をしっかりと 44
  45. 45. ブロックを改良する  よりよい検索語を探し出す  シソーラスを探検する  Pearl Growing キーワードも、使う以上は中途半端にしない  同じ語句でも、略語-スペルアウト、複数形、フレーズ構 成の多様性などに注意する  効率が悪い検索語は除く  適合率が低い検索語、ユニークなヒットが無い(再現率 向上に寄与しない)検索語は除外する ← 検索語の有効性評価をしっかりと 45
  46. 46. Pearl Growing  より良い検索語(特に MeSHタームなどの索 引語)・検索方法を見付け出す手法の1つ  既知の適合文献にどんな索引語が付与され ているかを調べる PubMed の場合は、画面の「MeSH Terms」を開 いて MeSHタームをチェックする 使えそうな索引語については、出現頻度や他の 索引語との組み合わせにも注意する 46
  47. 47. OR: 効果を見ながら追加する → 新たに追加(OR)される検索手法 (キーワード検索の拡張、データベースの追加) ↑ 累 積 効 果 (log10) 結果総件数=要スクリーニング件数 スクリーニング限界 適合文献 47
  48. 48. AND: どこで止めるかを考える → 新たに追加(AND)されるブロック (ブロック、絞り込み、フィルタ) ↑ 累 積 効 果 (log10) 結果総件数=要スクリーニング件数 スクリーニング限界 適合文献 第1ブロックの適合文献数 48
  49. 49. NOT で差分の件数・内容を見る  2つの検索方法間の質的違いが確認できる 49 A B A not B B not A A and B A or B 手順2 続き 9 3 not 5 1 10 3 not 7 0 11 5 not 7 75 12 7 not 5 75 ・2-3 は 6-7 に包含されるので不要 ・11 の 75 件が(DTA であるかどうか は別にしてテーマ的に)的外れなもの ばかりなら、4 の検索語選択は不適 切で 4-5 は不要と考えられる
  50. 50. DTAフィルターによる絞り込み → [Cochrane] Handbook for DTA Reviews, 7.4.11  できるだけ避ける フィルターが原因で必要文献を落とす可能性 ・・・ ここまでの主題的検索で発生する検索漏れと異な り、他の検索式の組み合わせで補完する余地が無い Cochrane によると、各種フィルターの感度は:  20.6~86.9, 平均86, 73~91, 90~100, 37~83, 53.2~100, ?~98.4 ※100未満は検索漏れに直結  結果件数が手に負えないほど多ければ使う 50
  51. 51. DTAフィルターの例 1. exp ‘sensitivity and specificity’/ ← OvidSP の文法、主題検索、explode 2. sensitivity.tw. or specificity.tw. ’ ← タイトルと抄録のキーワード検索 3. (predictive adj3 value$).tw. ← 同、truncation し、3語以内で近接演算 4. exp Diagnostic errors/ 5. ((false adj positiv$) or (false adj negativ$)).tw. 6. (observer adj variation$).tw. 7. (roc adj curve$).tw. 8. (likelihood adj3 ratio$).tw. 9. likelihood function/ ← 主題検索、explode なし 10. [T の 主題検索、subheading= diagnosis, radiography, radionucleic imaging, ultrasonography] 11. or/1–10 ← 1 or 2 or 3 or … or 10 と同じ Vincent S, Greenley S, Beaven O. Clinical Evidence diagnosis: Developing a sensitive search strategy to retrieve diagnostic studies on deep vein thrombosis: a pragmatic approach. Health Info Libr J. 2003 Sep;20(3):150-9. より Strategy C (一部改変)51
  52. 52. 本当に「網羅的」か? ― 事後確認と補充検索 ―  主要な既知文献が検索結果に含まれている か確認する 既存のSRで使用されている対象文献 個人的に既知の重要文献  クロスチェック 発見的検索(PubMed でも Google でも) 逆引き(できれば Web of Science で) ×複数人による独立の検索・・・推奨ではない 52
  53. 53. 演習  11:00~12:30(検索、発表、講評)  PubMed で、例題 1 を検索  時間が余ったら例題 2 、例題3も検索 http://pubmed.gov シンプルな検索方法でよい  質問および何か問題が生じた時は、挙手  検索方法または履歴(history)を記録 53
  54. 54. 例題 1 P: 頸部中心静脈カテーテル留置を受けた患者 I : 超音波検査による正しい挿入の確認 (誤挿入でない) C: なし O: 感度、特異度など T: 頸部中心静脈への適切なカテーテル留置 リファレンス・スタンダード: 胸部レントゲン写真 54 MeSH Terms & subheadings ※下記はヒント程度。他に適当なものがないか、explode するべきかどうかなど各自調べること。 Central Venous Catheters ; Catheterization, Central Venous ; Jugular Veins ; Neck ; Veins ; Ultrasonography ; Ultrasonics ; ultrasonography
  55. 55. 例題 2 P: 尿路感染症の患者 I : PSA C: なし O: 感度、特異度など T: 急性前立腺炎 リファレンス・スタンダード: 泌尿器科医による診断 55 MeSH Terms & subheadings ※下記はヒント程度。他に適当なものがないか、explode するべきかどうかなど各自調べること。 Urinary Tract Infections ; Prostate-Specific Antigen ; Prostatitis
  56. 56. 例題 3 P: 身体診察にて多関節炎疑いの患者 I : 超音波検査による正しい挿入の確認 (誤挿入でない) C: なし O: 感度、特異度など T: 関節炎(原因疾患としては主に関節リウマチを想定、他に もパルボウイルスや痛風などいろいろありうる) リファレンス・スタンダード: 関節MRI 56 MeSH Terms & subheadings ※下記はヒント程度。他に適当なものがないか、explode するべきかどうかなど各自調べること。 Arthritis ; Ultrasonography ; Ultrasonics ; ultrasonography

×