DTA SRWS@尼崎 2016.09.24

1. 診断精度研究の系統的レビュー作成ワークショップ
@兵庫県立尼崎総合医療センター
診断精度研究の系統的レビュー作成
のための文献検索
2016.09.24.
前半：山下 ユミ（京都府立医科大学附属図書館）
後半：諏訪敏幸（大阪大学大学院人間科学研究科）
1

2. 予定
 9:55～10:50 （前半：知識）
基礎編 系統的検索と発見的検索 / 系統的検索の目標
技術編 系統的検索への技術的要求 / 主題検索 / 構成的検索
応用編 DTA-SR の検索の構成 / 検索式の改良
 11:00～12:30（後半：演習）
演習
検索式発表と講評（2~3名）講評
質疑応答
2

3. 基礎編
• 系統的検索と発見的検索
• 系統的検索の目標
3

4. 発見的探索ー発見的検索
 日常的に経験する「検索」のほとんど
 1つの問い → 1つの答（ごく少数の情報源）
 明日の天気は？
 全国の糖尿病患者の数は？
 適当な情報が1つ手に入ればそれで十分
「他に何があるか」は問題ではない
早く・簡便に・わかりやすく: 「手から口へ」
→ めざす情報の一本釣り 4

5. 系統的探索―系統的検索
 「全体像を把握する」
全体像をまとめる、代表情報に集約する、全体の
中で個別の情報を評価する
→ 「網を打つ」 ×一本釣りは通用しない
 探索にはしっかりした方法論が不可欠
最善の方法は「すべて読む/調査する」
日常的には、系統的に調査されまとめられた情
報源を使用することが多い
 地図、電話帳、名簿・・・教科書、総説、講義 5

6. 6
発見的探索: 主な情報1つだけが必要
系統的探索: 該当するものすべてが必要
発想の転換
6

7. 基礎編
• 系統的検索と発見的検索
• 系統的検索の目標
7

8. 書誌データベースと検索システム
文献の世界
書誌データベース: 規格化され、構造化された、書誌情報の集合体
MEDLINE など
データベース検索システム: データベースと人との間のインターフェイス
OvidSP, EBSCOhost, PubMed, SciFinder, CSA Illumina, Scopus, …
機械的検索
検索操作
検索者
大量の情報からの機械的抽出
表示
8

9. 系統的検索向けの
検索システムにとって「検索」とは
 検索命令で与えられた基準に従って、データ
ベース内の全レコード（1件1件のデータ）を適
合・不適合に機械的に選別し、適合レコード
の集合を作ること
9
■?

10. 検索は圧縮
 系統的検索の目標は「網羅的」だが、どんなに
がんばっても検索には細かい芸当はできない
使える情報が限られている
検索機能は単純な選別以上のものではない
 検索の役割は圧縮
不可視な集合から、人手で扱える集合に
10
＋集約された情報（件数など）

11. スクリーニングとの分担
 書誌データベース（107～9件）
↓ 検索: 機械的な選別過程
 出力される検索結果 （102.5～4.5件）
↓ 1次スクリーニング: タイトル・抄録など個々に判断
 1次スクリーニング通過文献 （100.5～2件）
↓ 2～次スクリーニング: 本文精査・同質性確認
 採択文献（included studies） （100～1.5件）
11

12. 検索効率の指標―再現率と適合率
 再現率（recall）＝検索された適合文献／データベース中の全適合文献
＝感度（sensitivity） ・・・同一の指標、「どの程度網羅的か」
 適合率（precision）＝検索された不適合文献／検索された全文献
≠ 特異度（specificity） ・・・異なる指標だが、両者の意図はほぼ同じ
検索結果
データベース 検索 再現率: 2÷4=0.5 (50%)
適合率: 2÷5=0.4 (40%)
●＝適合文献、○＝不適合文献とすると、
ノイズ
12

13. 再現率重視
 再現率重視: 漏れが生じないことを最優先
ただし、何が何でも再現率100%ではない
 検索の限界を自覚する
 他のアプローチ（引用調査など）も考慮する
 適合率は低くてもよい: ノイズが多発しても、
スクリーニング能力を超えない範囲なら許容
→ 限界的な目標件数（≦スクリーニング能力）を
予め設定し、その中での再現率向上を目指す
13

14. 技術編
• 系統的検索への技術的要求
• 主題検索
• 構成的検索
14

15. 系統的検索の条件
 1. 網羅的・不偏的であり、検索それ自体によっ
て新たなバイアスが持ち込まれないこと
⇔ 部分的・恣意的
 2. 検索方法が合理的であること
⇔ 思い付き的
 3. 検索過程がすべて検索者のコントロール下
にあり、説明可能/再現可能であること
⇔ 結果がすべて
 方法論の客観化―方法論的限界への自覚
発見的探索では
これが正しい
15

16. 網羅的・不偏的であるために
【データベース自体に起因する漏れ・偏りへの対策】
 検索を文献探索方法の1つと位置付ける
 引用調査、被引用追跡（逆引き）、人に聞く、レビューを調べる、ハ
ンドサーチ など
 複数種類のデータベースを検索する
 MEDLINE+EMBASE+CENTRAL + その他
【データベース検索によって発生する漏れへの対策】
 主題検索を軸とする検索方法
 適切な検索目標・検索手順・終局点
16

17. 合理的かつ説明可能であるために
 コントロール
同じデータベースでも、できる限り検索者のコント
ロールが働く検索システム/インターフェイスを使う
 構成的検索
検索過程を構成要素に分解し、それを合理的に
組み立てる
⇔ 詰め込み型検索 （発見的探索型）
 履歴（ヒストリ）を残す 17

18. 検索システムによって異なるコントロール
18
系統的探索向け ← → 発見的探索向け
（命令そのまま） （裏でいろいろ）
Google などの
「検索エンジン」
PubMed
(Search Box)
医中誌Web
（検索画面での、フィールドを指定しないキーワード検索）
EBSCOhost
OvidSP
PubMed(Advanced)
など

19. 技術編
• 系統的検索への技術的要求
• 主題検索
• 構成的検索
19

20. 検索メソッド
 検索において何を評価-選別の基準にするか
 キーワード検索
 タイトル・抄録などに現れた語句を基準にする
 主題検索
 その文献の内容（を示す主題索引）を基準にする
その他の索引項目による検索
 引用検索、構造検索・反応検索、著者検索など
 履歴検索
 検索済みのヒットレコードの集合を基準にする検索 20

21. キーワード検索
 指定された文字列（日本語検索）/単語（英語検索）と
の一致/不一致を評価
 Cd（カドミウム）→ ●diagonal CD ●CD-ROM ●CD 22
 がん → ×癌 ×白血病 ×leukemia ●がんこな
フレーズは “ ” で括る “tests and measures”
略語とスペルアウト、”－” 有り無しなどは、それぞ
れを検索
フィールドを指定
 PubMed : test[ti] （タイトル）, test[tiab] （タイトルと抄録） など
 OvidSP : test.ti （タイトル）, test.ti ,ab （タイトルと抄録） など 21

22. キーワードの表現力を高める
 truncation （部分一致）
gene* → ○gene ○genes ただし ●general ●Geneva
※「*」など部分一致を表す記号は、検索システムにより異なる
 proximity search （近接演算）
PubMed では使えない?
2語が指定された語数以内に現れればヒット
※文法や実際の動作は検索システムにより異なる
※説明通り正しく動作しない場合があるので注意
 near: 順不同 with: 指定された順
diagnostic [with 2] accuracy → ○diagnostic test accuracy22

23. キーワード検索では全体は見えない
例．院内感染 hospital infection, nosocomial infection …
 catheter-related fungemia
 nurse to patient transmission
 TB morbidity among long-term care nurses
･･･ [より具体的な表現]
例．老人
 老年期 高齢者 非若年層 シルバー お年寄り [類義語表現]
 Aさん(1932年生) B地区居住者18名 (66～89歳) [具体的表現]
 息子夫婦に介護される在宅認知症患者事例 壮年期での発症
から30年後の追跡調査 年齢上位25%層 [関係性表現]
 対象者の内訳は表1～3を参照 [構成的な表現]
→ たまたま表現的に一致した一部分しか見えない
23

24. 主題検索
 文献の内容で探す―言葉で探すのではない
データベース作成時に付与された主題索引を使用
 （データベース作成時）
文献を主題分析し、主題カテゴリーでコード化
カテゴリーはシソーラスthesaurus（辞書）で統制
→（検索時）
シソーラスの主題カテゴリーで検索
→ そのテーマの文献がひとまとめに 24

25. シソーラス thesaurus
 主題カテゴリーを統制するための辞書
「言葉の統制」ではなく概念のカテゴライズする
見出し語（descriptor/heading）は概念へのラベル
 カテゴリー間は上下関係で体系化されている
より広い（上位の）概念、より狭い（下位の）概念の
関連付け
※「MeSH」（Medical Subject Headings）は
MEDLINEの、EMTREE は EMBASE のシソーラ
スの固有名詞 25

26. 主題検索の手順
 検索しようとする概念に相当するカテゴリーをシ
ソーラスで探す （PubMedではMeSHで検索）
 （必要なら）検索オプションを設定
◎ explode 下位のカテゴリーも同時に検索
× major descriptor その論文の主要テーマの時だけヒット
△ subheadings 特定の切り口に特化する
 検索実行 （Add to search builder → Search PubMed）
26

27. 副標目 subheading
 主題カテゴリーに付加し、特定の切り口に限定
 Diabetes Mellitus + blood （血液に関わる文献に限定）
 Bone + radiography （骨の放射線画像・放射線診断）
Subheading だけ別に独立して検索し、掛け合わ
せなどで使うこともできる
 その文献のどの MeSHタームへの付加でもヒット
 Subheading と同じ意味の主題カテゴリーがシ
ソーラスにある場合もある―必要なら両方試す
 Diagnosis, Radiography, Ultrasonography など
27

28. 見出し語に惑わされない
 シソーラスの見出し語（※）は、概念カテゴリー
に付与されたラベル
※subject heading; descriptor; thesaurus term;
シソーラス用語 ×キーワード（不適切な表現）
 概念カテゴリーとして適切であれば、ラベルは
どうでもよい
 MeSH はスコープ（PubMed では見出しの下）を見れ
ば、MEDLINE上での定義がおおよそわかる
28

29. 主題検索の限界
 データベース作成時に索引化の過程が介在
△検索者とインデクサー・著者との見方の違い・ミス
×シソーラスにない概念, シソーラス未適用の年代, 未索
引レコード（in process, as supplied by publisher, etc.）
→ ここで検索もれが生じる
 意図せざる不要文献も多数ヒット
 カテゴリーの意味的広がり 新生物∋良性、悪性
 主題と研究の関係の多様性 心疾患∋既往、対照
・・・とはいえ、あるテーマに沿って文献を網羅的に
押さえるには最も良質で効率的な方法 29

30. キーワード検索は補完的に使う
 基本的には、主題検索で「面」としておさえる
 通常、適合文献の大部分はこれでおさえられる
 疾患・薬物などはほぼこれだけで十分
 そのトピックスが主題索引として索引化されて
いない研究もあり得ると考えられる場合はキ
ーワード検索し、主題検索に OR で追加する
 シソーラス上に適当なカテゴリーが無く、上位でもだめ
 研究によっては同類の中の one of them として現れる
 論文の中では端役に過ぎなくてもレビューにとって重要
30

31. 技術編
• 系統的検索への技術的要求
• 主題検索
• 構成的検索
31

32. 1つのステップには1つの検索語
 発見的検索のように詰め込まない
×「大腸がん 内視鏡 早期発見」 → 1つずつ別に検索
→ 試行錯誤、透明性
 1検索語ごとの情報が分析的に得られる
 さまざまな組み合わせが試せる
 AND, OR によりどの程度増減したかわかる
 例外
 キーワード検索で類似のキーワードをORでつなぐとき
 文法的に複数検索語で構成される検索式 32

33. AND は1項対1項で #1 AND #2
 AND は情報が減る過程 → 多項の AND
で一気に減ると、問題点が分析できない
A B
A not B B not A
A and B
A or B
33

34. ブロック化
 全体的な検索課題を概念的要素に分析した
ブロックをANDで結合する
A or B or C ・・・ M or N ・・・ R or S ・・・and and ・・・
基本形は:
検索語 or 検索語 ・・・ でブロックを作る（同質な要素の累積）
→ ブロックを and で掛け合わせる（異質な要素による互い
の制約）
→ 絞り込みはブロック化のプロセスの外に置く: 以上がすべ
て終了後、最後に研究デザインなどの形式的な絞り込み
ブロック ブロック ブロック
34

35. 検索はリスク
 AND を重ねれば重ねるほど、検索漏れのリス
クは増大する
 優先順位を決め、それに従って検索する
 より確実に検索でき、かつ重要なブロックが優先
 目標件数を下回ったら、そこで検索を止める35
ブロック ブロック ブロックand and ・・・
件数は絞られていくが ・・・ 思わぬ検索漏れのリスクも増大

36. ブロックに順位を付ける
 検索順序は、高再現率ブロック→低再現率ブロック;
各ブロックの内部構成は、高再現率ブロックでは（高
再現率の検索語がブロックの中心にあることを前提
に）適合性重視、低再現率ブロックでは再現率重視
 再現率が高い検索語を持つブロック（＝先行して検索
されるブロック）は、補完的で適合率の低い検索語（キ
ーワード検索）を抑制し、不必要にノイズを増やさない
 ここでノイズが多くなり件数が膨れ上がると、再現率確保の難
しい後続ブロックに適合率向上の負担が集中し、結果的に検
索過程全体としての再現率が低下する
 後続ブロックは、再現率をそれ以上低下させないことを
最重視する ・・・ 検索しないで済めばそれが最善 36

37. 実際編
• DTA-SR の検索の構成
• 検索式の改良
37

38. フレーム（PICOT）からブロックの構成へ
 すべてを検索しなければならないわけではない
 再現率低下（検索漏れ）の危険性が高いブロックはでき
るだけ検索しない → T-I（ -C（-P-O）） の優先順位で
PICOT 重要性 危険性 ■特に検索しない場合 ☆特に検索する場合
T 高 低 ■I が決まれば T も （稀に、T が決まれば I も）ほ
ぼ決まる場合（例. がんマーカー） → T か I のど
ちらか一方のみ、または T or I にするI 高 やや低
C
研究目的
による
やや高
■ごく一般的な検査手法の1つである場合、または
検索困難な場合（例. 問診）
P やや低 低～高
☆問題構成上きわめて重要で、かつ確実に検索で
きる患者属性（例. 新生児） ■状況（例. 入院前）、
症状（例. 痛みが強い）、一般的な属性（例. 男）
O 低 高 ☆副作用研究など 38

39. I-C の構成には幾つかの選択肢がある
※ここには主なものを示す
T I C P OAND
「I and C」型: I と C 両方を含む研究のみを探す
AND ANDAND
「I or C」型: I と C のどちらかを含む研究を広く探す
T I C P OAND AND ANDOR
「I 」型: C は度外視し、I を含むことだけを条件に探す
T I P OAND AND AND
（ ）
（ ）
（ ）39

40. 選択はレビュー方針に従う
ブロック構成の型 メタアナリシス 検索に関して予想される問題
I and C １研究内での直接比較 Cの検索の不確実性による漏れ
I
１研究内での直接比較
I 単独での評価
研究間比較 Cに検索漏れ‐バイアスの可能性
I or C 研究間比較 スクリーニング件数が過大になる
 実際のレビューでは I 型が多く、IandC型、IorC型はごく少数
 ここでは検索上の問題だけ挙げたが、これらとは別に分析に関係する問題（例えば
直接比較は該当研究数が過少になりやすく、研究間比較は研究間の異質性を考
慮しなければならない）もあり、それらをも考慮した上でどんな分析をするか―その
ためにどんな文献収集が必要か―という手順で考えられなければならない。
40

41. 絞り込みは最後、必要最小限
絞り込みはしばしばバイアスの源になる
→ バイアスを伴う絞り込み、根拠のない絞り込みはしない
×英語文献に絞る
×会議録（meeting abstract) を除外 ※MEDLINEではもともと除外済
×合理的理由なく出版年を限定
絞り込みは高率で検索漏れの原因になる
→ 必要性・効果と検索の確実さのバランスを考える
×「認知症高齢者の・・・」の「高齢者」
▲DTAに絞るための “sensitivity” などのキーワード検索
▲「フィルタ」
T I C, P, ・・・ 絞り込み→ ) (→(→ )
41

42. 効果/リスクのバランスを考える
手法
期待される
減量効果 ※1
一般的に見込ま
れるリスク
リスクへの対策
AND による主題
的な掛け合わせ
○
ブロック毎の検索
漏れの相乗効果
確実性・重要性の低い
ブロックは検索しない
humansに限定 × 道連れ除外 Not-Not
出版年を絞る ×～△ 恣意的な除外
合理的理由が無けれ
ば絞り込みしない
年齢層の絞り込み ×～△ 無用な絞り込み 絞り込みをしない
言語を英語に絞る × 情報バイアス 絞り込みをしない
研究デザインによ
る絞り込み
△～○
見解の相違、
コーディング不備
DTAではできるだけ使
用しない
DTAフィルタ △～○ 無用な絞り込み 使用しない
※1 MEDLINEで適切に使用した場合の経験的な効果レベル。○は元の件数の1/10以下への
減量、×は減量分が元の数の1/10前後（1/101±0.5）のレベル、△はその中間。
42

43. 実際編
• DTA-SR の検索の構成
• 検索式の改良
43

44. 準備と試行錯誤
 データベースはブラックボックス
→ 正しい検索のしかたはわからないがスタート地点
系統的検索にとって試行錯誤は本質的に不可欠
検索過程で情報を引き出し、改良、評価
 最短距離を求めず、
事前の準備―試行錯誤―事後のチェック
をしっかりと
44

45. ブロックを改良する
 よりよい検索語を探し出す
 シソーラスを探検する
 Pearl Growing
キーワードも、使う以上は中途半端にしない
 同じ語句でも、略語-スペルアウト、複数形、フレーズ構
成の多様性などに注意する
 効率が悪い検索語は除く
 適合率が低い検索語、ユニークなヒットが無い（再現率
向上に寄与しない）検索語は除外する
← 検索語の有効性評価をしっかりと 45

46. Pearl Growing
 より良い検索語（特に MeSHタームなどの索
引語）・検索方法を見付け出す手法の1つ
 既知の適合文献にどんな索引語が付与され
ているかを調べる
PubMed の場合は、画面の「MeSH Terms」を開
いて MeSHタームをチェックする
使えそうな索引語については、出現頻度や他の
索引語との組み合わせにも注意する
46

47. OR: 効果を見ながら追加する
→ 新たに追加（OR）される検索手法
（キーワード検索の拡張、データベースの追加）
↑
累
積
効
果
(log10)
結果総件数＝要スクリーニング件数
スクリーニング限界
適合文献
47

48. AND: どこで止めるかを考える
→ 新たに追加（AND）されるブロック
（ブロック、絞り込み、フィルタ）
↑
累
積
効
果
(log10)
結果総件数＝要スクリーニング件数
スクリーニング限界
適合文献
第1ブロックの適合文献数
48

49. NOT で差分の件数・内容を見る
 2つの検索方法間の質的違いが確認できる
49
A B
A not B B not A
A and B
A or B
手順2 続き
9 3 not 5 1
10 3 not 7 0
11 5 not 7 75
12 7 not 5 75
・2-3 は 6-7 に包含されるので不要
・11 の 75 件が（DTA であるかどうか
は別にしてテーマ的に）的外れなもの
ばかりなら、4 の検索語選択は不適
切で 4-5 は不要と考えられる

50. DTAフィルターによる絞り込み
→ [Cochrane] Handbook for DTA Reviews, 7.4.11
 できるだけ避ける
フィルターが原因で必要文献を落とす可能性
・・・ ここまでの主題的検索で発生する検索漏れと異な
り、他の検索式の組み合わせで補完する余地が無い
Cochrane によると、各種フィルターの感度は:
 20.6～86.9, 平均86, 73～91, 90～100, 37～83,
53.2～100, ?～98.4 ※100未満は検索漏れに直結
 結果件数が手に負えないほど多ければ使う
50

51. DTAフィルターの例
1. exp ‘sensitivity and specificity’/ ← OvidSP の文法、主題検索、explode
2. sensitivity.tw. or specificity.tw. ’ ← タイトルと抄録のキーワード検索
3. (predictive adj3 value$).tw. ← 同、truncation し、3語以内で近接演算
4. exp Diagnostic errors/
5. ((false adj positiv$) or (false adj negativ$)).tw.
6. (observer adj variation$).tw.
7. (roc adj curve$).tw.
8. (likelihood adj3 ratio$).tw.
9. likelihood function/ ← 主題検索、explode なし
10. [T の 主題検索、subheading= diagnosis, radiography, radionucleic
imaging, ultrasonography]
11. or/1–10 ← 1 or 2 or 3 or … or 10 と同じ
Vincent S, Greenley S, Beaven O. Clinical Evidence diagnosis: Developing a sensitive
search strategy to retrieve diagnostic studies on deep vein thrombosis: a pragmatic
approach. Health Info Libr J. 2003 Sep;20(3):150-9. より Strategy C （一部改変）51

52. 本当に「網羅的」か？
― 事後確認と補充検索 ―
 主要な既知文献が検索結果に含まれている
か確認する
既存のSRで使用されている対象文献
個人的に既知の重要文献
 クロスチェック
発見的検索（PubMed でも Google でも）
逆引き（できれば Web of Science で）
×複数人による独立の検索・・・推奨ではない
52

53. 演習
 11:00～12:30（検索、発表、講評）
 PubMed で、例題 1 を検索
 時間が余ったら例題 2 、例題3も検索
http://pubmed.gov
シンプルな検索方法でよい
 質問および何か問題が生じた時は、挙手
 検索方法または履歴（history）を記録
53

54. 例題 1
P: 頸部中心静脈カテーテル留置を受けた患者
I : 超音波検査による正しい挿入の確認 （誤挿入でない）
C: なし
O: 感度、特異度など
T: 頸部中心静脈への適切なカテーテル留置
リファレンス・スタンダード： 胸部レントゲン写真
54
MeSH Terms & subheadings
※下記はヒント程度。他に適当なものがないか、explode するべきかどうかなど各自調べること。
Central Venous Catheters ; Catheterization, Central
Venous ; Jugular Veins ; Neck ; Veins ; Ultrasonography ;
Ultrasonics ; ultrasonography

55. 例題 2
P: 尿路感染症の患者
I : PSA
C: なし
O: 感度、特異度など
T: 急性前立腺炎
リファレンス・スタンダード： 泌尿器科医による診断
55
MeSH Terms & subheadings
※下記はヒント程度。他に適当なものがないか、explode するべきかどうかなど各自調べること。
Urinary Tract Infections ; Prostate-Specific Antigen ;
Prostatitis

56. 例題 3
P: 身体診察にて多関節炎疑いの患者
I : 超音波検査による正しい挿入の確認 （誤挿入でない）
C: なし
O: 感度、特異度など
T: 関節炎（原因疾患としては主に関節リウマチを想定、他に
もパルボウイルスや痛風などいろいろありうる）
リファレンス・スタンダード： 関節MRI
56
MeSH Terms & subheadings
※下記はヒント程度。他に適当なものがないか、explode するべきかどうかなど各自調べること。
Arthritis ; Ultrasonography ; Ultrasonics ; ultrasonography