Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

うつ病と意思決定

2,396 views

Published on

国里愛彦 (2012). うつ病と意思決定:計算論的臨床心理学からみたうつ病  シンポジウム「不安、うつ、妄想に挑む心理学:臨床と基礎の融合を目指して」専修大学社会知性開発研究センター/心理科学研究センター主催,専修大学,6月16日

Published in: Science
  • Be the first to comment

  • Be the first to like this

うつ病と意思決定

  1. 1. うつ病と意思決定 -計算論的臨床心理学からみたうつ病- 早稲田大学人間科学学術院 国里愛彦 1
  2. 2. うつ病患者さんの意志決定は計算可能? 2
  3. 3. 本日の話題 うつ病について うつ病の意志決定 強化学習理論とDoya仮説 うつ病とDoya仮説 計算論的臨床心理学 3
  4. 4. 本日の話題 うつ病について うつ病の意志決定 強化学習理論とDoya仮説 うつ病とDoya仮説 計算論的臨床心理学 4
  5. 5. うつ病 女性の10~25%,男性の5~12%が生涯に 一度は経験 日本では,全疾患中2番目に寿命・健康 の損失が高い 0 2000 4000 6000 8000 10000 12000 14000 16000 18000 20000 1970 1972 1974 1976 1978 1980 1982 1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 非常に多くの研究 がなされている 5
  6. 6. うつ病の症状 • 抑うつ気分 • 興味・喜びの減退 • 体重減少(増加) • 不眠(過眠) • 精神運動制止(焦燥) • 易疲労性 • 無価値感・罪責感 • 集中力低下・判断困難 • 自殺念慮  複数の症状の集 合体がうつ病  うつ病は均質で はない  ポピュラーな疾 患のわりに研究 がしにくい 6
  7. 7. 本日の話題 うつ病について うつ病の意志決定 強化学習理論とDoya仮説 うつ病とDoya仮説 計算論的臨床心理学 7
  8. 8. 研究上で何がコアなのか? 中間表現型:表現型と遺伝子型の中間 となる表現型 うつ病の中間表現型 (1)アンヘドニア(快感情の喪失) (2)ストレス感受性(神経症傾向など) (3)セロトニン欠乏手続きによる気分悪化 (4)過剰なコルチゾール反応 Hasler et al., Neuropsychopharmacology, 2004 8
  9. 9.  好きな飲み物 (McCabe et al., Psychopharmacology, 2009)  金銭的報酬 (Pizzagalli et al., Am J Psychiatry,2009)  好きな音楽 (Osuch et al., Neuroreport, 2009) うつ病のアンヘドニアと脳機能 報酬処理に関わる腹側線条体の活動が うつ病患者において低下 9
  10. 10. うつ病のアンヘドニアと意志決定 うつ病では,再認や弁別課題時の報酬 が得られる方への反応バイアスが低下 (Henriques et al., Cognition & Emotion, 2000;Pizzagalli et al., J Psychiatr Res, 2008) 強化歴の統合に問題との指摘  顔の口の長さが長いか 短いか?  片方の回答に偏った報 酬を与えると,その回 答に反応が偏る(反応 バイアス) 10
  11. 11. 本日の話題 うつ病について うつ病の意志決定 強化学習理論とDoya仮説 うつ病とDoya仮説 計算論的臨床心理学 11
  12. 12. 研究知見が増えて,うつ病は理解できた? 複数の小さな仮 説が乱立し,全体 像が捉えられない 意志決定の基礎 的な枠組みから, うつ病の知見を整 理し,新たに検討 する必要がある 12
  13. 13. 強化学習 強化学習(Sutton & Barto,”Reinforcement Leatning”,2000) 「長期的にみて報酬を最大化するために, 環境の状態に対して,特定の行動を学習 するエージェントについての計算論的な 枠組み」 オペラント条件づけ 機械学習:計算科学 13
  14. 14. 強化学習 自分の行った行動と環境の状態の評価 (報酬)から学習する(教師なし学習)。 報酬 環境 行動 報酬 環境 行動 機械 ヒト 14
  15. 15. 強化学習 Qlearningモデル(Watkins, Machine Learning,1989): 状態と行動を合わせた評価値(Q値)を 更新することで学習するモデル         ),(),(),(),( 11 max ttt a ttttt asQasQrasQasQ  α:学習率(大きいほど学習が早い) γ:減衰係数(大きいほど先を見通した行動が出来る) ←現在の行動 Aの価値(QA) 現在の行動 Aの価値(QA) 予想した価値と実際得た報酬 との差(Temporal difference誤 差:TD誤差) +α× 15
  16. 16. 強化学習 最も価値の高い行動を選択することを モデル化 学習パラメタ(τ:温度)によって,価値の 差に敏感に反応する程度が制御される。 温度高いとランダムな選択をする P(ai | s) = exp Q(s,ai ) t é ëê ù ûú exp Q(s,aj ) t é ë ê ù û új=1 m å 16
  17. 17. 神経修飾物質と学習パラメタ 強化学習における学習パラメタと神経 修飾物質に関する仮説(Doya, Neural networks, 2002; Doya, Nature neuroscience, 2008) ドーパミン:TD誤差(報酬予期 と実際の報酬との誤差) アセチルコリン:α(学習速度) セロトニン:γ(減衰係数) ノルアドレナリン:τ(温度) 17
  18. 18. 本日の話題 うつ病について うつ病の意志決定 強化学習理論とDoya仮説 うつ病とDoya仮説 計算論的臨床心理学 18
  19. 19. うつ病とドーパミン・TD誤差 うつ病ではドーパミンの低下が報告され ており,ドーパミンが関与するTD誤差に も低下が予想される。 ↓ドーパミン:↓TD誤差(報酬予 期と実際の報酬との誤差) アセチルコリン:α(学習速度) セロトニン:γ(減衰係数) ノルアドレナリン:τ(温度) 19
  20. 20. ドーパミンとTD誤差 予想よりも多い報酬が出る →ドーパミン活動(増) 予想した通りの報酬が出る →ドーパミン活動(変化なし) 予想した報酬が出ない →ドーパミン活動(減) 報酬予測と実際の結果との ズレに反応(Schultz et al., Science, 1997) 学習前 報酬予期<報酬 学習後 報酬予期=報酬 報酬なし 報酬予期>報酬 20
  21. 21. うつ病のTD誤差低下 古典的条件づけ時のTD誤差に関わ る脳活動を検討 うつ病はドーパミンの投射経路上の 腹側線条体の活動が低下 Kumar et al., Brain, 200821
  22. 22. うつ病とセロトニン・γ(減衰係数) うつ病ではセロトニンの低下が報告され ており,セロトニンが関与するγ(減衰係 数)も低下が予想される。 ↓ドーパミン:↓TD誤差(報酬予 期と実際の報酬との誤差) アセチルコリン:α(学習速度) ↓セロトニン:↓γ(減衰係数) ノルアドレナリン:τ(温度) 22
  23. 23. 遅延報酬予測とセロトニン低下 セロトニン量を低下させ,遅 延報酬予測への影響を検討 (Tanak et al., PLoS ONE, 2007; Schweighofer et al., J Neurosci, 2008) Qlearningモデルを用いて, 減衰係数(γ)を推定した。 行動とfMRIによる脳機能を 検討している。 23
  24. 24. 遅延報酬予測とセロトニン低下 行動:セロトニン低下は将来報酬の見通 し(γ)を低下させる(Schweighofer et al., J Neurosci, 2008) 脳機能:セロトニン低下により,短期的報 酬予測に関わる線条体腹側領域の回路 のみが活動するように(Tanak et al. , PLoS ONE, 2007) 24
  25. 25. うつ病患者と将来報酬予測低下 19 Fig.1A うつ病患者と健常 者で遅延割引課題 を実施 うつ病患者におい て,将来報酬予測 が低下 (Takahashi et al., Neuro Endocrinol Lett, 2008) 時間 主 観 的 な 価 値 赤線:健常対照者 黒線:うつ病患者 25
  26. 26. うつ病と・τ(温度) うつ病ではノルアドレナリンの低下が報 告されており,ノルアドレナリンが関与す るτ(温度)の増加が予想される。 ↓ドーパミン:↓TD誤差(報酬予 期と実際の報酬との誤差) アセチルコリン:α(学習速度) ↓セロトニン:↓γ(減衰係数) ↓ノルアドレナリン:↑τ(温度) 26
  27. 27. うつ病とノルアドレナリン・τ(温度) 動物実験では,ノルアドレナリンとτ(温 度)との関連性が示唆されている (Doya, Nature neuroscience, 2008) うつ病とノルアドレナリンやτ(温度)との 関連をしらべた研究はない 27
  28. 28. 研究の疑問と方法 疑問1:抑うつは,報酬に基づいた意志決 定に問題を引き起こす? 疑問2:抑うつは強化学習時のτ(温度)に 影響する? 大学生の抑うつの高群・低群を対象に Frankの確率選択課題(Frank et al., Science, 2004)を 実施 *Center for Epidemilogic Studies Depression scale(CES-D)のカットオフ値利用 Kunisato et al., J Behav Ther & Exp Psychiat, in press28
  29. 29. ○ +10 yen + feedback choice + 750ms 350ms + 650ms 500ms × -10 yen or reward punishment 確率選択課題:学習セッション 刺激対(AB,CD,EF)の選択に 報酬か罰がFBされる。金額 を最大にする選択をする 報酬のFB確率 ①A(80%)vs B(20%) ②C(70%)vs D(30%) ③E(60%)vs F(40%) 29
  30. 30. + choice 500ms 750ms + 確率選択課題:テストセッション 学習した刺激がランダムな組み合わせで呈 示される(ex. AC,BD,AD・・・)※FBはなし A刺激対でAを選ぶ→高確率報酬刺激に基 づいた意志決定の程度 B刺激対でBを避ける→高確率罰刺激に基 づいた意志決定の程度 30
  31. 31. 抑うつと報酬に基づいた意志決定 抑うつが高いと, 報酬に基づいて意 志決定する傾向 が低い アンヘドニアに関 する先行研究と一 致する結果 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 Choose A 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 Avoid B 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 Training pair Theprobabilityofcorrectchoice(%) a b c depressed non depressed * Fig. 2. Proportion of choices made during the test session. The proportion of choose A stimulus (a), the proportion of avoid B stimulus (b), the proportion of correct selection in the original pairs (c). Error bars represent 95% confidence intervals. 選 択 確 率 (%) 報酬に基づいた選択 罰に基づいた選択 抑うつ高群 抑うつ低群 31
  32. 32. 抑うつとτ(温度) 抑うつが高いと,τ(温度)が高 くなる(行動選択のランダムさ が増す) 抑うつが高いと直近のフィー ドバックに右往左往してしまう 非臨床群のデータではある が,Doya仮説とも一貫する 抑うつ高群 抑うつ低群 τ( 温 度 ) 32
  33. 33. 強化学習理論からみたうつ病 ↓ドーパミン:↓TD誤差(報酬予 期と実際の報酬との誤差) アセチルコリン:α(学習速度) ↓セロトニン:↓γ(減衰係数) ↓ノルアドレナリン:↑τ(温度)         ),(),(),(),( 11 max ttt a ttttt asQasQrasQasQ  報酬予期と報酬との誤差に鈍感になり,将 来の報酬を低く見積もり,選択肢の価値に 従った意志決定が難しい 33
  34. 34. 強化学習理論の利点 複雑な意志決定を,強化学習の枠組みか ら数理的に整理できる 学習・意志決定過程の内潜的な学習パラ メタを推定・評価できる モデルベースな研究によって,モデルから 新たな研究知見や研究方法の創出が期 待できる 34
  35. 35. 知見の臨床応用 うつ病に対して,行動理 論に基づく行動活性化 療法の有効性が確認 (岡島・国里他,心理学評論,2011) 強化学習は行動活性化 療法などの認知行動療 法の理論的な基盤を補 強し,さらなる治療工夫 をもたらす可能性がある 35
  36. 36. 数理モデルの変化 2012年European Journal of Neuroscience誌 で強化学習の特集が組まれた シンプルなモデルを超えて,環境に対す る信念なども含めた複雑な臨床状況に も対応できるモデルを! 36
  37. 37. 本日の話題 うつ病について うつ病の意志決定 強化学習理論とDoya仮説 うつ病とDoya仮説 計算論的臨床心理学 37
  38. 38. 計算論的臨床心理学 (Computational Clinical Psychology) 計算論の枠組みから臨床心理学的問 題に取り組む学問(グラフ理論,強化学 習理論,ゲーム理論などを臨床へ) 精神医学への計算論の応用が始まった が,基礎と臨床実践との解離は大きい 基礎と臨床をつなぐことが計算論的臨 床心理学の使命 38
  39. 39. 基礎研究者 認知科学・行動科学・計算論 的神経科学・統計学・工学など 臨床家 臨床心理士・医師・ コメディカル 計算論的臨床心理学 基礎的な知見 最先端の技術 理論 臨床実践での アイディア・疑問 研究知見へのFB 基礎的知見を臨床研究 に落とし込む(患者に実 施可能な実験課題など) 両者の対話の仲介 39
  40. 40. うつ病患者さんの意志決定は計算可能? 40

×