LLMエージェントを使った社会シミュレーションの研究 (Park et. al., 2023) では、LLMのプロンプトを工夫することで実際の人間の行動や人間同士のインタラクションを再現するシステムが提案されました。このように、本物の人間に近い行動をするエージェントを大規模システム内でシミュレートすることで、社会科学的に興味深い様々な問いを検証することができます。この資料では、この系譜の研究についていくつか紹介しています。

1. LLMを使った社会科学の展開
Ryo Adachi
2/15/2024

2. 去年のこと
● 4/7/2023: StanfordのPark et. al.のsocial simulacra論文がarxivにのる
● 4/2023~: Xでバズり、さまざまなメディアで取り上げられる
● 8/2023: レポジトリが公開される
● 10/2023: UISTのbest paperに選ばれる
・・・
● LLMエージェントの社会科学への活用を調査
Park et. al., 2023
2

3. アジェンダ
● Social Simulacra論文のrecap
● 筆者らの考えるsimulacraの活用例
● 引用している論文の紹介
3

4. アジェンダ
● Social Simulacra論文のrecap
● 筆者らの考えるsimulacraの活用例
● 引用している論文の紹介
4

5. Social Simulacra論文のrecap
● 生成エージェント (generative agent)
○ 生成AIを利用した“believable”な人間行動をシミュレートするエージェント
● 活用先
○ コミュニティデザイン
■ コミュニティに“荒らし”ユーザーが現れたら
○ 仮想トレーニングへ活用
■ 精神疾患の治療
○ 仮想世界の構築
■ “what if”シナリオの検証
5

6. 社会シミュレーション
● 25人のエージェントをsmallvilleで生活させる
○ 各エージェントのペルソナはプロンプトで規定
○ モデル: chatGPT (GPT3.5-turbo)
● エージェントは人間らしい行動をする
● その他みられる現象
○ 情報拡散
■ 選挙への立候補の情報
○ 協力
■ バレンタインパーティーの準備
Park et. al., 2023
6

7. 人間らしさを実現する工夫
● Retrieve
○ プロンプトにいれる記憶を選定する
○ recency, importance, relevanceで重み付け
● Reflect
○ 記憶をより抽象的な概念に昇華させる
● Plan
○ 再帰的に生成
■ 1日の予定→1時間ごとの予定→各予定の詳細
○ 環境の変化に適応する
■ “トースターから煙がでています、どうしますか？”
全レコード
Park et. al., 2023
7

8. 人間らしいか？
● 問題点
○ Fail to retrieve : 聞いたことを思い出せない
○ Hallucination : ないことをでっちあげる
● 評価方法
■ 各モデルのエージェントにインタビュー
● 自己紹介をしてください
● Aさんはどんな人ですか？
● 朝食が燃えています、どうしますか？
■ 被験者が回答の人間らしさをランク付け
Park et. al., 2023
8

9. アジェンダ
● Social Simulacra論文のrecap
● 筆者らの考えるsimulacraの活用例
● 引用している論文の紹介
9

10. 活用例（Park et. al., UIST, 2022）
● ソーシャル空間の設計
○ SNS, コミュニティ, オフラインのイベント , etc
○ 大人数の被験者で事前に実験することがむずかしい
● social simulacraでできること
○ インタラクションの生成
■ 予期せぬポジティブ、ネガティブな発言の発見
○ What if
■ 荒らしユーザーが発言したら
■ モデレーターが介入したら
■ コミュニティのルールを変更したら
○ マルチバース
■ いくつもの可能性をシミュレートできる
● reactive → proactiveにコミュニティ設計ができる
Park et. al., 2022
10

11. アジェンダ
● Social Simulacra論文のrecap
● 筆者らの考えるsimulacraの活用例
● 引用している論文の紹介
11

12. 意見のダイナミクス (Chuang et. al., 2023)
● 10人のLLMエージェント (gpt3.5-turbo)
● 5つのトピック
○ 例：“地球は平らだ”
● 各ステップにおいて任意のペアで意見交換
● 条件を変えて実験
○ トピックのフレーミング
○ 意見の初期分布
○ 確証バイアス
● 結果
○ バイアスの影響
■ 正しい情報に収束しがち
○ 確証バイアスが意見の分断をうむ
Chuang et. al., 2023
12

13. SNSのシミュレーション (Gao et. al., 2023)
● 実際のSNSネットワーク上のエージェント
○ 約10000ノード
● “男女差別”, “原子力発電”の2つのトピックについて
以下の3つをLLMでシミュレーション
○ 感情：calm, moderate, intense
○ 態度：賛成、反対
○ 反応：拡散、新規投稿、何もしない
● 結果
○ 個人レベルの行動を再現
○ 情報、感情、態度の伝播を再現
Gao et. al., 2023
13

14. SNSのシミュレーション (Törnberg et. al., 2023)
● 500人のLLMエージェント
○ サーベイデータを活用してペルソナを作成
○ 各エージェントは政治思想の近い30人をフォロー
○ 投稿に基づき反応をする（コメント、いいね）
● 3つのタイムラインロジックを考える
○ 1. フォロワーの中で反応が多い投稿
○ 2. 全体で反応が多い投稿
○ 3. 反対派閥の中で反応が多い投稿
● 結果
○ 3.においてもっとも発言の毒性が低く、
派閥間の交流が促進された
○ バイアスの影響
Törnberg et. al., 2023
14

15. マクロ経済シミュレーション (Li et. al., 2023)
● 100人のLLMエージェント
○ 意思決定：労働、消費
○ ペルソナ：名前、年齢、仕事、職業...
● 環境：労働、消費、銀行、政府
○ 相互に影響を及ぼす
■ 銀行は利率を変更
■ 政府は税率を変更
■ 労働 (時給) と消費 (価格) の需給関係
● 結果
○ 現実的な行動がみられる
e.g. “インフレの際は消費を抑える”
○ マクロ経済で知られる関係を再現
■ フィリップス曲線
■ オークンの法則
Li et. al., 2023
15

16. 参考
● Social Simulacra: Creating Populated Prototypes for Social Computing Systems. Park et. al., UIST, 2022
● Generative Agents: Interactive Simulacra of Human Behavior. Park et. al., UIST, 2023
● Simulating Opinion Dynamics with Networks of LLM-based Agents. Chuang et. al., arXiv:2311.09618v1, 2023
● S3: Social-network Simulation System with Large Language Model-Empowered Agents. Gao et. al.,
arXiv:2307.14984v2, 2023
● Simulating Social Media Using Large Language Models to Evaluate Alternative News Feed Algorithms Törnberg et
al., arXiv:2310.05984v1, 2023
● Large Language Model-Empowered Agents for Simulating Macroeconomic Activities. Li et. al.,
arXiv:2310.10436v1, 2023
● 役に立ったサーベイ
○ マルチエージェント(日本語) : https://speakerdeck.com/masatoto/llmmarutiezientowofu-kan-suru
○ LLM Multi-Agent Systems: Challenges and Open Problems. Han et. al., 2024
16