SlideShare a Scribd company logo
Obtaining Reliable Human Ratings of Valence, Arousal, and
Dominance for 20,000 English Words
JAIST 情報科学系 修士1年
林 貴斗(Hayashi Takato)
1
2022-01-22 論文紹介発表資料
Saif M. Mohammad
ACL2018 Cited:243
Abstract
2
• 因子分析の結果,意味の主要な次元は,valence・arousal・dominance(VAD)であることが分
かっている
• 新しいVAD辞書であるNRC VAD Lexiconを提案する
• クラウドファンディングを活用して、20,000単語のvalence・arousal・dominanceを人間が評
価した
• NRC VAD Lexiconでは,Best-Worst Scalingを用いることで,従来の評価方法を用いたアノ
テーションで問題となっていた一貫性の問題を解決した
• NRC VAD Lexiconは,既存のVAD辞書よりもはるかに信頼性が高いことが示された
• 年齢,性別,性格などの人口統計学的変数間で, valence・arousal・dominanceの共通理解に
統計学的に有意な差があることを示した
Related Work
3
• Russellら(1980, 2003)は,感情語の分析により,感情の3つの主要な独立した次元は,
valence(positiveness-negativeness),arousal(active-passive), dominance
(dominant-submissive)であることを示した
• Breadley and Lang(1998)は,アノテーターに1000語以上の単語のvalence・arousal・
dominanceを9点満点で評価させた.そして,複数のアノテーターによる評価を平均して,最終
的なスコアを得た.この辞書は「Affective Norms of English Worlds(ANEW)」と呼ばれる
• Warrinerら(2013)は,同様の方法を用いて,13,000語以上の単語を対象とした同様の辞書を
作成した
• これらのVAD辞書は,評価尺度を用いて作成されているため,異なるアノテーターによるアノ
テーションの不一致などの問題がある
Related Work
4
• 評価尺度の問題を解決するのがBest-Worst Scaling(BWS)という方法である.この方法では,
アノテーターにはn個のアイテム(一般的に4個)が与えられる.そして,質問ごとに「どのアイ
テムが一番良いか」と「どのアイテムが一番悪いか」を尋ねる.
• BWSは,4タプルを扱う際に特に効率的である.なぜならば,6つのアイテムペアのうち5つのア
イテムの順序を明らかにするからである.アイテムがA, B, C, Dのとき,AがベストでDがワース
トの場合,A>B, A>C, A>D, B>D, C>Dがわかる
• アイテムと関心のある特性との関連性を示す実数値のスコアは,アイテムが「一番良い」と選ば
れた回数と「一番悪い」と選ばれたか回数の単純な算術によって計算できる
Obtaining Human Rating
5
• アノテーターは一度に4つの単語(4タプル)を与えられ,最も高いvalence
( arousal/dominance )を持つ単語と最も低いvalence ( arousal/dominance )を持つ単語
を選択するように求められる
• このタスクはクラウドファンディング上で行われた
• データの2%は著者によって事前にアノテーションを行った.これらの質問はゴールドクエス
チョンと呼ばれている.もしアノテーターのゴールドクエスチョンに対する精度が80%以下に
なったら,さらなるアノテーションが拒否され,すべてのアノテーションが破棄される(信頼性
の確保)
• 最終的なVADスコアは,BWSの回答から求める.その単語が「一番良い」に選ばれた割合から
「一番悪い」に選ばれた割合を引いたものがスコアとなる.スコアは0から1の区間に線形変換す
る
Examining of the NRC VAD Lexicon
6
• NRE VAD LexiconとWarrinerら(2013)のLexiconスコアの間のピアソン相関rを計算し
た.arousalとdominanceの相関が特に低いことがわかる
• Russell(1980,)は,因子分析の研究を通して,valence・arousal・dominanceがほぼ独立し
た次元であることを発見した.しかし, Warrinerら(2013)のLexiconでは, valenceと
arousalのスコアには相関がある(r=0.717).VD相関が高いことは,アノテーターがvalence
とarousalの違いを十分に理解しているかという疑念を抱かせる. NRE VAD Lexiconでは,
valenceとarousalにはわずかな相関しかない
Examining of the NRC VAD Lexicon
7
• アノテーションの品質の尺度として有用なのは,最終結果の再現性であり,複数の回答者が独立
したマニュアルで繰り返し回答することで,同じようなスコアが得られるはずである.この再現
性を評価するために,100回の試行での平均スプリットハーフ信頼性(SHR)を計算する.
• 一つの単語に対するすべてのアノテーション(ここではタプル)をランダムに2つに分ける.そし
て,それぞれのハーフからスコアを計算して,相関を求める.アノテーションの質が高ければ,
ハーフ間のスコアの相関は高い
• NRE VAD Lexiconは, Warrinerら(2013)と比べて明らかに相関が高いことがわかる

More Related Content

Recently uploaded

本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について
本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について
本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について
Masatsugu Matsushita
 
ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介
ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介
ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介
miyp
 
エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料
エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料
エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料
Toru Miyahara
 
今さら聞けない人のためのDevOps超入門 OSC2024名古屋 セミナー資料
今さら聞けない人のためのDevOps超入門 OSC2024名古屋  セミナー資料今さら聞けない人のためのDevOps超入門 OSC2024名古屋  セミナー資料
今さら聞けない人のためのDevOps超入門 OSC2024名古屋 セミナー資料
Toru Miyahara
 
「VRC海のおはなし会_深海探査とロボットのお話」発表資料
「VRC海のおはなし会_深海探査とロボットのお話」発表資料「VRC海のおはなし会_深海探査とロボットのお話」発表資料
「VRC海のおはなし会_深海探査とロボットのお話」発表資料
Yuuitirou528 default
 
Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料
Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料
Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料
Toru Miyahara
 
Compute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHub
Compute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHubCompute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHub
Compute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHub
K Kinzal
 

Recently uploaded (7)

本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について
本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について
本の感想共有会「データモデリングでドメインを駆動する」本が突きつける我々の課題について
 
ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介
ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介
ビジュアルプログラミングIotLT17-オープンソース化されたビジュアルプログラミング環境Noodlの紹介
 
エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料
エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料
エンジニアのセルフブランディングと技術情報発信の重要性 テクニカルライターになろう 講演資料
 
今さら聞けない人のためのDevOps超入門 OSC2024名古屋 セミナー資料
今さら聞けない人のためのDevOps超入門 OSC2024名古屋  セミナー資料今さら聞けない人のためのDevOps超入門 OSC2024名古屋  セミナー資料
今さら聞けない人のためのDevOps超入門 OSC2024名古屋 セミナー資料
 
「VRC海のおはなし会_深海探査とロボットのお話」発表資料
「VRC海のおはなし会_深海探査とロボットのお話」発表資料「VRC海のおはなし会_深海探査とロボットのお話」発表資料
「VRC海のおはなし会_深海探査とロボットのお話」発表資料
 
Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料
Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料
Linuxサーバー構築 学習のポイントと環境構築 OSC2024名古屋 セミナー資料
 
Compute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHub
Compute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHubCompute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHub
Compute Units/Budget最適化 - Solana Developer Hub Online 6 #SolDevHub
 

Featured

AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Applitools
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
GetSmarter
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
Project for Public Spaces & National Center for Biking and Walking
 

Featured (20)

AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
 

Obtaining Reliable Human Ratings of Valence, Arousal, and Dominance for 20,000 English Words

  • 1. Obtaining Reliable Human Ratings of Valence, Arousal, and Dominance for 20,000 English Words JAIST 情報科学系 修士1年 林 貴斗(Hayashi Takato) 1 2022-01-22 論文紹介発表資料 Saif M. Mohammad ACL2018 Cited:243
  • 2. Abstract 2 • 因子分析の結果,意味の主要な次元は,valence・arousal・dominance(VAD)であることが分 かっている • 新しいVAD辞書であるNRC VAD Lexiconを提案する • クラウドファンディングを活用して、20,000単語のvalence・arousal・dominanceを人間が評 価した • NRC VAD Lexiconでは,Best-Worst Scalingを用いることで,従来の評価方法を用いたアノ テーションで問題となっていた一貫性の問題を解決した • NRC VAD Lexiconは,既存のVAD辞書よりもはるかに信頼性が高いことが示された • 年齢,性別,性格などの人口統計学的変数間で, valence・arousal・dominanceの共通理解に 統計学的に有意な差があることを示した
  • 3. Related Work 3 • Russellら(1980, 2003)は,感情語の分析により,感情の3つの主要な独立した次元は, valence(positiveness-negativeness),arousal(active-passive), dominance (dominant-submissive)であることを示した • Breadley and Lang(1998)は,アノテーターに1000語以上の単語のvalence・arousal・ dominanceを9点満点で評価させた.そして,複数のアノテーターによる評価を平均して,最終 的なスコアを得た.この辞書は「Affective Norms of English Worlds(ANEW)」と呼ばれる • Warrinerら(2013)は,同様の方法を用いて,13,000語以上の単語を対象とした同様の辞書を 作成した • これらのVAD辞書は,評価尺度を用いて作成されているため,異なるアノテーターによるアノ テーションの不一致などの問題がある
  • 4. Related Work 4 • 評価尺度の問題を解決するのがBest-Worst Scaling(BWS)という方法である.この方法では, アノテーターにはn個のアイテム(一般的に4個)が与えられる.そして,質問ごとに「どのアイ テムが一番良いか」と「どのアイテムが一番悪いか」を尋ねる. • BWSは,4タプルを扱う際に特に効率的である.なぜならば,6つのアイテムペアのうち5つのア イテムの順序を明らかにするからである.アイテムがA, B, C, Dのとき,AがベストでDがワース トの場合,A>B, A>C, A>D, B>D, C>Dがわかる • アイテムと関心のある特性との関連性を示す実数値のスコアは,アイテムが「一番良い」と選ば れた回数と「一番悪い」と選ばれたか回数の単純な算術によって計算できる
  • 5. Obtaining Human Rating 5 • アノテーターは一度に4つの単語(4タプル)を与えられ,最も高いvalence ( arousal/dominance )を持つ単語と最も低いvalence ( arousal/dominance )を持つ単語 を選択するように求められる • このタスクはクラウドファンディング上で行われた • データの2%は著者によって事前にアノテーションを行った.これらの質問はゴールドクエス チョンと呼ばれている.もしアノテーターのゴールドクエスチョンに対する精度が80%以下に なったら,さらなるアノテーションが拒否され,すべてのアノテーションが破棄される(信頼性 の確保) • 最終的なVADスコアは,BWSの回答から求める.その単語が「一番良い」に選ばれた割合から 「一番悪い」に選ばれた割合を引いたものがスコアとなる.スコアは0から1の区間に線形変換す る
  • 6. Examining of the NRC VAD Lexicon 6 • NRE VAD LexiconとWarrinerら(2013)のLexiconスコアの間のピアソン相関rを計算し た.arousalとdominanceの相関が特に低いことがわかる • Russell(1980,)は,因子分析の研究を通して,valence・arousal・dominanceがほぼ独立し た次元であることを発見した.しかし, Warrinerら(2013)のLexiconでは, valenceと arousalのスコアには相関がある(r=0.717).VD相関が高いことは,アノテーターがvalence とarousalの違いを十分に理解しているかという疑念を抱かせる. NRE VAD Lexiconでは, valenceとarousalにはわずかな相関しかない
  • 7. Examining of the NRC VAD Lexicon 7 • アノテーションの品質の尺度として有用なのは,最終結果の再現性であり,複数の回答者が独立 したマニュアルで繰り返し回答することで,同じようなスコアが得られるはずである.この再現 性を評価するために,100回の試行での平均スプリットハーフ信頼性(SHR)を計算する. • 一つの単語に対するすべてのアノテーション(ここではタプル)をランダムに2つに分ける.そし て,それぞれのハーフからスコアを計算して,相関を求める.アノテーションの質が高ければ, ハーフ間のスコアの相関は高い • NRE VAD Lexiconは, Warrinerら(2013)と比べて明らかに相関が高いことがわかる