Submit Search
Upload
Modeling Irony in Twitter
•
Download as PPTX, PDF
•
2 likes
•
412 views
Hiroshi Matsumoto
Follow
Modeling Irony in Twitter
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 16
Download now
Recommended
アルゴリズムのイメージを擬人化する
アルゴリズムのイメージを擬人化する
AtCoder Inc.
イマーシブを作る時に考えること
イマーシブを作る時に考えること
Uran Bird
言語学概論第一回
言語学概論第一回
Kazuya Abe
PCFG構文解析法
PCFG構文解析法
Yusuke Oda
Chainer v1.6からv1.7の新機能
Chainer v1.6からv1.7の新機能
Ryosuke Okuta
Deep Learningの基礎と応用
Deep Learningの基礎と応用
Seiya Tokui
Emnlp読み会資料
Emnlp読み会資料
Jiro Nishitoba
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
Yuta Kikuchi
Recommended
アルゴリズムのイメージを擬人化する
アルゴリズムのイメージを擬人化する
AtCoder Inc.
イマーシブを作る時に考えること
イマーシブを作る時に考えること
Uran Bird
言語学概論第一回
言語学概論第一回
Kazuya Abe
PCFG構文解析法
PCFG構文解析法
Yusuke Oda
Chainer v1.6からv1.7の新機能
Chainer v1.6からv1.7の新機能
Ryosuke Okuta
Deep Learningの基礎と応用
Deep Learningの基礎と応用
Seiya Tokui
Emnlp読み会資料
Emnlp読み会資料
Jiro Nishitoba
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
Yuta Kikuchi
Phrase linguistic classification and generalization for improving statistical...
Phrase linguistic classification and generalization for improving statistical...
Hiroshi Matsumoto
Paraphrasing Swedish Compound Nouns in Machine Translation
Paraphrasing Swedish Compound Nouns in Machine Translation
Hiroshi Matsumoto
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Hiroshi Matsumoto
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Hiroshi Matsumoto
Improving translation via targeted paraphrasing
Improving translation via targeted paraphrasing
Hiroshi Matsumoto
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Hiroshi Matsumoto
Summary of Rule-based Reordering Space in Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine Translation
Hiroshi Matsumoto
Predicting Power Relations between Participants in Written Dialog from a Sing...
Predicting Power Relations between Participants in Written Dialog from a Sing...
Hiroshi Matsumoto
Factored translationmodel
Factored translationmodel
Hiroshi Matsumoto
10.combination of sm_tn_rbmt
10.combination of sm_tn_rbmt
Hiroshi Matsumoto
9. cgc parser with_norml_std
9. cgc parser with_norml_std
Hiroshi Matsumoto
8. relearnt rbmt
8. relearnt rbmt
Hiroshi Matsumoto
7. ebmt based on st sm
7. ebmt based on st sm
Hiroshi Matsumoto
Summary of English Japanese Translation by MSR-MT
Summary of English Japanese Translation by MSR-MT
Hiroshi Matsumoto
5. bleu
5. bleu
Hiroshi Matsumoto
A statistical approach to machine translation
A statistical approach to machine translation
Hiroshi Matsumoto
Mt framework nagao_makoto
Mt framework nagao_makoto
Hiroshi Matsumoto
Approach to japanese english automatic translation by Susumu Kuno
Approach to japanese english automatic translation by Susumu Kuno
Hiroshi Matsumoto
Machine translation
Machine translation
Hiroshi Matsumoto
More Related Content
More from Hiroshi Matsumoto
Phrase linguistic classification and generalization for improving statistical...
Phrase linguistic classification and generalization for improving statistical...
Hiroshi Matsumoto
Paraphrasing Swedish Compound Nouns in Machine Translation
Paraphrasing Swedish Compound Nouns in Machine Translation
Hiroshi Matsumoto
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Hiroshi Matsumoto
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Hiroshi Matsumoto
Improving translation via targeted paraphrasing
Improving translation via targeted paraphrasing
Hiroshi Matsumoto
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Hiroshi Matsumoto
Summary of Rule-based Reordering Space in Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine Translation
Hiroshi Matsumoto
Predicting Power Relations between Participants in Written Dialog from a Sing...
Predicting Power Relations between Participants in Written Dialog from a Sing...
Hiroshi Matsumoto
Factored translationmodel
Factored translationmodel
Hiroshi Matsumoto
10.combination of sm_tn_rbmt
10.combination of sm_tn_rbmt
Hiroshi Matsumoto
9. cgc parser with_norml_std
9. cgc parser with_norml_std
Hiroshi Matsumoto
8. relearnt rbmt
8. relearnt rbmt
Hiroshi Matsumoto
7. ebmt based on st sm
7. ebmt based on st sm
Hiroshi Matsumoto
Summary of English Japanese Translation by MSR-MT
Summary of English Japanese Translation by MSR-MT
Hiroshi Matsumoto
5. bleu
5. bleu
Hiroshi Matsumoto
A statistical approach to machine translation
A statistical approach to machine translation
Hiroshi Matsumoto
Mt framework nagao_makoto
Mt framework nagao_makoto
Hiroshi Matsumoto
Approach to japanese english automatic translation by Susumu Kuno
Approach to japanese english automatic translation by Susumu Kuno
Hiroshi Matsumoto
Machine translation
Machine translation
Hiroshi Matsumoto
More from Hiroshi Matsumoto
(19)
Phrase linguistic classification and generalization for improving statistical...
Phrase linguistic classification and generalization for improving statistical...
Paraphrasing Swedish Compound Nouns in Machine Translation
Paraphrasing Swedish Compound Nouns in Machine Translation
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Graph Propagation for Paraphrasing Out-of-Vocabulary Words in Statistical Mac...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Summary of Dialectal to standard Arabic paraphrasing to improve Arabic-Englis...
Improving translation via targeted paraphrasing
Improving translation via targeted paraphrasing
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Summary: A Sense-Based Translation Model for Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine Translation
Summary of Rule-based Reordering Space in Statistical Machine Translation
Predicting Power Relations between Participants in Written Dialog from a Sing...
Predicting Power Relations between Participants in Written Dialog from a Sing...
Factored translationmodel
Factored translationmodel
10.combination of sm_tn_rbmt
10.combination of sm_tn_rbmt
9. cgc parser with_norml_std
9. cgc parser with_norml_std
8. relearnt rbmt
8. relearnt rbmt
7. ebmt based on st sm
7. ebmt based on st sm
Summary of English Japanese Translation by MSR-MT
Summary of English Japanese Translation by MSR-MT
5. bleu
5. bleu
A statistical approach to machine translation
A statistical approach to machine translation
Mt framework nagao_makoto
Mt framework nagao_makoto
Approach to japanese english automatic translation by Susumu Kuno
Approach to japanese english automatic translation by Susumu Kuno
Machine translation
Machine translation
Modeling Irony in Twitter
1.
文献紹介 修士1年 松本宏
2.
Modeling Irony in
Twitter • Title: Modelling Irony in Twitter • Author: Barbieri, Francesco and Saggion, Horacio • Journal: EACL 2014 • Pages: 56 • Year: 2014
3.
概要 • Tweetデータ内からのironyとなる文の検出 • Irony検出には機械学習の2値分類 •
様々な素性を試す – 今回の内容については素性の選択理由について
4.
単語ironyについて • Ironyとは? – 皮肉 •
日本語の皮肉とは若干異なる – 日本語の皮肉: sarcasm – Ironyの皮肉: ユーモア溢れるモノ
5.
Frequency • 皮肉な文は意外性により生まれる • 意外性を頻度を利用して検出 →頻出単語と反頻出単語が利用されている同 文での使用が不均衡を生み意外性へとつなが る
6.
Written-Spoken • Twitterは書き言葉が多い • 皮肉な文は意外性により生まれる •
話し言葉で記述されている文から書き言葉に 書き換わる意外性 • または、その逆も
7.
Structure • この素性はツイート構造を知るためのもの • ツイートが –
長いのか短いのか、 – 長い単語か短いのか、 – どのような記号が利用されているか – この素性の利用においては皮肉ツイートの傾向とし て他のツイートと比べ、 • 理由: – 長い文字列ツイートかつ、固有の記号、絵文字が使 われていることが多い
8.
Intensity • 皮肉のテクニック – 意味裏腹な言葉 •
形容詞、副詞で脚色 – (“Do we hike that tiny hill now?” 実際は大きな山 へ挑む直前のツイートだったり) • 言葉に度合い付けされたツールの利用
9.
Synonyms • 皮肉には2つのメッセージがある • リテラルな意味と比喩 •
比喩的意味の伝達のためにも語彙選択は重 要 • 例えば: – 空が暗く雨が振りそうなとき、”sublimeな天気だ ね!“ • よって、言い換え可能数を素性
10.
Ambiguity • 皮肉においての曖昧性 • 皮肉コーパス:
皮肉文で集められたコーパス • 単語の語義数:皮肉コーパス > 非皮肉コーパ ス
11.
Sentiments • 皮肉は感情分析によって調べられると仮定 • 感情の不均衡による意外性
12.
データセット • 実験は3種類のツイート・コーパス • (ハッシュ・タグに#irony,
#education, #humor, #politicsとある物を各10,000ツイートずつ) • 10分割交差検定
13.
Experiments • 3種類のツイート・コーパス – (#irony,
#education, #humor, #politics ハッシュタ グ付を各10,000ツイートずつ) – 10分割交差検定
14.
実験結果 • セルは ベースライン/提案手法
15.
実験結果
16.
実験結果
Editor's Notes
英語でよく利用されている単語の多く利用することと、滅多に利用されない用語の同文での使用が不均衡へとつながり、意外性を生みます 意外性は皮肉のサインとなります。その意外性を頻度を利用して検出します。我々は単語頻度の不均衡(言語使用域の不一致)を検索します。アイディアとしては英語でよく利用されている単語の多く利用することと、滅多に利用されない用語を同文での使用が不均衡へとつながり、意外性を生みます。なぜなら1ツイート内には1言語使用域が期待されているからです。
笑う記号: lol, hahaha, rofl, lmaoこれらの文字列を!の代用として使われることもあり、記号として扱うことにします。絵文字においては皮肉ツイートの関しては発話者が皮肉ツイートのサインを出すためにウィンクの顔文字( ;) )が多用されています。実際に皮肉ツイートだけを集めたコーパス(皮肉コーパス)で調べたところウィンク顔文字が5ツイートに1回の確率でウィンクされていました。
皮肉の効果を作り出すために発話者(Twitter User)が反意的な表現を使う場合、形容詞、副詞の強さ(誇張)が意図した効果を生み出します。 言葉の強さ(intensity)のスコアはPotts (2011)のものを利用しました。これはレビューサイトなどにおけるメタデータを利用し形容詞と副詞のスケール化を行いました。
もう1つ皮肉において面白いことは曖昧性です。皮肉コーパスにおける各語の類義語数と他のコーパスにおける単語の類義語数と比べると皮肉コーパス内の単語のほうが断然多かったことがわかりました。これは、皮肉使われる単語はより多義な単語で成っていることだといえます。
極性ツールを利用し、単語に極性判定させる
赤: Freq. オレンジ: Written-Spoken 黄色: Structure 薄い緑: Intensity 緑: Synonyms 薄い青: Ambiguity 青: Sentiments
赤: Freq. オレンジ: Written-Spoken 黄色: Structure 薄い緑: Intensity 緑: Synonyms 薄い青: Ambiguity 青: Sentiments
Download now