Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Automatic classification of remarks in Werewolf BBS
Similar to Automatic classification of remarks in Werewolf BBS (20)
More from Takanori Fukui
Recently uploaded
Recently uploaded (20)
Automatic classification of remarks in Werewolf BBS
- 1. Automatic classification of remarks in Werewolf BBS Takanori Fukui ACIT-CSII-BCD 2017 9 July, 2017
- 3. Outline • Introduction • Background • Purpose & Approach • Experiment • Result • Conclusion & Future work
- 4. Introduction
- 7. AI Wolf’s issues Who do you think is werewolves? I think she is unreliable Why? Understanding of language used by humans
- 11. What does this 'U' mean? Problem Are U werewolf :-O Difficult due to game slang, current event and abstract remark
- 12. No no, I am villagers. Analysis stage Are U werewolf :-O 1. Topic 2. Who 3. What ⋮
- 13. Approach Speech Topic 3 Topic 5 Topic 4Topic 2 Topic 1
- 14. Related works Hirata research Kobayashi research The number of classification is limited to three For classification is need players identity as precondition
- 15. Advantage our works Hirata research Kobayashi research This research • The number of classification is five • For classification is not need precondition
- 17. What’s Werewolf game Picture Courtesy: www.playwerewolf.co
- 18. Demonstrate the game source: www.playwerewolf.co
- 20. Purpose …… Topics ClassificationUsing Support Vector Machine Make interpretation of speech contents easier
- 22. Create Sample-data Sample -data … … Create Sample-dataFor machine learning Border
- 23. How to create sample data Split into sentences Filtering Labeling Filter informationWerewolf BBS Sample -data Step 1 Step 2 Step 3
- 24. Step1: Split into sentences
- 25. Filter untag untag untag untag vote? guard? To next step: Labeling Step2: Filtering Matching
- 26. Speech content Topics Extracted contents uttered by BBS Give one of five topics Example Pair Step3: Labeling I am Psychic! 【私が霊能者だよー！】␣Comingout
- 27. Experiment
- 28. Purpose …… Topics ClassificationUsing Support Vector Machine Make interpretation of speech contents easier
- 29. Topics Number of Sample-data Comingout 248 Divined_Inquested 136 Vote 470 Estimate 412 Guard 16 Number of Sample-data Sample data collected regardless of roleVery less conversation because of fear to be easily targeted by the werewolves
- 30. Result Final Result 0.896 0.889 0.927 0.871 Sample-data divided into K 1 2 K=3 Training dataTest data K-fold cross-validation
- 32. Results
- 33. Results of speech classification 0% 20% 40% 60% 80% 100% 役職の公開 種族の判定 投票先の宣言 役職の予想 護衛の報告 Comingout Div_Inq Vote Estimate Guard Short & Simple syntax
- 34. Results of speech classification 0% 20% 40% 60% 80% 100% 役職の公開 種族の判定 投票先の宣言 役職の予想 護衛の報告 Comingout Div_Inq Vote Estimate Guard Lack of data count
- 36. Conclusion • Proposed a machine learning approach using SVM • Prepared sample data for machine learning • To evaluate this method, k-fold cross- validation was conducted • We showed that interpretation is possible with simple syntax.
- 37. Future works • Adding sample data • Filtering data-processing method • Application to neural network
- 38. Thank You
- 39. Questions Please
Editor's Notes
- Respected Mr. chairman and everybody present here, every good afternoon (morning). チェアマンとみなさんにプレゼンします． Thank you for your presence today. （挨拶） I’m Takanori Fukui from Aichi Institute of Technology. 私は愛知工業大学の福井敬徳です．
- This research is about the popular game named 'werewolf' to be played on the Internet. この研究はインターネット乗で遊べる’人狼ゲーム’と呼ばれる有名なゲームについての研究です． For artificial intelligence that can play a Werewolf game, topic classification by machine learning was done 人狼ゲームをプレイできる人工知能のために機械学習による話題分類を行いました
- Today’s presence will talk in this order. 今日のプレゼンはこのように行います Introduction Background Purpose & Approach Experiment Result Conclusion [kənklúːʒən] & Future [fjúːtʃɚ] work
- [0'50]
- Artificial intelligence is an attempt [ətém(p)t] to realize the same intelligence as a human. 人工知能とは人工的にコンピュータ上などで人間と同様の知能を実現させよという試みあるいはその一連の基礎技術である． It is easy to imagine if you think of ‘STAR WARS’ movie. フィクションであるが，R2D2やC3POを思い浮かべるとわかりやすい ‘Ponanza’ is an artificial intelligence, it is famous [féɪməs] playing ‘Shogi’which is Japanese version of chess. 現在では将棋をする人工知能であるポナンザが有名である
- Now a new attempt is being made. 現在では新しい試みが行われている AI wolf project is aiming to realize artificial intelligence that can enjoy werewolf game with humans which we shall be trying to analyze and resolve [rizalv] in this presentation. 人狼プロジェクトとは人狼ゲームを人工知能にプレイさせることを目標として立ち上がったプロジェクトである． ーーーーー質問用 （人狼知能プロジェクトの解決をしているわけではないが，人狼知能の目標から問題点を出して，その一部分をanalyze and resolveした） (Although I am not trying to solve the human-wolf intelligence project, I got problems from the goal of human-wolf intelligence and analyze and resolve a part of it How many times are the werewolf tournament held annually? 人狼大会は年に何回行われているか A big tournament is held once a year, including small tournaments twice 大きい大会は1年に1回，小さい大会も含めると2回開催されています．
- There are some issues to understand the languages of humans. For that purpose, the field of artificial intelligence called natural language processing is indispensable[ìndɪspénsəbl]. 人狼知能の実現のためには，いくつかの課題があります． その中の一つにUnderstanding languageがあります． そのためには自然言語処理と呼ばれる人工知能の分野が必要不可欠です．
- Natural language processing is used for different purpose in our daily lives. Natural language processingは様々なところで活用されている For example, Google translate, Siri and Cortana, and so on (etc). are used in familiar [fəmíljɚ] systems on our lives. 例えば，SiriやCortana, google翻訳など，私たちの生活上にある身近なシステムに利用されている this research is based upon [əpάn] it. 本研究もこの分野を対象としています，
- To understand the natural language Aiwolf needs to have game logs Aiwolf の understanding languageを実現するためにはゲームログが必要です． In this research we have used game logs of Bulletin [bˈʊlətn] Board System commonly [kάmənli]called BBS. 本研究では人狼ゲームしているじんろうッBSを対象としました
- Werewolf BBS is an Internet based game that is based upon the real time Werewolf game. 人狼BBSとは人狼ゲームをベースにしたインターネットゲームです． This is how players can discuss among themselves. 参加者同士が議論をするゲームです In this research we have tried to make people understand about Werewolf BBS. この研究では人狼ＢＢＳを理解させようという研究です I will explain the Werewolf game in the upcoming slides 人狼ゲームについては後で説明します．
- These [ðíːz] speech analysises are difficult due to Game Slang, current event and abstract remark in BBS. これらの発話は人工知能にとって理解は難しい．
- There are several stages of speech analysis, here we have focused on Topic Analysis 解析のステージはいくつかありますが，私たちはその一段階であるTopic Analysisに着目しました
- So, we classified the speech into several [sév(ə)rəl] topics そこで，私たちは発話をいくつかの話題に分類しました
- As past studies, done by Mr.Hirata and Mr.Kobayashi. 既存研究として平田らや小林らの研究があります． However, less classification and need precondition [prìːkəndíʃən] しかし，分類数が少なかったり，前提条件が必要でした． ----- What is a prerequisite (precondition). 前提条件とはなんですか In the research by Kobayashi et al., It is necessary to know the title of all the participants for classification of utterance. 小林らの研究では発話の分類のために参加者全員の役職が分かっていることが必要条件になっています
- This research is different than them because we have automatic classification of expressions without precondition. 過去の研究である平田らや小林らと比べ，本研究は前提条件なしで発話の分類を行なった
- We tried to classify the speech used in WBBS using machine learning which is artificial intelligence 私たちはWBBSの発話分類のために機械学習を用いた．
- In this research we have verified the possibility of high accuracy of classification of expressions. その結果高い精度を得られる可能性を得ることができた
- [3’20]
- もう少し説明します Let’s start with talking about the popular game called ‘Werewolf’. 人狼ゲームと呼ばれる有名なゲームについて紹介します What’s werewolf game? 人狼ゲームとは？ I’m sure all of us must have played it in our life time. みなさんはやったことがあるかもしれません This is a very popular indoor-game. とても有名なインドアゲームです A group of people play this game in the real world. 実際に集まってプレイします
- Let’s watch a short video that would demonstrate the game [play] ゲームの説明ビデオを見ましょう (ここで解説を加えながら動画を見る)
- [5’20]
- We classify using support vector machines. そこで私たちは，サポートベクターマシンを用いて分類を行う Topic classification of speech using machine learning make interpretation of speech contents easier. 機械学習を用いることで話題の分類をし，発話内容の解釈を容易にします． ----- Why did you use SVM なぜSVMを利用したのですか For machine learning, we used SVM which can obtain high performance classifiers among many learning methods 機械学習には，多くの学習手法の中で， 高い性能の分類器を得ることができるSVMを用いた
- So, we classified the speech into several topics そこで，私たちは発話をいくつかの話題に分類しました Comingout is Players declare their own roles. 自分の役職を公開するcomingout Divined_Inquest is the result of divination or psychic ability. 占い結果や霊能結果を発現する Guard is players announce that they guarded somebody. 護衛結果を発現する guard Vote is Players vote to express their distrust [dìstrˈʌst] of other players. 投票結果を発現するvote Estimate is guessing [gés] the roles of other players. 相手の役職を予想する発言をするestimate These topics were decided by referring [rɪfˈɚː] to the AI wolf Protocol これらの話題は人狼知能プロトコルを参考にして決定しました ----- What’s AI wolf Protocol AI wolf Protocolとはなんですか It is group of instructions used when a AI Wolf Agent talks. 人狼知能エージェントが会話する際に用いられる命令群です．
- Also, we created sample data necessary for support vector machine. また，サポートベクターマシンに必要なサンプルデータを用意した It collected and processed speech content of Werewolf BBS. サンプルデータは人狼BBSの発話内容を収集，加工したものです [ENTER] Sample data is used for machine learning そのサンプルデータを機械学習させることによってサポートベクターマシンの自動分類を実現します
- The procedure for creating sample data is shown. 標本データの作成手順を示します． We used the logs from 10 games of Werewolf BBS as the sample data for machine learning. 私たちは機械学習のための標本データとして人狼BBSから10ゲームのログを利用しました． There are three steps necessary to create sample data from BBS. BBSから標本データにするために3つのステップがあります． Step1 is separating speech into sentences. ステップ１では文を区切ります Step2 is Filtering unnecessary data. ステップ２では不必要なデータをフィルタリングします Step3 is Labeling. ステップ３ではラベリングをします We divide to five kinds of sample data from each log. 私たちは，ログから５種類にサンプルデータに分けました We assigned the label ‘untagged’ to phrases that did not belong to one of these five types. ５種類のラベルに入らないものにはアンタグを貼り付けました． ----- 1ゲームでどれくらいの分量がありますか？
- In this research, we split the messages for machine learning. 私たちは機械学習のために文章を分割します Messages are sentences comprising [kəmprάɪz] a maximum of 200 characters. 文章は最大で２００文字の文を含みます． Thus, it is necessary to divide each message into sentences. そのため，文章を文に分割する必要があります． The decomposition [dìːkὰmpəzíʃən] of the message mechanically processed on a specific symbol 特定のシンボルをもとに機械的に処理をしてメッセージを分解します ----- What kind of symbol did you use? なんのシンボルを用いましたか The symbols are period, comma [kάmə], exclamation mark, question mark and horizontal ellipsis [ɪlípsɪs] シンボルは，ピリオド，コンマ，！，？，・・・です （日本語特有の問題ではない．どちらかというと，単語に区切る時が日本語特有の問題）
- In this study, we used the Support Vector Machine to learn these five labels as positive class and considered [kənsídɚ] ‘untagged’ to be a negative class. 本研究では Many sentences are classified as ‘untag’ 多くの文はuntagに分類される． We filter all sentences before creating the sample data. 私たちはサンプルデータを作成する前に全ての文をフィルタしました． This helps us to check whether the sentences contain the characters listed in Filter information. これは文章中にフィルター情報にある単語が含まれているかを確認します． This filter information examines and defines a string that enables sentences to be classified into the five positive class. このフィルター情報は5つのトピックに分類される可能性のある文を取りこぼさないように設定しました．
- We created pairs of data that manually added the contents of a phrase and the label with which the contents of that phrase should be classified. フレーズの内容を手動で追加したデータと、そのフレーズの内容を分類するラベルのペアを作成しました。 These constitute the sample data used for machine learning. これらは機械学習に使用されるサンプルデータを構成します。 We collected this sample data from 10 game in Werewolf BBS. 私たちはWerewolf BBSの10試合からこのサンプルデータを収集しました。
- [9’40]
- So, we classify using support vector machines. そこで私たちは，サポートベクターマシンを用いて分類を行う Topic classification of speech using machine learning make interpretation of speech contents easier. 機械学習を用いることで話題の分類をし，発話内容の解釈を容易にします．
- The table shows the number of sample data. 作成された標本データ数を表に示します． The number of sample data varies every topic. [ENTER] Topics spoken regardless of role were able to geather a lot of sample data. 10ゲーム中で話される話題の数には偏りがあるため，標本データ数も話題ごとにばらつきがあります． [ENTER] most of the data collected were of players who voted to express their distrust on other players 役職に関係なく話される話題は多くの標本データを集めることができました． [ENTER] On the contrary, the least a number of data were Guard that players announce that they guarded somebody. 最も多いデータ数の話題は投票先の宣言，最も少ないデータ数の話題は護衛の報告でした． The data also showed that the bodyguard seldom expressed himself as by the fear to be targeted by the werewolves 護衛の報告は，人狼からの襲撃を阻止する役職しか発言しない上に，人狼側から狙われやすいため発言機会がとても少ない話題です．
- The accuracy of the classification model created using the support vector machine was verified by K-fold cross-validation which has been set at five in this research. サポートベクターマシンを用いて作成した分類モデルの精度をK交差検証で検証した
- Dividing the sample data into training data and test data. サンプルデータを検証用データとテストデータに分割します． After that, let SVM lean using train data. その後，SVMに学習させます． We classifiy using test data and measure its accuracy. 学習済みSVMを使ってテストデータを分類し，その精度を測ります．
- This game is a good subject for research for the following three reasons. Various players participate in the game. Communication is confined to short messages. Hence, we do not need to consider the facial expressions and gestures of the participants. There are more than 1700 game-records in the BBS. These can be used for the purpose of machine learning.
- SVM can obtain high performance classifiers among many learning methods. SVMは多くの学習手法の中で， 高い性能の分類器を得ることができる We use an Support Vector Machine to realize the automatic classification of phrases. 私たちは自動分類を実現するためにサポートベクターマシンを用いました By learning sample data extracted from Werewolf BBS, be able to classification 'it indicate a Specific topics' or 'do not indicate a specific topics'. 人狼BBSから抽出した標本データを学習することで，ある特定の話題を示している発話か，ある特定の話題を示していない発話かの分類の自動化を実現します．
- A support vector machine is a method that can separate a set of given data into two sets from its features. そして，クラスを分類する境界線を作り出します．
- To the support vector machine, give word frequency vector as input value. サポートベクターマシンには単語頻度ベクトルを入力値として与えます． Allocate IDs to each word and count the number of IDs in the sentence. 単語一つ一つにIDを割り振り，文中のIDの数をカウントします
- [11’40]
- [12'00][11'30] We let the support vector machine learn 5 topics. 私たちはサポートベクターマシンに5つの話題を学習させました． The results of verifying accuracy obtained by k-fold cross-validation. 本研究で分類した5つのトピックを学習したサポートベクターマシンの精度をk-分割交差検証で求めた結果を示します． It is found that the phrases that can be classified with high precision are short and contain simple syntax. その結果，シンプルな構文であり，短いものに関しては高い精度が得られました．
- The phrase label ‘guard’ is attached to speech that discloses whom the bodyguard protected. フレーズラベルの「ガード」は，ボディーガードが誰を保護したかを示す発言に付与されます． There are a strong tendency for the bodyguard to be targeted by the Werewolves. ボディーガードは人狼のターゲットになる傾向が強いです． Then, as the bodyguard do not publish their own positions, there are very few opportunities for phrases to be attached to ‘guard.’ そのため，ボディーガードが自分のことを公開しないため，「ガード」にフレーズをつける機会がほとんどありません． From this result, the reason for the low precision is that we could not gather sufficient data for machine learning. この結果より，機械学習に十分なデータを集められなかったことが原因であると思われます． ----- Why is the accuracy of "estimate" low? estimate の精度が低い理由はなんですか？ Because the remark of doubt to the player is rarely spoken clearly. 相手への疑いの発言は明確に話されることが少ないためです． For example,"I am a little suspicious of him." "I do not think that he is a liar, you think so, do not you?" 例えば「私は彼がちょっと疑わしい」「私は彼が嘘つきだとは思わないけど，君はそう思ってるんだろ？」
- [12’40]
- To automatically classify the topics of phrase content in Werewolf BBS, we have proposed a machine learning approach using an Support Vector Machine. 私たちは機械学習のアプローチとしてサポートベクターマシンを利用して，人狼BBSにある文を話題に自動分類しました． To evaluate this method, k-fold cross-validation was conducted, and the results show that our approach is useful for some topics. k分割交差検証を用いて評価を行なった結果から，いくつかの話題に対して私たちのアプローチが有用であることを示した．
- In future work, we plan to add more sample data and improve the sentence parsing, filtering, and data processing to improve the overall accuracy of classification. 今後の課題として，私たちはより多くのサンプルデータや文分割方法の改善，フィルタリングやデータの加工法を改良して分類の精度を上げます． Also, The sample data created by this research may be available for other machine learning such as neural network. 私たちが作成したサンプルデータはニューラルネットワークのような他の機械学習に利用できると考えらます． We are planning to consider using it in the future. 私たちは今後，これらの利用を検討していこうと思う．
- [13’40]
- This is a very popular indoor-game. This is how a group of people play the Werewolf game in the real world.
- They find out their roles
- And then discuss among themselves and vote for who the werewolf might be
- To find out the werewolf hidden among them and eliminating it.