Pepper App Challenge 2017 作品自慢総選挙 進出作品 https://www.softbank.jp/robot/special/app-challenge-2017-autumn/pre-pac/

2. フリースタイルラップバトルとは？
先攻「俺は今⽇も⾛ってるランナー ゴールは優勝ただそれだけだ ビート
上、最速で通るペース 俺が先に切るゴールテープ」
後攻「ゴールが優勝？俺だって⼀緒だ ゆっくり⾛るお前は⻑距離⾛者 俺
はこの場で何度死のうが 這い上がり⾛る短距離⾛者」
https://brt101.com/2017/07/07/mcbattle-and-businessskill-02/
フリースタイルラップバトルの例
・ラッパー同⼠が即興で歌詞を作成し、
そのスキルを競う
・韻を踏み、相⼿の⾔われた事にも
返答する(⼝喧嘩ではない)
https://hiphop.abematimes.com/posts/2399756

3. ⼈間 vs AI -バトルの歴史-

4. いつか⼈間とAI・ロボットが
ラップバトルで対戦する⽇も来るのでは？

5. Pepperにフリースタイルラップをさせてみた

6. フリースタイルペッパーの概要
1. たくさん与えた⽂章群(ブログ記事、⼩説等)から⾃動でラップを作る
- ⾃動韻⽣成AIを活⽤
2. ある特定の感情や印象に当てはまる⼀貫性のあるラップを作る
- IBM Watson Natural Language Classifierを使⽤して⽂章から印象分析
3. 指定したキーワード(相⼿の発⾔した⾔葉)を含める
- キーワードと同⼀品詞の単語を置換する
Pepperが1台でラップ(基本モード) Pepper vs 人間(対戦モード) Pepper vs Pepper (対戦モード)
Use Case 1 Use Case 2 Use Case 3

7. 1. たくさん与えた⽂章群から⾃動でラップを作る
⽂章中から韻を踏んでいるフレーズの組み合わせを検出する既存技術を
ベースに、本作品⽤に⼀部処理を修正して開発
“文章中から韻を踏んでいるフレーズの組み合わせを検出する gem を作りました”
https://qiita.com/suzuki86/items/2a2801944a3e393464c7
【処理概要】
1. ラップ⽣成⽤⽂書データを形態素解析し、単語に分割
2. ローマ字に変換された単語の⼦⾳と⺟⾳の並びを⽐較し、韻を踏んでいる2
単語を検出
3. 検出された各単語が含まれる⽂章をそれぞれ検出
4. 各単語がそれぞれ⽂末になるように⽂章を切り取って出⼒

8. 1. たくさん与えた⽂章群から⾃動でラップを作る
⽂章中から韻を踏んでいるフレーズの組み合わせを検出する既存技術を
ベースに、本作品⽤に⼀部処理を修正して開発
“文章中から韻を踏んでいるフレーズの組み合わせを検出する gem を作りました”
https://qiita.com/suzuki86/items/2a2801944a3e393464c7
【処理概要】
1. ラップ⽣成⽤⽂書データを形態素解析し、単語に分割
2. ローマ字に変換された単語の⼦⾳と⺟⾳の並びを⽐較し、韻を踏んでいる2
単語を検出
3. 検出された各単語が含まれる⽂章をそれぞれ検出
4. 各単語がそれぞれ⽂末になるように⽂章を切り取って出⼒
実際に例を見てみましょう

9. 「⽂章群から⾃動でラップを作る」とは？
https://www.softbank.jp/robot/special/app-challenge-2017-autumn/pre-pac/
PAC作品⾃慢総選挙公式サイト
この総選挙の概要説明⽂と
みなさんの作品概要⽂から
ラップを⾃動⽣成してみます！

10. ⼀つの基準だけでも尖った作品でも歓迎 プログラム前後に共感度を独⾃の感情認識エンジン
で判定
Pepperのカメラ画像 ⽩井さんの仮想
Pepperのカメラ画像 ⽇本⽣まれのPepperだからこそ可能
次点になってしまった作品はノミネート作品 会議などのアポイントを確認
当⽇は観覧者による投票 企業全体としての⽣産性を向上
複数台のPepperとロボットが⾳楽に合わせ 時代はペッパーによるペッパーだらけ
Pepperの魅⼒を⼀番知っているのはデベロッパーの皆様 迎えが来るまでは⼦供とお話しし
ながら
来店客の年齢層や性別などもリアルタイム Pepperがフリースタイル
社員の健康とモチベーションアップにより お客様のココロ読み取り
進化し続けます継続対話 Pepperの悩みを世代や⽴場
etc…
計720件をラップとして⾃動⽣成！
※その他⾃動⽣成されたラップたち

11. 2. 印象を分類してピックアップ
事前に⽂章の印象を判定できるよう機械学習
1. ラップに使⽤するものとは異なる任意の⽂章群を⽤意（20⽂字程度の⽂章）
2. ユーザーがカテゴリを設定し、各⽂章に対しカテゴリ付与(「嬉しい」「怒り」「楽し
い」など)
3. 学習処理を⾏い、分類器を⽣成する
各印象カテゴリの
スコアを抽出
Watson Natural Language
Classifierを使用

12. 3. 指定したキーワードに変換する
⽩井さんのカノジョ召喚 プログラム前後に共感
Pepperアイディアソンで集結したメンバー
様々な接触に対する検知が可能なセンサー
孫さん マラソン NAO
固有名詞・⼈名 ⼀般名詞 固有名詞・製品名
⽩井さんのカノジョ召喚 プログラム前後に共感
Pepperアイディアソンで集結したメンバー
様々な接触に対する検知が可能なセンサー
孫さん マラソン
NAO
品詞と合致するものを置き換え
単語の種類が合致するものを優先的に

13. システム構成
13
意味分類API
(Watson Natural
LanguageClassifiler)
韻生成AI
(既存技術利用＆一部独自開発)
ラップ風に
発話調整処理
(韻部分とそれ以外の
発話スピードを調整)
文章と印象分類用キ
ーワードの組み合わ
せを用意
印象分析用
学習データ
ラップ生成用
文書データ
ラップ群DB
(CloudantDB)
音声認識API
(Watson Speech to
Text)
対戦相手のラップを
聞き取る
特定のキーワードに合
致するラップを検索
対戦相手
1ターン
8小節分の
ラップを抽出
ラップの印象分析
印象と
近いラ
ップを
検索
発話調整済み
テキストを送信
IBM Bluemix
ブログやTwitterの文
章等を用意
事前処理部分
事前処理時のフロー
本処理時のフロー
※各注釈(*1~3)の詳細
についてはノートを
参照
文中から韻を抽出し
ラップを生成

14. × ロボットが⼈を超える
○ ロボットと⼈間が⼀緒に楽しむ
このアプリが⽬指すこと
♪感謝するぜ ご清聴
♪欲しいのはあなたの清き一票！
- チェスや囲碁のように計算スピードだけで勝てるわけではない
- どんなにAIが進化しても、毎回どちらが勝つかは分からない(審査員判定)

15. 今後の展望
●よりラッパーらしい動きを研究
- 印象分類の結果を反映して、動きを変える等
●某媒体にて某知性派ラッパーの⽅と共演予定
- プロの⽬から評価頂き、改善していく