テキストマイニングのイメージと実際

自己紹介● ID:AntiBayes● あんちべ● さくテキ運営● つい２週間前転職しました● テキストマイニング、自然言語処理楽しい● 現在はソーシャルゲームなベンチャーでデータマイニングをすることに● 発表枠に穴開いたので急遽LTします！！

今何してるの？● （話題の）Hadoopを利用して、● （ビッグデータ）毎日数百GB〜数TB入ってくるデータを用いて、● （かっこいい！）データマイニングしてる！

かっこいい！！時代の最先端！！● っていうイメージと実態とのギャップについて● ここ２週間の感想● Hadoop● ビッグデータ● データマイニング

Hadoop イメージ● 「利用するのめちゃくちゃ難しいのでは？」実際● Hive/HiveQLを利用すると、MySQLやOracleと何ら変わらない● HiveQL例 :: select count(*) from table limit 10● SQL使えるなら何ら問題なく使える● チューニングや負荷分散は勿論難しいが、それは RDBMSも同じ

ビッグデータ（BD）イメージ● BDがあれば新たな知見が得られるのでは？実際● BDを用いようが、どのような指標を作ったり解析したりするかを誤れば何も得ることは出来ない● 結局統計的素養が無いと、BDがあっても有効活用は出来ない

BDのクレンジング● アンケート調査やマーケティング調査で、データにゴミや欠損が生じるのは日常茶飯事● 「BDのクレンジングするか！」→出来ない● 数百GBのデータ、一括置換や検索するだけで時間がかかりすぎる● クレンジングしたいなら、生のデータをExcelやスクリプトで加工するのではなく、根底のログ出力部分から設計修正する必要がある

統計解析の基礎の基礎● 操作変数、説明変数、統制変数● 「給料の増加がパフォーマンスの向上に繋がるか」を知りたければ、給料増加以外の変数を出来る限り固定しなければ、それ以外の効果がパフォーマンスに影響与えるため、正確に計測することは出来ない

データマイニングの現場● ゲーム制作側：新規要素入れるのが仕事● データマイニング側：要素を統制するのが仕事● 本質的に対立してる● データマイニングは業務改善のためにやる →「データマイニングし辛いからもっと綺麗なデータ吐くように事前に十分なリソース割いてゲーム設計しろ！でもゲーム開発はスピード勝負だからさっさと作れ」 →開発者負担増大→ゲームの質が低下→あわわ

データ構造の変化（１）● ゲーム内のテキストからトレンドを知りたい！● ワードカウントしよう！● ある時から「釣り」関連のワードが頻出→釣りブーム来てる！？● 実際の理由：釣りゲームリリースしたから● 他にも「ログ収集こけました」「１時間単位でログ取ってたのを１５分単位に変更しました」等々…● 外的要因が多すぎて、データだけ眺めても何もわからない

データ構造の変化（2）● アクセス端末を調べよう● 昔:={PC, 携帯電話}● 最近:={PC, 携帯電話, スマートフォン}● 現在:={PC, ガラケー, iPhone, Android}● 今後:=タブレットも入れるべきでは？● →いつのまにかパターンが増えている

データ構造の変化（３）● 「課金アイテムα、βの効果測定をしてくれ」● 「あれ、３月前はαのデータがないよ？」● 「そういやαは途中から追加したアイテムだった」● 「βは２ヶ月前に売れ行き跳ね上がってるね！」● 「そういや効果被ってたγを無くしてβに統一した、そのとき単位もついでに変えた」● →もうどうしていいかわからない

現時点での感想● やっぱり銀の弾丸/魔法の帽子なんて無かった● 基礎的な統計学の重要性を痛感● 目的に適したデータを取る● 目的に適した指標を作る● BDだろうがHadoopだろうがそこは関係ない、無視できない● 統計学をきっちり勉強しよう！！

http://a0.twimg.com	15
http://paper.li	9
http://us-w1.rockmelt.com	2
http://twitter.com	2

テキストマイニングのイメージと実際

by antibayesian あんちべ on Dec 16, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 28

Statistics

テキストマイニングのイメージと実際 — Presentation Transcript