1. サイバースペース
清野 克行
superelmer21@gmail.com
BigQuery + MeCab + R
で
統計解析、形態素解析

2. 自己紹介
日本IBM 日本HP 製造・装置担当SE・MKTG

3. SNS
CSV CSV
センサ
Big
Data
BigQuery
R言語
RMeCab
アップロード
データ
BigQuery
RMeCab
ライブラリ
ファイル入出力 画面表示
１．データ収集
２．データロード
３．データ集積
４．RからBigQueryアクセス
BigQuery
クエリ解析
形態素解析
統計解析

4. BigQuery
巨大データのクエリー検索を数秒で実行するクラウドサービス
R言語
統計解析向けのプログラミング言語及びその開発実行環境
MeCab
形態素解析エンジン
RMeCab
Rから日本語のテキストやファイルを指定してMeCabに解析
させその結果をRで標準的なデータ形式に変換して出力
させるインターフェイス

5. テキスト
マイニング
（形態素解析）
データ
マイニング
SNS
ブログ
アンケート（自由記述）
サポートセンター
（質問、クレーム）
リスク管理
研究論文、特許文書
（分類、検索）
教育支援システム
売上分析
センサーデータ
他
BigQuery
MeCab
R
BMR連携システムの各機能
ビッグデータクエリー解析
抽出
抽出
DataWarehouse

7. Rをインストールする（Windows版）
[１] CRAN （http://cran.ism.ac.jp/）で
「Download R for Windows」をクリックして次ページ画面表示

8. [２] 「base」をクリックする。次の画面表示
[３] 「Download R 3.1.3 for Windows」クリックでダウンロード

9. [４] ダウンロードファイル、ダブルクリックでインストール
インストール用言語を選び「OK」をクリックする。
このあと指示されるとおりに操作すればインストール完了。

10. MeCabをインストールする
http://taku910.github.io/mecab/
[２] mecab-0.996.exe インストール先は標準設定のまま
・文字コードは Shit-JIS のまま
[３] Rを起動して，下記入力後Enter押下でRMeCabインストール実行。
>install.packages ("RMeCab", repos = "http://rmecab.jp/R")
[１] Windows インストーラをダウンロード

11. RMeCabを直接インストール
[１] zipファイルダウンロード http://web.ias.tokushima-u.ac.jp/linguistik/win.html
[２] Rから「ローカルにある zip ファイルからのパッケージをインストール…

12. RからBigQueryにアクセスできるようにする
>install.packages(‘httpuv’) #①
>install.packages(‘devtools’) #②
>devtools::install_github(“hadley/bigrquery”) #③
①httpuvでは、R環境からのHTTPとWebソケットのリクエストを直接処理するローレベル
のsocketとプロトコルサポートが提供される。
②devtoolsのインストールでRのパッケージ開発をより簡素化して行える。
③devtoolsを使用して、bigqueryの最新版リリースをgithubからインストール
GitHUb（https://github.com/hadley/bigrquery）
http://qiita.com/ckazu/items/b857e70718272b8a3ec3
R で BigQuery に接続する

13. BigQueryに接続し、クエリーを実行する
library(bigrquery)
query_exec(project = ‘sonic-solstice-422’, ‘select * from (pc_temp.pc_temp140516) limit 20;’)

15. 15
１．BigQueryアップロードデータ作成
センサデータ -> CSV出力
（１） USB Thermometer(Gold)
USB接続でパソコンの温度を計測してログをメールできる温度計
http://gigazine.net/news/20110524_usb_thermometer/
http://pcsensor.com/index.php?_a=document&doc_id=6
USB Thermometer-528018

16. 16
（２） USB通信タイプ放射線測定器GCA04
http://www.bmsci.com/bmsgarden/system/geiger_counter.php

17. SNSデータ
（１）Twitter反響まるごと収集ツール
http://www.exmart.co.jp/news/20140324/

18. SNSデータ （２）mention https://web.mention.com/

19. データソース選択 ８種類 言語選択 ４０言語以上

20. 例] コンビニ総店舗データ
月データ：3,000（品目 ）*12,000（店舗）*30(日) = 1.08BG
年データ ： 13,140,000,000(件) -> 262.8GB
10年： 2,628,000,000,000B 2兆6000億B -> 2.6TB
BigQuery
処理量１００GB/月まで無料
Storage $0.020 per GB/月 $20 per TB/月
Queries $5 per TB

21. 収集データの集合からより大量データのテーブルを作成する
SELECT * FROM [marugoto.maru01],
[marugoto.maru02],
[marugoto.maru03],
[marugoto.maru04],
[marugoto.maru05],
[marugoto.maru06],
[marugoto.maru07],
[marugoto.maru08],
[marugoto.maru09]
「Save as Table」クリック

22. 店舗別月
全店舗月
月データ 年度データ 累積年データ
店舗別
全店舗 全店舗年度
全店舗累積年
店舗別
年度
店舗別累積年
BigQyeryのクエリー
BigQyeryでデータ累積（Data Warehouse）

24. R + BigQuery + RMeCabによる処理
[１]ライブラリ指定とBigQueryダウンロードデータの出力先指定
>library(bigrquery)
>library(RMeCab)
>getwd()
[２] BigQueryデータのファイル出力
>write(t(query_exec(project = 'sonic-solstice-422',
'SELECT body FROM [marugoto.sum_maru01_10] ;' )),
"sum_maru10.txt", ncolumns = ncol(x),sep="t")
.

25. BigQueryダウンロードデータの画面表示

26. 形態素解析
形態素解析は毎日使っている -> カナ漢字変換
意味の最小単位
決して完全ではない、曖昧性がある
>library(RMeCab)
>RMeCabC(query_exec(project = 'sonic-solstice-422', 'SELECT body
FROM [marugoto.sum_maru01_10] limit 99999 ;' ))

27. http://konisimple.net/tool/hinshi/
Google BigQueryの話を肴にお鮨とビールをいただく会です。
を形態素解析する！

29. テキストマイニングは次の分野での利用が有効
1.マーケティング
① 評判分析
② 需要の抽出
③ 自社製品の強み弱み
④ どこ/誰が影響力を持っているか特定
2.ナレッジの自動蓄積
① メール等の文書をデータベース化
② 暗黙知→形式知
3.ゲノム解析
生物のゲノムのもつ遺伝情報を総合的に解析する

30. データマイニングの定義
・明示されてなく、今までは知られていなかったが
役立つ可能性があり、かつ自明でない情報をデータから抽出すること。
・データの巨大集合やデータベースから有用な情報を抽出する技術体系

31. システム全体図
MS Excel
Spread Sheet
Google Drive
Pull Task
自動化
Upload
Download
task実行サーブレット
sptodsServlet
Datastore
Spread参照
URLFetch
Spread参照
Cloud
Datastore
Google
Apps Script
Task制御サーブレット
taskcontrolServlet
Taskスケジュール
cron.xml
BigQuery
Browser
bq
Command
Project ID
Dataset ID
Table ID
Outputを使用した
繰り返し解析
output
Big Data
Source
Cloud
Storage
Big Data
Source
Big Data
Source
サーブレット
SpreadServlet
センサ
CSV
Big Data
Source
Bucket
ファイル単位
ホルダ単位
（再帰検索）
Big Data
Source
CRUDビーンズ
SpreadBean
Google App Engine
Dremel
BigQuery
Datastore
Import
JSON
コマンドライン
API
Taskキュー設定
queue.xml
BigQueryロード
SNS
データ
Big Query
Connector
For Excel

32. 3232
HTML5
JavaScript
jQuery
HTML5
JavaScript
jQuery,ｊqPlot
DOM
spaceBean
（LLAPI）
channelServlet
Channel
Service
Channel
プッシュデータ
addOrdDtl.htm
addOrdDtl.htm
showOrdChnl.htm
Cloud SQL(SQL) Datastore
(NoSQL)
cust_mas
Cloud SQL
(SQL)
Datastore
（NoSQL）
spacemas
orderServlet
Sqlto
nosql
Servlet
ordaccum
cron.xm
cust_mas
Web SQL
XMLHttpRequest
Web Workers
BigQuery
サーバプッシュ
（Real Time Web）
制御
変数セット
関数呼び出し
起動
K.Seino
taskcontrol
Servlet
ord_dtl
ord_cal
ord_hdr
queue.xml
PullTaskの追加
item_mas
Datastore
(NoSQL)
item_mas
Web Storage
Cloud
Storage
Datastore to BigQuery
Cust
Svlt
ordaccum
bucket
Ord
Svlt
Cust
Bean
Ord
Bean
Spec
Servlet
orderBean
（LLAPI）
HTML5
JavaScript
jQuery