1. おしゃべりなロングテールの
後ろ側のツール群
伊藤貴一

2. Rawler

概要

テキスト処理とWebから
データ取得フレームワーク





これ単独で大半のページの
取得ができます。
XAML（XML）でメタプロ
グラミング
一応、GitHubで公開してい
る。（誰も見ていない）
慣れると、30分位でWebの
データを取得できる
使われているプロジェク
ト

Mixi、Pixiv分析でのデー
タ取得
Rawlerクライアント

3. Rawler

コンセプト

パラメータの入力だけするやり方があると便利
Webからのデータ取得は、パラメータの組み合わせでしかない。
しかし、組み合わせは多数存在するので、プログラミングという形が一番いい
表現方法。簡単に使えるツール化は断念




記述量がすくなく、見通しがいいものがほしい
メソッドチェーンみたいなのがやりたい。
すべての命令は、テキストを変数としてテキストを返す仕組みになっている。
変数の受け渡し排除、ループの排除。



機能のパーツを作るだけで、再利用可能な形にしたい。



これだけで、Webのデータ取得とテキスト処理を完結させたい。


パーツの組み合わせでやりたいことを実現。
実装は、基底クラスの継承で実現。C#のXAMLという機構を利用している。
ライブラリのはずが、フレームワークになっていた。
LL言語みたいに、コンパイルなしで気軽に使いたい


クライアントで気軽に起動。
でも、強い型制約も大好き。IntelliSense大好き。

作成は、Visual Studioで使うと、IntelliSenseが働く。

4. Rawler
これだけの記述で、Webペー
ジのアクセス、タグの抽出、
リンクの抽出、データの格納
を行う。
Visual Studioで使うと入力補助が機能す
るので、比較的簡単に作れる。（XAML
という仕組みを利用している。）
すべての命令は、テキストを変数としてテキ
ストを返す。
そのため、Page→Links→Pageとリンクをた
どっていくようなことが表現可能。
複雑なことは、ツリーを深くしていけば可能。
命令は、クラスの継承を使い簡単に作れて、
今では、ツイッターからのデータ取得や、形
態素解析（YahooAPI使用）などもできる。
http://web.sfc.keio.ac.jp/~kiichi/soft/rawler
/publish.htm
ここからクライアントツールが起
動できて、そのツールのテキスト
エリアに、プログラムを書き込み、
実行できる。
ソースコードは、一応Githubに公
開している。
ソースコードがヘルプみたいなも
のなので（震え声）

5. ClusterTable

概要






表の形でクラスタリング
の結果を見せるツール。
アイテム間の関係や属性
との関係も可視化
アイテムの移動もできる。
クラスタリングもできる
ようにした。
SilverLight製なので、ブ
ラウザ上で、Macな人も
使える
使われているプロジェ
クト

Mixi分析、ツイッター分
ツール画面

6. ClusterTable

コンセプト

大量のアイテムの表示に系統とレイヤーを用いて表形式
で表示するツール

レイヤー：頻度階層。頻度が高いものが上の階層になる。





クラスタリングするにも、頻度が同じくらいのものでするのが理想
的。
相関ルールの可視化
ある程度結果に人間が介入できて、機械の結果を絶対視
せず、解釈の結果を反映させるようなツール
初心者にも扱えるぐらいの、なるべく少ないデータ入力
種類で済ませる。データベースは使わない。
ブラウザで、WinでもMacでも使えるツール

いまどき、SilverLight製 コンシューマ向けじゃないから問題
なし。

7. ClusterTable
頻度高い
•色が付くのは、相関が強いもの
•相関が強いものが縦の列でなる
べく並ぶようにクラスタリング
している。
アイテム間の関係を表示
頻度低い

8. ClusterTable
性別、年齢などの属性と
の関係を表示
赤が特化している。

9. ClusterTable
クラスタ間の関係をグラフ表示

10. CrossTable

概要

アンケートデータ分析ツール







単純集計、クロス表、グールプ
化集計
簡単に変数の統合、絞込、削除
の指定が可能
変数のクラスタリングと、その
クラスタリング結果を新たな変
数に追加することが可能
SilverLight製なので、Macな人
も使える
ローカルファイルを読み込んで
処理をするので、機密性が高い。
GoocaBoocaとの連携もしてい
る。
簡単なフリーアンサー分析もで
きる。
使われているプロジェクト

GoocaBoocaの結果分析

11. CrossTable

コンセプト




アンケート分析ツールがほしい。
データの絞り込み指定が簡単にやれて、詳細な分析が可
能にする。
クラスタリングによって変数の統合と、クラスタリング
結果からさらにクロス表、グループ化集計が可能にする。
Webブラウザから簡単にやれる。でも、ローカルファイ
ルを扱えるようにして、Webに上げたくないデータも分
析できるようにする。

12. CrossTable：単純集計

13. CrossTable：クロス集計

14. CrossTable：クラスタリング
クラスタリングのアルゴリズム
は
K-means法。
クラスタリングの結果を元に、
単純集計、クロス集計が行える。

15. CrossTable：絞り込み
絞り込んだデータで、単純集計、
クロス集計、クラスタリングが行
える。

16. GoocaBooca

概要



スーマートフォンを使った、画像について、
Yes、Noを答えるだけのアンケートシステム
最後に質問をすし、結果を見せることができる。
XMLの設定ファイルを作成するだけで、すぐに
アンケートができる。



CrossTableで、そのデータの分析ができる。
使われているプロジェクト


画像について属性を付与してその分析も可能にしてい
る。
GoocaBooca
コンセプト



スーマートフォンを使って、イメージについて
のアンケートをしたい。
さくさく回答できる。
共通化して、様々なアンケートをできるように
する。

17. GoocaBooca
YesNo回答
一覧ページ
質問ページ
CrossTableでデータ分析

18. ツール群

Rawler

テキスト処理とWebからデータ取得フレームワーク


ClusterTable

クラスタリングと構造化、データの表示ツール


ローカルファイル読み込み SilverLight製
CrossTable

単純集計、クロス表、クラスタリング、データの絞込、
ツール


XAML（XML）でプログラミング メソッドチェーン的なプロ
グラミング
ローカルファイル読み込み GoocaBoocaと連携 SilverLight
製
GoocaBooca

簡単Webアンケートサービス。

XML入力ファイルを作れば、すぐできる。