「教師なし学習をやってみる」を公開 ※ 株式会社GIGでは毎月社内外に向けた勉強会を実施しています GIG inc. Good is good. We provide opportunities to the SEKAI by fusing technology and ideas. テクノロジーとクリエイティブでセカイをより良くする。小さなチームからスタートした多くの先人達が、世界をより豊かなモノに変革してきました。通信、UX、デバイス、技術の変化と共に世界はまだまだ加速度的に変わります。 Good is good. いいものはいい。GIGは、関わったユーザーやクライアントが前に進める“きっかけ”をつくりつづけます。 ■ お問い合せ https://giginc.co.jp/contact/

1. Tech Trend Talk 3
2018年5月23日（木）

3. A.Iと言いたくないけど
A.I.の話 part 2
Masanori Nakashima
2018

4. 中島
中島 正成
▪ Institution for a Global Society株式会社
▪ 執行役員CTO
▪ 人材データの分析・機械学習
▪ 人工知能をつかった評価システム GROW360開発
▪ 英作文採点システム開発
▪ エン・ジャパン株式会社
▪ 株式会社不満買取センターCTO
▪ 自然言語処理によるマーケティングデータ分類
▪ 株式会社メタップス
▪ 取締役CTO
▪ 広告プラットフォームmetapsリワード開発
▪ メタップスアナリティクスプロトタイプ開発
▪ 決済プラットフォームSpikeプロトタイプ開発

5. Overview
▪ 前回のおさらい
▪ 教師なし学習をやってみよう

6. A.I（人工知能）とはなんですか？

7. A.I（人工知能）とは、
ただの言葉である。

8. 物すごく短くいうと、多
くのデータに対してもっ
ともらしい関数を自動的
につくる。
回帰モデル
分類モデル、ツリーモデ
ルとも。ツリー型に条件
分岐して答えを出すため
の分岐条件を自動的につ
くっていく。
判別モデル
手法ではなく枠組み。
統計的にもっともらしい
答えを推定していく手法
。
統計モデリング
脳機能に見られるいく
つかの特性を計算機上
のシミュレーションに
よって表現することを
目指した数学モデル。
ニューラル
ネットワーク
抑えるべき機械学習の言葉の話

9. 回帰モデルの基本の話

10. 判別モデルの進化の話

11. • 回帰
• 線形回帰
• ロジスティック回帰
• SVM
• ツリー
• 決定木
• 回帰木
• ランダムフォレスト
• 勾配ブースティング
• ニューラルネットワーク
• CNN
• RNN
• パーセプトロン
教師あり学習
• 階層型クラスタリング
• 非階層型クラスタリング
• K-means
• トピックモデル
• LDA
• 協調フィルタリング
• 自己組織化マップ
教師なし学習
教師あり学習と教師なし学習

12. これから
▪ 第一回 機械学習の概要
▪ 第二回 環境準備と教師なし学習の実践
▪ 第三回 教師あり学習とプロダクトへの活用
▪ 第四回 スコア予測の事例の実践
▪ 第五回 適切なアルゴリズムの探索
▪ 第六回 自然言語処理の入り口
index

13. 教師なし学習とは
やってみようクラスタリング

14. 教師なし学習とは
いい感じにやる

15. 教師なし学
習
とは？
教師なし学習（きょうしなしがくしゅう, 英: Unsupervised
Learning）とは、機械学習の手法の一つである。「出力す
べきもの」があらかじめ決まっていないという点で教師あ
り学習とは大きく異なる。データの背後に存在する本質的
な構造を抽出するために用いられる。
分析をするときに使う
通常は分析ツール等を除いたプロダクトに用いられることは
ありません。
適当にやっても説明力がない、精度があがらないからと思っ
て差し支えありません。

16. K-meansをやってみるよ
● K-means
k平均法（kへいきんほう、英: k-means clustering）は、非階層型クラスタリングのアルゴリズム。クラスタの平均
を用い、与えられたクラスタ数k個に分類することから、MacQueen がこのように命名した。k-平均法（k-means
）、c-平均法（c-means）とも呼ばれる。本アルゴリズムでは最小値ではなく初期値依存の極小値に収束する。
結果は、最初のクラスタのランダムな割り振りに大きく依存することが知られており、1回の結果で最良のものが
得られるとは限らない。そのため、何度か繰り返して行って最良の結果を選択する手法や、k-means++法のように
最初のクラスタ中心点の振り方を工夫する手法などが使用されることがある。

17. パラメータが
たくさんある
データが
たくさんある
ぱっと見
わからないけど
パターン分けして
分類してみたい
K-meansってどんな時に使うの？ ①
K-meansで
クラスタリング
してみる
有意な分類が
できそうだ
クラスタ番号を
参考に学習デー
タを作る
教師あり学習で
分類器を
作成！

18. パラメータがたくさんある
データがたくさんある
ぱっと見わからないけど
パターン分けして
分類してみたい
K-meansってどんな時に使うの？ ②
K-meansで
クラスタリング
してみる
有意な分類が
できそうだ
クラスタ番号を
参考に学習デー
タを作る
教師あり学習で
分類器を
作成！
こういうデータ探索に使います！

19. 環境構築
やってみようクラスタリング

20. Pythonをいれよう ①
● pyenvはpythonの複数のバージョンをインストールして、用途に応じて切り替えることができるpython
環境管理ツールです。 本日はmacとubuntuのインストール方法だけさらっと説明します。
pyenv をいれるのがおすすめです！
初心者はとりあえずpyenvとanaconda2, anaconda3をいれましょう！
# pyenvのインストール
brew install pyenv
# anacondaのインストール
pyenv install anaconda2-5.0.1
pyenv install anaconda3-5.0.1
# インストール確認
pyenv versions
# anaconda3利用の設定
pyenv global anaconda3-5.0.1
# 必要パッケージのインストール
sudo apt-get install git gcc make openssl libssl-dev libbz2-dev
libreadline-dev libsqlite3-dev
# pyenvのインストール
sudo git clone git://github.com/yyuu/pyenv.git ./pyenv
# .bash_profile
export PYENV_ROOT=$HOME/.pyenv
export PATH=$PYENV_ROOT/bin:$PATH
eval "$(pyenv init -)”
# anacondaのインストール
pyenv install anaconda2-5.0.1
pyenv install anaconda3-5.0.1
# ..あとはmacと同じ

21. Pythonをいれよう ②
gist for mac os
https://bit.ly/2KLwk5E
gist for ubuntu
https://bit.ly/2rZOZ6J

22. jupyter-notebookをいれよう
● jupyterはpythonのcliを気軽に試して保存できる便利なノートブックツールです。
# pyenvのインストール
pip install jupyter
# jupyter notebook起動
jupyter notebook

24. 分析開始
やってみようクラスタリング

25. ケース
▪ クラウドソーシングサービスに登録されているハイスキ
ルなエンジニアたちのデータがあります。
▪ やつらのスキルは高く、様々な案件をこなしてきました
。やつらがこなしてきて評価が4以上の案件の数を関連ス
キルごとにまとめたデータがあります。
▪ 対象の廃エンジニアは3000人、スキル150のデータであ
り目視でタイプわけするのは非常に困難です。
ミッション
ハイスキルなやつらがどんな風に分類できる
のか探索して適切っぽい分類を探してみまし
ょう！

26. 今日使うデータ
On github
https://bit.ly/2khNrAN

27. 目視で分類できるものならシテみやがれ！

28. 新しいnotebookを作ろう
● NewタブからPython3をクリックして新しいノートブックを作ってみましょう。

29. ノートに名前をつけよう
● Untitledのところをクリックするとノートブックの名前を変更して保存できます。

30. Pythonを書き始めよう
● フォームにPythonプログラムを書いて実行しながら結果をみていくことができます。保存もノートブッ
クのダウンロードも共有もできるよ。

31. さっそくデータ読み込み
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
df = pd.read_csv('dataanalysis/sampledata.csv', encoding="UTF-8")
df
Pandas, numpy, scikit-learn, matplotlibというライブラリを読み込んでおきます。
Pandasのread_csvという関数でcsvを読み込みます。
PandasはそのままExcelを読み込んだりデータベースを読み込んだりしてデータフレームを
作成してくれる非常に強力なツールです。

32. とりま実行してみる
● 読み込まれたCSVがデータフレームに取り込まれて表になっています。Pythonでは最後の行の式がOutとして評価されますよ。

33. クラスタリングのためのデータ整備
rev_array = np.array([df['Java'].tolist(),
df['Ruby1'].tolist(),
df['Ruby2'].tolist(),
df['Scala'].tolist(),
df['Go lang'].tolist(),
df['JavaScript'].tolist(),
df['PHP'].tolist(),
df['CentOS'].tolist(),
df['Ubuntu'].tolist(),
df['MacOS'].tolist(),
df['Redhat'].tolist(),
df['Python Jupyter notebook'].tolist()
], np.int32)
rev_array = rev_array.T
rev_array
難しいことは考えないでnumpyを使って項目ごとの転置行列を作ります。
Numpyは数学計算ライブラリで行列操作から高度な演算までできる必須ツールです。

34. 実行してみます
● 各項目が行列になっている多次元行列ができました。

35. Kmeansクラスでクラスタリング
pred = KMeans(n_clusters=4).fit_predict(rev_array)
pred
難しいことは考えないでクラスタ数を４に指定してクラスタ番号を予測してみます。
KMeansクラスだけでなく、scikit-learnの機械学習ライブラリは、fitが学習、predictが予測、
fit_predictは教師なし学習に固有で、データを学習してそのまま予測するという意味です。
実行してみましょう。

36. 実行してみます
● Outに0-3までの４つのクラスタ番号が出力されているのがわかります。

37. データフレームにくっつけます
df['cluster_id']=pred
df
まじこれだけ
Pandasのデータフレームまじ優秀
dfデータセットのフィールドcluster_idとして先ほど予測で取得したクラスタ番号の配列を代入
するとなんとループ処理を書かなくても右端にくっつく！

38. 実行してみます
● Outの右端にクラスタ番号がついているのがわかります。

39. 色々みてみよう これ大事
# クラスタごとのデータ数を表示
df['cluster_id'].value_counts()
# クラスタ0の項目の平均を表示
df[df['cluster_id']==0].mean()
# 超便利 基本統計量をクラスタごとに表示
df.groupby("cluster_id").describe()

40. グラフを書いてみよう これ大事
clusterinfo = pd.DataFrame()
for i in range(4):
clusterinfo['cluster' + str(i)] = df[df['cluster_id'] == i].mean()
clusterinfo = clusterinfo.drop('cluster_id')
my_plot = clusterinfo.T.plot(kind='bar', stacked=True, title="Mean Value of 4 Clusters")
my_plot.set_xticklabels(my_plot.xaxis.get_majorticklabels(), rotation=0)

41. まとめ
人材データの分類機の話

42. まとめ
● ランダムデータ生成シェルスクリプト
● https://bit.ly/2KIRH7A
● 完全ランダムは統計量とると収束するのでいいサンプルデータにならなかったよママン
● クラスタ番号は毎回同じにならないので統計量やグラフで確認していい感じでわかれてるっぽいかなと
いうことを確認することは大事。ここから大事なことは可視化の方法、どんな可視化をするかで効率も
妥当性も大きく変わる。センスいります。
● 次回は今日の結果をもとにしてどんな風にプロダクトに使えるようになるのか見てみましょう。

43. 宣伝１
https://grow-360.com/
勇者募集中, Go, Python, Vue, Scala

44. 宣伝２ 小学生向け
サマースクールやります！
• 小学１年生〜３年生対象のデータを活用した新しい教育
を模索するサマースクールやります！
• 対象のお子様がいらっしゃる方はぜひご参加を！
• https://any-school.org/
• IT関係のボランティアスタッフ募集！
• デザイン、コーディング
• IoT機器の設定やデータ取得・管理
• データ分析
• その他Webやアプリケーション開発
財団法人エニースクール
勇者求む！

45. •Tech Trend Talk #4
〜メディア制作者が“共犯”にならないために知っておきたい情報発信の落とし穴〜
•ゲスト：朽木誠一郎さん（Buzz Feed Japan 編集長）
•日時: 6/23(水) 20:00開始
•イベントの最新情報は、
「GIG Network」に公開予定です！
https://www.facebook.com/groups/giginc/
<<次回予告>>