Let's stady Machine Learning with OCSJ

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
コンサルと学ぶ!Oracle最新技術
2018/4/23
日本オラクル株式会社
クラウド・テクノロジーコンサルティング事業本部
内村友亮
日本オラクルのコンサルティングチームは、技術者天国なのだ！
オラクルクラウドですぐに使える！
機械学習の現場ワザ

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 2
Agenda
はじめに
週報分析による人とスキルの相関
週報分析による売上とスキルセットの相関
機械学習スキルをチェックしよう
機械学習をやってみた
おわりに

はじめに

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
機械学習サービスの提供形態について
Saba,
Adobe
SFDC, SAP
SAS, IBM,
Amazon,
Microsoft
Google,
IBM, PFN
Microsoft
主な提供企業
組み込み型
プラットフォーム型
ライブラリ型
Marketing
Sales
ERP, HCM
開発・実行環境
データベース
ライブラリ
フレームワーク
技術内容クラウドの階層
Oracle
HCM Cloud,
ERP Cloud,
Service Cloud
Oracle
Database,
Big Data
Appliance
ORE,
ORAAH
現在の市場においては、組み込み型、プラットフォーム型、ライブラリ型の3つに分類できます。
4

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 5
高度なクラウド活用メニュー
RFIDによる物品管理ソリューション PoC 支援
物品のスキャンログによる効率的なトレーサビリティ向上をご検討中のお客様にお奨めするサービスです。
物品のタグを一つ一つ読み取る作業は、タグを1つ1つ探してバーコードリーダーをかざす作業が必要な手間も時間も掛かる作業です。倉庫や店
舗の物品の出し入れや店舗在庫の棚卸を効率化できれば、接客業務などの本来業務に専念する時間を増やすことができます。また、Oracle
Cloud 上にスキャンログを収集・可視化することで、新しい知見を抽出することが可能になります。
クラウド及びコンサルティングサービス
• コンサルティング料金は別途お見積りさせていただきます
• コンサルティング料金のほかに、遠隔地で作業（出張）した場合は、
交通費等の経費が発生します
• その他製品・サービスに関する詳細は、弊社担当営業までご連絡く
ださい
■シナリオ
• 自社環境でRFIDをスキャンできるかを事前に確認しておきたい
• スキャンログの収集・可視化のフローを事前に確認して起きたい
• スキャンログ活用について要点を抑えて安価に実現したい
■支援内容
RFIDスキャナー、タグを使い、スキャンログを収集・可視化する実
現手段をPoCを机上および実機にて検証します。
■前提条件
・PoC用のRFIDスキャナーおよびRFIDタグはは貸し出します。
・Oracle Cloud 環境はお客様のトライアル環境を利用します。
・詳細設計、運用設計、実際の移行作業は範囲対象外です
上記についてはPoC後に、別途お見積もりを提案します
日本オラクル株式会社
〒107-0061 東京都港区北青山 2-5-8 オラクル青山センター
oracle.com/jp
■ユースケース
１.離れた場所のタグを読み取り
これまでは高いところのバーコードは脚立を使って読み取りしていた作業。RFID
は、遠くのタグも読み取れるので高いところのタグでも脚立を使わずに効率的に
読み取りできる。作業時間の短縮だけでなく、作業者の安全確保も可能。
２.箱の中のタグを一括読み取り
こまれまでは箱を開けてバーコードを1つ1つ読み取りしていた作業。RFIDは、箱
を明けなくても一括読み取りができる。
Customer
Applications
RFID RFID RFID
Log AnalyticsDatabase
スキャンログによる効率的なトレーサビリティの向上
Oracle Cloud であらゆるスキャンログを収集・可視化し、新しい知見を抽出

インテグレーションするデバイスとICタグ

クラスタ分析によるパターン検出・例外検出
• 類似したパターンを持つログを自動的に認識しグ
ルーピング
• 膨大な量のログイベントを少量のパターン情報(ク
ラスタ)へと集約
– 例外的パターンや断続的に発生するイベントを素早く検知す
ることで、迅速なトラブルシューティングや、異常の検出を
可能に
• 特に注意すべきクラスタをハイライトし、分析を
積極支援
– 「Error」等のキーワードを含むクラスタ
– 特に件数の少ないクラスタ(例外的なメッセージ)
– 同じトレンドを持つクラスタ
Aug 18 11:00:57 Unable to create file ABC.txt for user root
Aug 18 23:07:26 Unable to create file DEF.txt for user larry
Aug 18 23:08:30 Unable to create file XYZ.ppt for user moe
Aug 18 23:08:22 Unable to create file ZZ.top for user curly
Aug 18 23:08:01 Succeeded authorizing right
'system.priv.admin’
「無視してよい大量のログ」「大切な一行のログ」を効率的に探索
上記ログエントリを、1つのパターンおよび1つの例外に集約
ID パターン件数
1 <Date> Unable to create file <File> for user <User> 1000
2 Aug 18 23:08:01 Succeeded authorizing right
'system.priv.admin'
1

ログのオンデマンドアップロード
Cloud
Agent
HTTP/HTTPS
プロキシ
(Optional)
Oracle
Manageme
nt Cloud
Oracle Cloud
お客様環境
(オンプレミス/クラウド)
オンデマンドアップロード
分析
Cloud
Agent
お客様環境
(オフィス等、インターネットに接続可能な環境)
またはオラクル
SFTP等で転送
ログファイルログファイル
Log Analyticsでは、ログアップ
ロード用のREST APIを直接使用
可能
↓
オフィス環境等からログを手動で
アップロードすることで、手軽に
利用が可能

Oracle Labs について
Oracle Labsのミッションは、オラクルのビジネスを大
幅に向上させる可能性のある新しいテクノロジを特定し
たり探索したりすることです。R＆Dに対するオラクルの
取り組みは、コンピュータ業界の最前線でオラクルを維
持してきたテクノロジの開発の原動力です。オラクルの
最先端技術の多くは製品開発組織に由来していますが、
Oracle Labsはオラクルの唯一の組織であり、研究に専
念しています。
アクティブなプロジェクト(抜粋)
Adaptive Optimization
David Vengerov
Introduce self-optimization capabilities into Oracle's computer
systems and processes based on adaptive learning methods
FPGA Offload
Shri Hariharasubrahmanian
The project aims to develop FPGA offload engine to accelerate
existing software in various high value applications including
ingestion of data into engineered systems and Big Data
applications.
GraalVM
Thomas Wuerthinger
GraalVM provides high performance for individual languages and
interoperability with zero performance overhead for creating
polyglot applications.
https://blogs.oracle.com/developers/announcing-graalvm
Parallel Graph AnalytiX (PGX)
Sungpack Hong
Parallel, Efficient, In-Memory Graph Processing supported by a
high level domain-specific language

週報分析による人と技術の相関

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
本セクションの内容
• 利用している技術
– igraphパッケージ
– グラフの可視化や，中心性解析，コミュニティ検出といったネットワーク分
析を簡単に行うことができます
– 今回は、graph.data.frameでデータフレームをグラフに変換しました
• 分かること、分析して嬉しいこと
– 週報という雑多なテキスト文書から、グラフのノードに技術キーワードと人
の関係性を、エッジに関係性の強さを表現しました。これにより、その組織
の持つスキルセットの最初のオーバービューを得られます。なお、応用分析
として、中心性解析を実施するとポイントとなる技術と人が明確になるで
しょう。(今回は触れていません)
11

Graph analysis – 技術領域とヒト

(サンプルコード)
# 製品と人のつながり
setwd(“working_dir") # 作業ディレクトリ
tcList <- “tc_name_dic.txt" # 社員名リスト
mailList <- “mail_name_dic.txt" # メール⇔日本語名マッピング用
prodList <- “product.txt" # 社員名リスト
library(igraph) # グラフ描画用ライブラリ
library(RMeCab) # 日本語形態素解析用ライブラリ
modeRead <- "r" # ファイル読み込みモード
txtFrom <- "^From" # メールアドレス抽出用
txtDmain <- "@oracle.com" # メールアドレス抽出用
txtBig <- "<" # メールアドレス抽出用
txtFreq <- "Freq" # クロス集計用
files <- list.files() # ファイルリスト取得
kekka2 <- data.frame() # 空のデータフレーム作成
tc <- read.table(tcList, header=T) # テクコンメンバの読み込み
ml <- read.table(mailList, header=T, sep=",") # メール⇔日本語名マッピング用
pl <- read.table(prodList, header=T) # 製品リストの読み込み
for (file.name in files) { # 週報データを読み込む
# 名前リスト抽出
kekka <- RMeCabFreq(file.name) # 日本語形態素解析
kekka <- cbind(kekka, FLG=c(rep(0, times=nrow(kekka)))) # 除外用フラグを追加(5列目)
kekka <- cbind(kekka, FLG2=c(rep(0, times=nrow(kekka)))) # 除外用フラグを追加(6列目)
kekka[na.omit(match(tc[,1], kekka[,1])), 5] <- 1 # テクコンメンバフラグオン
kekka[na.omit(match(pl[,1], kekka[,1])), 6] <- 1 # 製品リストフラグオン
# メールアドレス抽出(テキスト冒頭にFromを含むもの)
awrBuf <- file(file.name, modeRead ) # ファイル読み込み
awrTxt <- as.list(readLines(awrBuf)) # テキスト読み込み
close(awrBuf) # ファイルクローズ
mailBuf <- matrix(awrTxt[grep(txtFrom, awrTxt, perl = TRUE)]) # メールアドレス抽出(テキスト冒頭にFromを含
むもの)
mailAdr <- matrix(gsub("¥"", "", toupper(sub(txtDmain, "", ifelse(regexpr(txtBig, mailBuf) == -1,
substr(mailBuf[,1], 7, nchar(mailBuf)), substr(mailBuf, 7, regexpr(txtBig, mailBuf)-2))))))
mailAdr2 <- matrix(if(!is.null(grep(mailAdr[1,],ml$empeng))) { ml[grep(mailAdr[1,],ml$empeng),2] } else
{ mailAdr[1,] }) # メールアドレス(英字)を日本語氏名に変換する
kekka <- cbind(kekka, NAME=c(rep(mailAdr2, times=nrow(kekka)))) # 氏名を追加(6列目)
kekka2 <- rbind(kekka2, kekka[kekka[,6] == 1,]) # 結果をバインドする
}
# 週報提出者、週報出現氏名でグループ化
kekka3 <- aggregate(kekka2$Freq, list(kekka2$NAME, kekka2$Term), sum)
# 自分自身へのエッジを削除
kekka4 <- kekka3[substr(kekka3[,1], 1, regexpr(" ", kekka3[,1]) - 1)!=kekka3[,2],] sortlist<-
order(kekka4[,2],decreasing = TRUE)
fwn<-kekka4[sortlist,]
wng<-graph.data.frame(fwn[fwn$x > 5,]) # 頻出度がn回以上を対象とする
# 属性の表示の有効化
igraph.options(print.graph.attributes=TRUE)
igraph.options(print.vertex.attributes=TRUE)
igraph.options(print.edge.attributes=TRUE)
V(wng)$color <- rgb(221, 221, 221, maxColorValue=255) # 通常のノードはライトグレー
V(wng)$frame.color <- rgb(221, 221, 221, maxColorValue=255) # ノードのフレームもライトグレー
# DBソリューション部の週報提出メンバを赤色にする
V(wng)[V(wng)$name%in%ml$empjp[ml$dept == "DBソリューション部"]]$color <- rgb(255, 0, 102, maxColorValue=255)
V(wng)[V(wng)$name%in%ml$empjp[ml$dept == "DBソリューション部"]]$frame.color <- rgb(255, 0, 102,
maxColorValue=255)
V(wng)$size <- degree(wng) # ノードサイズを次数により決定
E(wng)$weight <- E(wng)$x # 頻出度によって重みを付ける
E(wng)[E(wng)$Freq > 10]$weight <- 11 # 10より頻出度の高いものは11にする
tkplot(wng, layout=layout.fruchterman.reingold,
vertex.label=V(wng)$name, vertex.label.color="blue",
edge.width=E(wng)$weight*0.05, edge.curved = TRUE,
canvas.width=1200, canvas.height=600)
https://github.com/uchim/graph.data.frame/

週報分析による
売上とスキルセットの相関

本セクションの内容
• 利用している技術
– mgmfit()関数を使った混合グラフィカルモデルによるグラフ構造分析
– mgmパッケージマニュアルは、http://arxiv.org/pdf/1510.06871v2.pdf
• 分かること、分析して嬉しいこと
– 多変量データセット内の独立構造を描くことは、変数の相関の最初のオー
バービューを得られるので、ビジネス貢献における正確な技術要素の解析に
寄与する事ができます。たとえば、連続する変数間の相関を得るために、私
たちは、グラフ内のノードがポジティブかネガティブか、これらがどれくら
いの強さのつながりか、などの、パラメータを知りたいと考えます。カテゴ
リ変数間の相関の場合、2次元の表データだけでは、カテゴリ変数間の正確な
非線形の相関を記述するパラメータ・セットが別途必要になります。
15

• 週報分析によるスキルセットの相関
⁃ 3年前
ノード「2」は
売上を表します
ノード「1」は
コンサレベル
を表します
• グラフから分かったこと
– コンサルレベルの高いコンサルタントが
高い関心事を示すキーワード
– 売上の高いコンサルタントが高い関心事
を示すキーワード
– 新たな技術キーワード間の相関
上記と同等
週報分析によるスキルセットの相関(1of2)

• グラフから分かったこと
– コンサルレベルの高いコンサルタントが
高い関心事を示すキーワード
– 売上の高いコンサルタントが高い関心事
を示すキーワード
– 新たな技術キーワード間の相関
週報分析によるスキルセットの相関(2of2)
• 週報分析によるスキルセットの相関
⁃ 2年前
ノード「2」は
売上を表します
ノード「1」は
コンサレベル
を表します

# mgmfig によるグラフ構造の表示
setwd("ディレクトリを指定")
library(mgm)
library(qgraph)
data <- read.table("data.txt", sep = "¥t", header= FALSE)
data <- apply(data, 2, as.integer)
dif <- read.table("dif.txt", sep = "¥t", header= FALSE)
data_colnames <- as.matrix(dif[1,])
type <- as.matrix(dif[2,])
lev <- apply(dif[3,], 1, as.integer)
# fit <- mgmfit(data, type, lev, d = 2, lambda.sel = "EBIC")
fit <- mgmfit(data, type, lev, d = 1)
groups_typeV <- list("Gaussian"=which(type=='g'),
"Categorical"=which(type=='c'),
"Poisson"=which(type=='p'))
group_col <- c("#ED3939", "#53B0CF", "#72CF53")
# JPEGに出力する
jpeg("sample.jpg", height=2*1700, width=2*2000, unit='px')
Q0 <- qgraph(fit$wadj,
vsize=3.5,
esize=2,
layout="spring",
edge.color = fit$edgecolor,
color=group_col,
border.width=1.5,
border.color="black",
groups=groups_typeV,
nodeNames=data_colnames,
legend=TRUE,
legend.mode="style2",
legend.cex=1.5)
dev.off()
※事前に、コンサルタント単位の技術要素、売上、コンサルレベルをマトリクスとし、ファイル名data.txtで作業ディレクトリに格納しています
(サンプルコード) https://github.com/uchim/mgmfit/

ご参考：インターネット・マーケティングデータの例
• mgmfit()関数を使った混合グラフィカルモデルによるグラフ構造分
析の例です
– https://qiita.com/uchim/items/bf68385484af5c8cb346
19

機械学習スキルをチェックしよう

なぜ機械学習のスキルが必要なのか？
• 注目を集めている機械学習スキルが、競争優位の源泉になりつつあります。
• データはお客様の最大の資産です。自分達で高度な活用を提案し、より効率化
する事が大事です。
• きちんと作って、きちんと運用することが必要。つまり、開発フェーズと運用
フェーズの双方において機械学習の専門家が必要です。
• 設計開発のフェーズに必要なスキルと、運用フェーズで必要なスキルは異なり
ます。
• 競合優位性を保つためにも、データベース内のデータだけにとらわれない、高
度なデータ活用が求められている中、データサイエンティストチームによる管
理・運用が必要です。
21

スキル定義資料(エクセルファイル)の紹介
• 日本オラクルコンサル内には、長年に渡って使用されてきた機械学習スキ
ル定義があります。
• データサイエンティスト協会のレベル定義を参考に、レベル１：初心者
レベル３：一人前レベル４指導者レベル５：社内に認知されたエキ
スパートレベル６：社外でも通用するデータサイエンティストとしてい
ます。
• 各スキル項目ごとに、各レベルの目安も記載しています。自己採点で自分
のスキルレベルを評価することもできます。
スキル項目と
説明
レベルの定義
22

スキルレベルの標準(エクセルファイル参照)
強み弱みを可視化する事で、スキルアップすべき点が明確になります
カテゴリ当初現在推奨
1 行動規範 1 3 3
2 プロセス 1 4 3
3 データの理解・検証 1 2 3
4 データ入手 2 3 3
5 パターン認識 1 3 3
6 データ加工 1 3 3
7 言語処理 1 4 3
8 サンプリング 1 3 3
9 予測 1 3 3
10 機械学習 1 3 3
11 プログラミング 2 3 3
12 意味合いの抽出、洞察 1 3 3
13 論理的思考 2 3 3
0
1
2
3
4
5
6
1 行動規範
2 プロセス
3 データの理解・…
4 データ入手
5 パターン認識
6 データ加工
7 言語処理8 サンプリング
9 予測
10 機械学習
11 プログラミング
12 意味合いの抽…
13 論理的思考
当初
現在
推奨
23

機械学習をやってみた

機械学習を利用する手順とは？
• 先端技術を業務に組み込むには、急激な変化とならないよう
にすることが、先端技術を定着させる第一歩になります。
• ここでは、適用した事例の紹介を通じて、以下の点をご理解
いただきます。
– 業務に組み込むべき機械学習の手順を理解する
– 障壁となる点については、対策を整理する
25

教科書に載っている機械学習を利用する手順
モデル構築
学習学習データ
新規データ予測
26

利用者が実際に直面する現実
モデル構築
学習学習データ
新規データ予測
評価
ビジュアライズ
顧客フィードバックエラー分析
モデル解釈
外部データ
ラベル付け
テストデータ
適用領域
品質検証サンプル
検証データ
生データ
法務レビュー
アウトソーシング検証ガイドラインタスク定義
特徴抽出
モデル選択
能動学習
27

機械学習による予測モデル構築について
予測モデル構築プロセスの模索仕組みとして整備して、業務プロセスに組み込む
業務分析予測モデルのチューニングと検証予測モデル適用とフィードバック
観測データの収集
✓KPI(パターン分け)
✓観測データ収集
✓収集要否の検討
特徴ベクトルの抽出
✓特徴ベクトルの抽出
✓利用可能な形式に変換
✓不足データ洗い出し
✓学習(訓練データ)準備
予測モデルの
チューニング
✓R環境で実施
✓リサンプリング
✓正解率等から予測モ
デル精度向上を検討
予測モデルの適用
✓R環境で実施
✓予測モデル精度の
チェック
予測モデルの精査
✓分析軸の再検討
✓特徴ベクトルの再検
討
✓高速化の検討
反復
統計的なデータ活用のた
めの収集、変換、集計、
可視化、を最初の一歩に。
注意したいのは、機械学習が万能であり、あ
らゆる問題を予測できるという視点から出発
してしまうとあらぬ誤解を生むことがあるの
で慎重に取り組んでいきましょう。
チューニングパラメータ決
定やクロスバリデーション
はcaretパッケージ等で効率
化します
どういったアルゴリズムを試すか？
例) ユークリッド距離
ランダムフォレスト
トピックモデル
詳細は、こちらのリンクにてご参照いただけます。
https://www.slideshare.net/tuchimur/oracle-cloud-developers-meetup
28

機械学習利用前の確認チェックリスト
大項目具体的な質問
ビジネスの目的対象の課題とKPIは決まっていますか？ □
データソースどのデータソースを使うか決まっていますか？ □
スキーマとテーブルの中身を理解していますか？ □
外部データを使う必要はありますか？ □
データの修正データの質をどのように整えるかイメージできていますか? □
ビジネスの目的に対応したデータを持っていますか? □
データの結合どの属性同士をつなげればよいか、手順が見えていますか？ □
データの加工分析用のデータに加工する手順が見えていますか？ □
インポート対象のデータをインポートする仕組みは整っていますか？ □
結果・解釈結果をビジネスの目的に合わせて解釈できますか？ □
立ち上げ最初は業務を補完するリコメンド機能として立ち上げできますか？ □
29

機械学習の進め方において大事なこと
ビジネス
理解
データ
理解
データ
準備
評価
展開
データ
モデリング
※データ活用におけるPDCAサイクル (CRISP-DM)
機械学習を進める上で重要なこと
「何をしたいか決めておく」
• ビジネスの理解
• データの理解が重要な要素となる
30

本レポートで取り扱うポータルサイトの目的
• 企業間の情報共有の場
– 自社の専用ページで情報発信
• 製品、商品、技術、サービスなど
– 取引先の発掘
• 販路拡大、技術提携、共同開発メンバー、生産委託の候補、登録企業のニーズ情報の入手
– 新規事業立ち上げ
• 事業提携、共同研究
検索キーワードのリコメンドについて検証
ビジネス理解
31

キーワード検索について
ビジネス理解
32
「NC自動旋盤機」で検索「CNC自動旋盤機」で検索
フリーワード入力
検索結果表示
検索結果に該当する情報が見つかりませんでした
検索結果表示
小型プリンター、自動旋盤、CNC自動旋盤機、カード
リーダーライター、小型音響部品、精密部品、研究開発
品の製品ラインナップ、技術情報、事業内容、・・・
高速回転する棒状の金属に刃を当て、任意の形に切削す
る旋盤の中でも、CNC自動旋盤機は、コンピュータによ
る数値制御（Computer Numerical Control）・・・
カム式マシンの高速性とCNC制御の汎用性・高精度を備
えたCNC自動旋盤機です。【主な特長】 1．XZ軸のシ
ンプル設計による・・・
NC自動旋盤機 CNC自動旋盤機
「NC自動旋盤機」で検索
しても検索結果は0件
「CNC自動旋盤機」で検
索するとヒットする

実現する機能について
ビジネス理解
33
検索結果表示
NC自動旋盤機
「NC自動旋盤機」で検索
すると、
WEBアクセスログ
100237,219.167.66.194,
10.31.2.193,yeJuetnDg3tAGxLjHyLPth0M,20170502154604393,201705,GET,JU00
00000009346,JC0000000006039,13,http://oracle.co.jp/web/page/system/corpora
tions/search?p_auth=w8Oz70wx&p_p_id=search_WAR_orasearchportlet&p_p_life
cycle=1&_search_WAR_orasearchportlet_javax.portlet.action=searchCorpInfo&_se
arch_WAR_orasearchportlet_freeWord=NC%E8%87%AA%E5%8B%95%E6%97%
8B%E7%9B%A4%E6%A9%9F&p_p_state=normal,searchCorpInfo,NC自動旋盤
機,0,0,JU0000000009346,17-05-02,JU0000000009346,17-05-02
WEBアクセスログとして
検索キーワードを蓄積
データベース
マシンラーニング
ナレッジグラフ NC自動旋盤に関連する検索キーワード
金属切削加工 CNC自動旋盤
検索結果表示
NC自動旋盤機
小型プリンター、自動旋盤、CNC自動旋盤機、カード
リーダーライター、小型音響部品、精密部品、研究開発
品の製品ラインナップ、技術情報、事業内容、・・・
高速回転する棒状の金属に刃を当て、任意の形に切削す
る旋盤の中でも、CNC自動旋盤機は、コンピュータによ
る数値制御（Computer Numerical Control）・・・
カム式マシンの高速性とCNC制御の汎用性・高精度を備
えたCNC自動旋盤機です。【主な特長】 1．XZ軸のシ
ンプル設計による・・・
前方一致検索に対応
アプリケーションの検索条件を変更して、前方
一致検索に対応する。
検索頻度の高いキーワードに対応
WEBアクセスログや企業プロフィール充足度
等のソースデータから、機械学習によって検索
キーワードを分類・抽出。
WEBマスターの承認を得て、コーパス(ユー
ザー辞書)に自動登録し、次回の検索時には検
索結果の対象となる。
検索キーワードのリコメンドに対応
J-GoodTechデータベース内のデータから、オ
ントロジーによって検索キーワードのメタデー
タのナレッジグラフを構築。
フリーワード入力によって検索されるキーワー
ドは、意味的につながりのある検索キーワード
をリコメンド表示する。
検索キーワードを蓄積
頻繁に検索される検索キーワードを機械学習によって、リコメンド
させることが可能

ユーザーの行動履歴について
• WEBアクセスログ(2017年05月02日15時45分23秒付近の閲覧履歴)
トップページ→マイページ→マイポートレット→サーチポートレット
→キーワード「NC自動旋盤機」で検索→検索結果0件
→キーワード「金属切削加工」で検索→検索結果33件
→キーワード「大田区、川崎市、金属切削加工」で検索→検索結果0件
→キーワード「金属切削加工」で検索→検索結果33件
→企業ID(※)をキーにサイト内を閲覧
→特定の名称で検索→検索結果1件
データ理解
34
NC自動旋盤機と金属切削加工は関係性あり
※特定の企業について
業務内容は、金属切削加工品、樹脂成形品、プレス加工品、焼結金属品、等

特徴ベクトルの抽出について
• 特徴ベクトルとは
– 機械学習にインプットする特徴的なデータの事を指します
• WEBアクセスログの状態
– ユーザーが何を検索したかったのかはユーザーのみの知るところではありま
すが、WEBアクセスログから検索の試行錯誤の過程を追跡することで、本来
検索したかった内容により近い情報を得ることができます。
– WEBアクセスログを分析したところWEBセッションを一意に特定する識別子、
企業IDを一意に特定する識別子、検索キーワード、検索結果件数がレコード
内に含まれていました。これらのデータから、ユーザーの検索の試行錯誤の
過程を追跡することができる状態であることが分かりました。
データ理解
35

機械学習で頻繁に検索されるキーワードを抽出
• 機械学習用に正規化した教師無しデータを準備します
• 今回は、アルゴリズムに自己組織化マップを採用しました
– ニューラルネットの一種です
– 教師なし機械学習であり、入力と正解(教師信号)のペア(例題)は無く、自ら学
習を行います。
カラム名データ型データの例
SESSION_ID Factor w/ 1296 levels "-+ev8yyoK9bMbDsn1ZxmIKbu",..
検索キーワード数 int 83 83 80 69 66 64 64 52 43 43 ...
セッション内のアクション回数 num 116.2 116.2 112 96.6 92.4 ...
検索結果ゼロ件の回数 num 49.8 49.8 48 41.4 39.6 38.4 38.4 31.2 25.8 25.8 ...
株式会社を含むキーワード数 num 24.9 24.9 24 20.7 19.8 19.2 19.2 15.6 12.9 12.9 ...
専門用語数 num 58.1 58.1 56 48.3 46.2 44.8 44.8 36.4 30.1 30.1 ...
企業IDのプロフィール充足度 int 50 45 45 88 77 50 45 45 88 77 ...
データ準備
36

自己組織化マップについて
• 教師なし学習は、入力と正解(教師信号)のペア(例題)は無く、自ら学習を行う。
• 自己組織化とは、入力に対する正解(教師信号)を用いず、外界との相互作用を
元に学習を行うことを言う。
• 自己組織化マップ(Self Organizing Map)は、似た特徴を持つデータを、空間的
に近い場所に配置した低次元のマップを作成する
• 教師なし学習とHebb則
• 脳においては、ニューロンAが発火してニューロンBが発火するということを繰
り返すと、AとBをつなぐシナプス結合が強化する。
• これを特徴抽出細胞と呼び、工学的に応用したものが自己組織化マップ。
• Hebb, D. O.
– The Organization of Behavior: A Neuropsychological Theory
– New York, Wiley & Sons: 1949
37
データモデリング

自己組織化マップについて
• 自己組織化マップの結合荷重は、入力パターンの近さで表す。
• 入力パターンの特徴を保ったまま、低次元のマップを作成。
• 入力パターンの特徴は、データ空間のトポロジー（つながり）とし
て保持する。
• バックプロパゲーションのように、入力の重み付けではない点が異
なる。
• 学習は、入力に近づくように、結合荷重を、近隣は大きく、遠方は
微かに修正していくことで行う。(Winner Takes All)
38

予測モデルの選択について
• キーワード「NC自動旋盤機」で検索した結果件数は0件
– AI(人工知能)の要素技術であるNatural language processing(自然言語処理、略:NLP)のMorphological analysis(形態素解
析)を導入することで、完全一致だけでなく部分一致の検索が可能となります。企業PR情報には、「NC自動旋盤機」はあり
ませんでしたが、「CNC自動旋盤機」を扱う企業が存在します。部分一致の検索を含めることで、「CNC自動旋盤機」を扱
う企業を検索結果に含めることが可能になります。
• Machine Learning(機械学習、略:ML)による頻繁に検索されるキーワードの抽出
– 次に、Machine Learning(機械学習、略:ML)を使うことで、頻繁に検索されるキーワードの抽出を効率化することが可能と
なります。頻繁に検索されるキーワードの抽出は、WEBアクセスログに加えて、企業IDに紐付く情報をMachine Learning
にインプットします。たとえば、企業のプロフィール充足度などです。
• Ontology(概念体系)によって意味論的な解釈を可能にする
– さらに高度なAI(人工知能)の応用として、Ontology(概念体系)を使うことで意味論的な解釈を持たせることができます。た
とえば、NC（Numerical Contorl）は「数値制御コントロ－ル」、CNC（Computerlized Numerical Control）の場合は
「コンピュータ数値制御コントロール」の略称です。昔のNCはデータ解析、演算、モータ制御などをそれぞれ個別に回路を
創り、それらを組み合わせた簡単な制御装置です。CNCは演算やモータ制御用にマイクロコンピュータが使われるように
なった物で１９７０年代に開発されて以来現在に至ります。年式的に余程古くない限り現行の機械の場合はNCと言えばほと
んどがCNCを搭載しますので、あえて２つを分ける必要は無く、意味合い的には「同じ物」と考えて問題ありません。
39

プロトタイプのソースコード
# 事前インストールしておいたライブラリを読み込む
library(kohonen)
library(data.table)
# データの読み込み
data <- "testdata.csv" # 機械学習用に正規化した教師無しデータ
testdata <- read.csv(data, encoding="UTF-8", header=T)
# 自己組織化マップのアルゴリズム分類数を指定する
gr <- somgrid(topo='hexagonal',xdim=3,ydim=3)
# 予測モデルを構築する
testdata.som <- som(as.matrix(testdata[,2:7]),gr,rlen=1000)
# Training progress
plot(testdata.som, "changes")
# 予測モデルの目的変数
testdata.som$unit.classif
# 予測モデルの可視化
plot(testdata.som,type='mapping', shape = "straight", labels=testdata[,8],
col=testdata[,8])
# 予測モデルとして構築した自己組織化マップのメトリック
testdata.som$codes
plot(testdata.som, type="codes", main = c("Codes testdataの自己組織化マップ"))
# 新しいデータを予測する
prediction <- predict(testdata.som,as.matrix(testdata[,2:7]))
# 予測結果の分類
prediction$unit.classif
# 予測結果の分類閾値
prediction$unit.predictions
par(mfrow = c(3,3))
pie(prediction$unit.predictions[[1]][1,])
①
②
③
④
40

①学習の過程を可視化
# Training progress
plot(testdata.som, "changes")
評価
41

②予測モデルの可視化
# 予測モデルの可視化
plot(testdata.som,type='mapping', shape = "straight", labels=testdata[,8], col=testdata[,8])
評価
42

③自己組織化マップのメトリック
# 予測モデルとして構築した自己組織化マップのメトリック
plot(testdata.som, type="codes", main = c("Codes testdataの自己組織化マップ"))
評価
43

④予測結果の分類閾値
# 予測結果の分類閾値
prediction$unit.predictions
par(mfrow = c(3,3))
評価
44

考察
• 今回は、企業情報の検索業務向けに機械学習を検証しました。結論として
は、検索キーワードのリコメンドについて、アルゴリズムに自己組織化
マップ(ニューラルネットの一種)を採用し、Machine Learningが適用可
能な状況と考えています。
• 機械学習用に正規化したデータの準備が現実的に可能です。WEBアクセ
スログを分析したところWEBセッションを一意に特定する識別子、企業
IDを一意に特定する識別子、検索キーワード、検索結果件数がレコード
内に含まれていました。
• なお、Natural language processing、Ontologyについても企業情報の
検索業務向けに活用可能であると考えます。実運用に向けては、ユース
ケース案及び今後の検討事項案についてご報告いたします。
展開
45

機械学習を適用する業務について
展開
企業情報のポータルサイト
提案を募集
例）
ニーズ情報
取引先情報
情報交換の話題発信
例）
共同研究の仲間募集
技術課題の相談
商習慣等の相談
企業情報を発信
例)
製品、商品
技術
サービス
情報をプッシュ
例)
成功事例
海外、地域
イベント情報
ビジネスコ
ミュニケー
ション機能
自社アピール
機能
特集ページ
機能
情報ボード
機能
コーディネー
ター(専門家)
機能
WEBアクセス
ログ
企業や製品を探す
例)
企業 or 製品を選択
フリーワード
業種、国で絞る
検索機能
46

企業情報のポータルサイト
提案を募集
例）
ニーズ情報
取引先情報
情報交換の話題発信
例）
共同研究の仲間募集
技術課題の相談
商習慣等の相談
企業情報を発信
例)
製品、商品
技術
サービス
情報をプッシュ
例)
成功事例
海外、地域
イベント情報
ビジネスコ
ミュニケー
ション機能
自社アピール
機能
特集ページ
機能
情報ボード
機能
コーディネー
ター(専門家)
機能
WEBアクセス
ログ
企業や製品を探す
例)
企業 or 製品を選択
フリーワード
業種、国で絞る
検索機能
機械学習ユースケース案
①検索キーワードのリコメンド ②チャットボットによる応答
④情報ボードのパーソナライズ化③企業プロファイル評価
展開
47

今後の検討事項案
• 機械学習を適用する手順全容の理解
– 例)除外キーワードをデータから除去するデータクレンジング処理、など
• 機械学習をシステムに組み込むためのスキルセットの理解
– 例)全ての取扱商材に対する予測モデル構築、予測モデルの更新手順の確立、
大量データ取扱時のパフォーマンス検証、など
• 機械学習を適用する業務の選定
– 例)対象の課題とKPIのセット、優先順位付け、調達範囲の特定、など
展開
48

おわりに

注意
• 非構造化データはノイズの塊
– データ分析の視点を明確にしてからデータ収集する
• 統計解析の種類を決めるとよい
– 現状の把握、因果関係の洞察、今後の予測、のどれか？
– デスクトップ・アナリティクスであれば、「因果関係の洞察」が良い
• 情報源や解析手法を明確にする
– 完璧な情報ではないが、客観的なデータが存在すること
– これら情報源や手法は明らかにできるし、どの解析も再現できること
• バイアス(偏り)に注意して拙速な断言にならないように！

機械学習や分析に興味ある方へ
• オラクルコンサルティングサービスで一緒に働きませんか？
– 機械学習
– データ分析
– クラウドプラットフォーム
– グラフデータベース
– 自動運転(ダイナミックマップ)
• 興味ある方は、後で声掛けて下さいねm(_ _)m
51

おまけ
ITインフラの運用自律化
• Oracle Autonomous Data Warehouse Cloud
• ZDNetにて、自律化に関する連載を開始しました。
53

免責
本資料に記載された内容は、情報の提供のみを目的としています。したがって、本資料を用いた運用は、必ずお客様自身の責任と判断によって行ってください。これらの情報の運用の結果につい
て、説明者はいかなる責任も負いません。本資料は Oracle Database の製品サポートとは無関係ですので、本資料を元に Oracleサポートに問い合わせることはご遠慮ください。また、本資料で
紹介するクラウドやクラスタなどの応用的な機能を使用するためには、追加ライセンスなどが必要な場合があります。詳しくはオラクル社ホームページ（http://www.oracle.com/jp/index.html）を確認願
います。なお、本資料において示されている見解は、説明者の見解であって、オラクル社の見解を必ずしも反映したものではありませんのでご了承ください。本資料記載の情報は、2017年 6 月
1 日現在のものを掲載していますので、ご利用時には、変更されている場合もあります。また、ソフトウェアはバージョンアップされる場合があり、本資料での説明とは機能内容や画面図などが
異なってしまうこともあり得ます。

Let's stady Machine Learning with OCSJ

Let's stady Machine Learning with OCSJ

Recommended

Recommended

More Related Content

What's hot

What's hot (9)

Similar to Let's stady Machine Learning with OCSJ

Similar to Let's stady Machine Learning with OCSJ (20)

Let's stady Machine Learning with OCSJ