Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Seiji Takahashi
PDF, PPTX
16,795 views
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
ANYGMA講義第1回 ミニGunosyをつくった。その解説と機械学習プロダクトで詰まる点
Technology
◦
Read more
70
Save
Share
Embed
Embed presentation
Download
Download as PDF, PPTX
1
/ 73
2
/ 73
3
/ 73
4
/ 73
5
/ 73
6
/ 73
7
/ 73
8
/ 73
9
/ 73
10
/ 73
11
/ 73
12
/ 73
13
/ 73
14
/ 73
15
/ 73
16
/ 73
17
/ 73
18
/ 73
19
/ 73
20
/ 73
21
/ 73
22
/ 73
23
/ 73
24
/ 73
25
/ 73
26
/ 73
27
/ 73
28
/ 73
29
/ 73
30
/ 73
31
/ 73
32
/ 73
33
/ 73
34
/ 73
35
/ 73
36
/ 73
37
/ 73
38
/ 73
39
/ 73
40
/ 73
41
/ 73
42
/ 73
43
/ 73
44
/ 73
45
/ 73
46
/ 73
47
/ 73
48
/ 73
49
/ 73
50
/ 73
51
/ 73
52
/ 73
53
/ 73
54
/ 73
55
/ 73
56
/ 73
57
/ 73
58
/ 73
59
/ 73
60
/ 73
61
/ 73
62
/ 73
63
/ 73
64
/ 73
65
/ 73
66
/ 73
67
/ 73
68
/ 73
69
/ 73
70
/ 73
71
/ 73
72
/ 73
73
/ 73
More Related Content
PDF
with コロナ時代のアジャイルとコミュニケーション
by
Kenji Hiranabe
PDF
Essence position talk by hiranabe
by
Kenji Hiranabe
PDF
UI Crunch#3:プロトタイピングにおける「段階」
by
Satoru MURAKOSHI
PDF
Agile Tech EXPO - New Normal Agile Episode 1 - Akihiro Yamamoto
by
Akihiro Yamamoto
PDF
インタラクションデザイン、その前に -UXなまトーク vol.2
by
Toshiaki Otsuka
PDF
趣味と仕事(ビジュアルシンキングとNewsPicks)
by
潤 櫻田
PPTX
Hack For Japan at XDev
by
Fumi Yamazaki
PDF
Agile Ba with Covid at Redmine Japan 2020
by
Kenji Hiranabe
with コロナ時代のアジャイルとコミュニケーション
by
Kenji Hiranabe
Essence position talk by hiranabe
by
Kenji Hiranabe
UI Crunch#3:プロトタイピングにおける「段階」
by
Satoru MURAKOSHI
Agile Tech EXPO - New Normal Agile Episode 1 - Akihiro Yamamoto
by
Akihiro Yamamoto
インタラクションデザイン、その前に -UXなまトーク vol.2
by
Toshiaki Otsuka
趣味と仕事(ビジュアルシンキングとNewsPicks)
by
潤 櫻田
Hack For Japan at XDev
by
Fumi Yamazaki
Agile Ba with Covid at Redmine Japan 2020
by
Kenji Hiranabe
What's hot
PDF
Introduction to Agile - how business and engineer team up
by
Kenji Hiranabe
PDF
withコロナでのアジャイルウェアの挑戦
by
agileware_jp
PDF
未来のデザイナー論 -変化するデザイン環境と、デザイナーに求められる変化-
by
Satoru MURAKOSHI
PDF
ESM Agile Studio DX and COVID
by
Kenji Hiranabe
PDF
Empathic Design - 共感力を取り戻し、そして育み、発揮する
by
Kazumichi (Mario) Sakata
PDF
そもそもディレクターにとって失敗とは何か
by
Satoru MURAKOSHI
PDF
Code for Tokyoとは
by
CodeForTokyo
PDF
Lean UX Quest in Tokyo
by
Kazumichi (Mario) Sakata
PDF
ぼくらが体験入社にこだわるワケ
by
Daisuke Sato
PPTX
connpassの戦略決定〜チームで取り組んだ価値のデザイン
by
Haruo Sato
PDF
スタートアップツールチラ見せ
by
Hisatoshi Kikumoto
PDF
Agile Scrum at Knowledge Forum 2020
by
Kenji Hiranabe
PDF
Digital Business and Agile
by
Kenji Hiranabe
PPTX
Google Material DesignをPolymerで表現しよう
by
Masayuki Abe
PDF
エンタープライズアジャイルからアジャイル企業へ
by
Yoshihito Kuranuki
PDF
Agile Ba with Covid
by
Kenji Hiranabe
PPTX
BPStudy#97 世界に価値を創り出すエンジニアの技術
by
Haruo Sato
PPTX
人事×Agileの意気込みを語る 京アジャlt
by
KazuhiroNiwaya
PDF
人事のためのアジャイル入門
by
KazuhiroNiwaya
PDF
一斉エントリー会資料
by
JEEK_Intern
Introduction to Agile - how business and engineer team up
by
Kenji Hiranabe
withコロナでのアジャイルウェアの挑戦
by
agileware_jp
未来のデザイナー論 -変化するデザイン環境と、デザイナーに求められる変化-
by
Satoru MURAKOSHI
ESM Agile Studio DX and COVID
by
Kenji Hiranabe
Empathic Design - 共感力を取り戻し、そして育み、発揮する
by
Kazumichi (Mario) Sakata
そもそもディレクターにとって失敗とは何か
by
Satoru MURAKOSHI
Code for Tokyoとは
by
CodeForTokyo
Lean UX Quest in Tokyo
by
Kazumichi (Mario) Sakata
ぼくらが体験入社にこだわるワケ
by
Daisuke Sato
connpassの戦略決定〜チームで取り組んだ価値のデザイン
by
Haruo Sato
スタートアップツールチラ見せ
by
Hisatoshi Kikumoto
Agile Scrum at Knowledge Forum 2020
by
Kenji Hiranabe
Digital Business and Agile
by
Kenji Hiranabe
Google Material DesignをPolymerで表現しよう
by
Masayuki Abe
エンタープライズアジャイルからアジャイル企業へ
by
Yoshihito Kuranuki
Agile Ba with Covid
by
Kenji Hiranabe
BPStudy#97 世界に価値を創り出すエンジニアの技術
by
Haruo Sato
人事×Agileの意気込みを語る 京アジャlt
by
KazuhiroNiwaya
人事のためのアジャイル入門
by
KazuhiroNiwaya
一斉エントリー会資料
by
JEEK_Intern
Viewers also liked
PDF
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
by
Cloudera Japan
PDF
Gunosyデータマイニング研究会 #118 これからの強化学習
by
圭輔 大曽根
PDF
#cwt2016 Apache Kudu 構成とテーブル設計
by
Cloudera Japan
PDF
いまさら聞けない機械学習の評価指標
by
圭輔 大曽根
PDF
マイクロサービスとABテスト
by
圭輔 大曽根
PDF
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
by
Hiroaki Kudo
PDF
論文紹介@ Gunosyデータマイニング研究会 #97
by
圭輔 大曽根
PDF
WebDB Forum 2016 gunosy
by
Hiroaki Kudo
PDF
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
by
Hiroaki Kudo
PDF
爆速クエリエンジン”Presto”を使いたくなる話
by
Kentaro Yoshida
PPTX
A/B Testing at Pinterest: Building a Culture of Experimentation
by
WrangleConf
PDF
記事分類における教師データおよびモデルの管理
by
圭輔 大曽根
PDF
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
by
圭輔 大曽根
PDF
Apache Kudu - Updatable Analytical Storage #rakutentech
by
Cloudera Japan
PDF
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
by
Cloudera Japan
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
by
Cloudera Japan
Gunosyデータマイニング研究会 #118 これからの強化学習
by
圭輔 大曽根
#cwt2016 Apache Kudu 構成とテーブル設計
by
Cloudera Japan
いまさら聞けない機械学習の評価指標
by
圭輔 大曽根
マイクロサービスとABテスト
by
圭輔 大曽根
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
by
Hiroaki Kudo
論文紹介@ Gunosyデータマイニング研究会 #97
by
圭輔 大曽根
WebDB Forum 2016 gunosy
by
Hiroaki Kudo
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
by
Hiroaki Kudo
爆速クエリエンジン”Presto”を使いたくなる話
by
Kentaro Yoshida
A/B Testing at Pinterest: Building a Culture of Experimentation
by
WrangleConf
記事分類における教師データおよびモデルの管理
by
圭輔 大曽根
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
by
圭輔 大曽根
Apache Kudu - Updatable Analytical Storage #rakutentech
by
Cloudera Japan
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
by
Cloudera Japan
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
1.
ミニGunosyを 作るには
2.
ANYGMA:1st ミニGunosyを作ろう 高橋誠二
3.
名前:高橋誠二 学歴:慶應経済4年 職種:エンジニア勤務3年 ライブラリ2つ自作して起業家に 関するデータ分析の卒論書いた。 Digital Founders Japan選抜。 7社インターン、新規開発・運用部 100名規模の人事評価制度設計。 エンジニアの海外コミュニティーサイト Casualyze.com運営経験。 Techlabpaakプロジェクト会員 Gunosyっぽいやつできた←New twitter:
@timadayon github: timakin
4.
ANYGMAとは
5.
ビジネスとテクノロジーの両面 において、スキルを持った エンジニア集団
6.
自分のプロダクトを個々が持ち、 水面下ではなく表に出て ハッカーとして活動する団体
7.
創設の思い
8.
エンジニアって結局 ビジネスサイドの奴隷みたいに なってる
9.
自分でプロダクトを 作れる力を持って、 ハッカーが世の中を主導していく 足がかりを作ろう。
10.
• データマイニングとは • ミニGunosyのつくりかた •
今回問題になった点 • 機械学習プロダクトのつくりかた 目次
11.
データマイニングとは
12.
雑多なデータ群から 有益な情報を引き出すこと
13.
機械学習そのものとデータマイニングは 必ずしも一致しない。
14.
今回の事例
16.
生の記事タイトルから
17.
202URL 8 28Ubuntu 18 364Unity10 134Vagrant
6 13View 3 158Vim7 517VirtualBox 3
18.
名詞を抽出 言語ベクトル変換
19.
要は生のターゲット情報を 加工して、解析可能な形にする ってこと。
20.
これを元に解釈を加えるのが データマイニングと 機械学習の垣根
21.
研究活動とかだと データマイニングよくやる (やらない学科は死ぬ)
22.
具体名
23.
テキスト解析 画像認識 音声認識 数値解析
24.
クラスタリング フィルタリング 特徴抽出
25.
Deep Learning Neural Net KNN SVM Bayes
Analysis
26.
Deep Learning Neural Net KNN SVM Bayes
Analysis
27.
すごい
28.
作ったほう がはやいん じゃ?
29.
ミニGunosyのつくりかた
30.
そもそもなんでそれ作った
31.
Gunosyの 福島さんって凄いこと やってるっぽいけど、 ほんとにすげぇのか? ライブラリ使うだけだぜ? 機械学習Yo よゆーでいけるわー:D
32.
なんかQiitaの情報って RSSでも流れてこないから 手軽に手に入れたいわー よゆーでいけるわー:D
33.
よゆーじゃない:D
34.
工程
35.
RubyでAPI接続と生データ抽出、形態素 解析で単語分割、名詞のみ抽出、テキス ト書き出し。Pythonでテキストから意味 ある名詞とその意味の重要さ、登場頻度 を考慮した特徴語抽出、特殊語の不要な ものをさらにクリーニング、CSVに書き 出し、特徴語を言語ベクトルに変換、言 語ベクトルの次元圧縮、クラスタリング、 予測モデルのトレーニング、結果のチュー
36.
・生データ抽出 ・名詞のみ抽出テキスト書き出し。 ・意味の重要さ、登場頻度を考慮 ・邪魔な単語を除外 ・互いの単語の関係を座標で表現 ・トピックごとにまとめる ・予測モデルのトレーニング ・結果を良くする ・クライアントツール化
37.
・生データ抽出 ・名詞のみ抽出テキスト書き出し。 ・意味の重要さ、登場頻度を考慮 ・邪魔な単語を除外 ・互いの単語の関係を座標で表現 ・トピックごとにまとめる ・予測モデルのトレーニング ・結果を良くする ・クライアントツール化
38.
ところで
39.
・生データ抽出 ・名詞のみ抽出テキスト書き出し。 ・意味の重要さ、登場頻度を考慮 ・邪魔な単語を除外 ・互いの単語の関係を座標で表現 ・トピックごとにまとめる ・予測モデルのトレーニング ・結果を良くする ・クライアントツール化
40.
本来やらんでいいとこ
41.
・生データ抽出 ・名詞のみ抽出テキスト書き出し。 ・意味の重要さ、登場頻度を考慮 ・邪魔な単語を除外 ・互いの単語の関係を座標で表現 ・トピックごとにまとめる ・予測モデルのトレーニング ・結果を良くする ・クライアントツール化
42.
Qunosy Personal Gunosy for
Qiita With machine learning, corpus clustering, recommend you the latest code that match your interest. Qunosy adopt random forest as clustering method.
43.
https://github.com/timakin/qunosy
44.
製作期間
45.
1週間 ╭( ・ㅂ・)و ̑̑
46.
使った言語
47.
Python Ruby Go Shell
48.
Python Ruby Go Shell
49.
Golang
50.
話題なのにWeb周辺で使わない ので、今回ちょっと触った。
51.
コマンド ツール化
52.
デモ
53.
今回問題になった点
54.
文字列処理
55.
MeCab
56.
Natto
57.
言語選択
58.
最初から 1つか2つ がいい。
59.
あくまでプロトタイプ作るなら、 言語増えるはずはない。 今回はたまたまコマンドライン ツール化したから増えた。
60.
調べごと
61.
ぜんぶ専門的な英語
62.
機械学習プロダクトのつくりかた
63.
1. やりたいことを決める 2. 分析に必要なデータを調べる 3.
分析手法を決める 4. 手法にあったデータを抽出する 5. 適切な形にデータを加工する 6. (訓練データを作って学習) 7. 表示形式を整える
64.
1. やりたいことを決める 2. 分析に必要なデータを調べる 3.
分析手法を決める 4. 手法にあったデータを抽出する 5. 適切な形にデータを加工する 6. (訓練データを作って学習) 7. 表示形式を整える
65.
・オープンデータ ・クローリング ・DeveloperAPI
66.
1. やりたいことを決める 2. 分析に必要なデータを調べる 3.
分析手法を決める 4. 手法にあったデータを抽出する 5. 適切な形にデータを加工する 6. (訓練データを作って学習) 7. 表示形式を整える
67.
・分類が必要か? ・重み付けするか? ・予測するか?
68.
1. やりたいことを決める 2. 分析に必要なデータを調べる 3.
分析手法を決める 4. 手法にあったデータを抽出する 5. 適切な形にデータを加工する 6. (訓練データを作って学習) 7. 表示形式を整える
69.
・文字コード ・数値の単位 ・欠損データ
70.
1. やりたいことを決める 2. 分析に必要なデータを調べる 3.
分析手法を決める 4. 手法にあったデータを抽出する 5. 適切な形にデータを加工する 6. (訓練データを作って学習) 7. 表示形式を整える
71.
機械を訓練するデータを 自分で作る必要があるのが、 教師あり学習
72.
適切な手順を踏んで、 手法を調査していけば、 だいたい先人の知恵でうまくいく。
73.
おつ :)
Download