vsLTのスライドです!!

1. スクレイピングは
避けられない!!
@Daikids2
vsLT with Cookpad

2. 自己紹介
所属 : 京都大学工学部情報学科
情報システム分野
来年から :
京都大学大学院情報学研究科
システム科学専攻
応用情報学講座(スパコン)

3. 自己紹介
好きな言語 :
Python
Ruby (on Rails)
Node.js
Kotlin
Lisp(最近やり直してる…)
C++ (BoostいいよBoost)

4. NodeFes2017

5. ところで…

6. こんなことは
ありませんか?
Web APIがないわ!!
それに欲しい情報が
JSONとかでGET
できない!!

7. 機械学習の勉強
したいけど
データがない!!
こんなことは
ありませんか?

8. そうだ
スクレイピングを
しよう!!

9. スクレイピングを
すると…
Web(HTML)から情報を取り出す手法
API, CSVデータが落ちてない時に有
効!!
どちらの本も
Amazonに
あります!!

10. スクレイピングの
例
どこかのトップページから,
関連記事のURLを取得する
ページ内の画像を全て保存
テーブルからデータを取得

11. なぜできるの?
あくまで, HTMLのタグの情報をとってる
だけ!!
文章を解析してくれるわけではない
このようなものだと, srcタグからurlが取
れる!!
<src url = ”photo.png”/>

12. 道具の話
ライブラリは多数あり!!
Python : Beautiful Soup,
Scrapy(これがすごい!!)
Ruby : Nokogiri…
Node : cheerio-httpcli, osmosis
Java, Kotlin : Jsoup

13. 実際にやってみた

14. やったこと1
LINE BOTの作成
(NodeFesのハンズオン)
Nodeの最新版 and 安定版,
Yahooの記事一覧を表示
使用ライブラリ:
Node.js : v8.9.1
Library : {
"express": "4.16.2",
"osmosis": "1.1.4”
}

15. やったこと1

16. やったこと2
 CONNPASSのapiを使ったAndroidアプリ
 勉強会のurlからhtmlをGET
 Htmlを解析に回して画像を表示

17. 具体的には
 10件の勉強会情報をGET
 それぞれに対して
 帰ってきたapiにある, urlを取得
 urlを叩いてhtmlをget
 Htmlから画像のurlを取得
 Picassoを使って画像urlから画像を表示
API URL HTML src tag

18. こんな感じに
なりました!!

19. 問題点
重い!!
実際には20秒!!
10件のHttpアクセス
Htmlの解析を10回
ちなみに…
Httpアクセスを0にすると
数秒で完了します…
スクレイピングは案外重い!! サーバーにやらせましょう…

20. スクレイピングの
問題点
 サイトのポリシーに気をつけよう!!
 APIのあるものはそれを使うべき!!
 自重しよう!!
 簡単にサーバーに負荷をかけられま
す!!
 Scrapyだと, 負荷が軽減できます!!
 機械学習のデータについて
 日本の法律上, 学習用のデータなら
OK!!

21. Fair Play
Fair Scraping
ルールとマナーを守って
楽しくスクレイピングしよう!!