これからの「スクレイピング」の話をしよう
•Download as PPTX, PDF•
0 likes•248 views
2018/10/19に行われた勉強会で発表されたものです。
Recommended
More Related Content
Similar to これからの「スクレイピング」の話をしよう
Similar to これからの「スクレイピング」の話をしよう (20)
More from iPride Co., Ltd.
More from iPride Co., Ltd. (20)
これからの「スクレイピング」の話をしよう
- 3. HTMLのおさらい 出典：「HTML5でマークアップしてみよう－HTML5リファレンス」 • <head>内は、 • ページタイトル • メタ情報 • リンク情報 • <body>内は、 • ヘッダー • コンテンツ • フッター • スタイルシートはリンク 情報に書くことが多い • ↓↓↓↓↓↓↓↓↓↓ • つまり<head>内はデザイ ン、<body>内は構造を担 当している
- 6. HTMLを作成しよう • WebページのHTMLをパースして扱うには、以前説明した 「PHP Simple HTML DOM Parser」を使えばいい • ただ、単に<body>内のデータを取得してコンテンツの中 身に貼り付けただけだと、次のような問題が発生する • 相対パスの問題 • スタイルシートの問題 • リソースファイルの問題
- 7. 相対パスの解釈方法 • 「http://www.example.com/example.png」などが絶対パス 、「../example.png」などが相対パス • <a>タグのhref属性や<img>タグのsrc属性などはしばしば 相対パスで書かれるので、相対パスを絶対パスに変換し なければならないことが多い • PHPのrealpath()メソッドはローカルファイル用なので、 ネット上のURLについては自作するしか無い
- 8. スタイルシート問題 • スタイルシートは、 <style>タグや<link>タグ で指定される • HTMLにとりあえず反映 させる場合は、<body>内 から切り出したテキスト の先頭に、前述のタグを そのまま貼り付ければい い <head> <style>〜</style> <link rel="stylesheet" href="sample.css"> </head> <body> <p>〜</p> </body> ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ <style>〜</style> <link rel="stylesheet" href=“sample.css"> <p>〜</p>
- 9. スタイルシートはややこしい • <style>{CSSの記述}</style> • <style>.red {color:red;}</style> • <style>.bg {background: url(“xxx.png”);}</style> • <style>@import “style.css”;</style> • <style>@import url(“style.css”);</style> • <link rel=“stylesheet” href=“style.css”> これら全てに対応する必要がある
- 11. 改行コード問題 • PHP Simple HTML DOM Parserは、デフォルト設定だと 改行コードを無視する(無視しないオプションにすると実 行中にコケる) • そこで、CR(r)とLF(n)について、それぞれ適当な記号 (¶ と〓)で置換し、ページ登録時に変換し直す荒業で対処
- 12. コマンドの実行方法 • 前述のスクレイピング……もといマイグレーション処理 は時間が掛かる • ゆえに、入力→実行→結果表示をWebブラウザ上のForm で実施するとタイムアウトの懸念がある • そこで、Drupal Consoleに独自コマンドを登録して、CUI 上で処理させることにする
- 13. コマンドの作成方法 • Drupal Consoleのドキュメントに「Creating Custom Commands」があり、それを読めばいい • ただし、「generate:command」コマンドを作らずに自作 するのはかなり難しい • コマンドには名前・説明・引数の名前と説明などを設定 でき、コマンド実行時にexecuteメソッド内の処理が走る 仕組み
- 16. 参考資料 • PHPで HTMLに埋め込まれた相対パスを絶対パス(URL)に 「一括変換」する - Qiita • 8 - how to create a file entity programmatically - Drupal Answers • Create a file with Drupal 8 | Drupal 8 • Creating Custom Commands • @importルール|Web制作の基本:StudyNet