More Related Content
Similar to Keywlker crawler (20)
Keywlker crawler
- 1. +
Keywlker Web Crawler
2012年4月
株式会社キーウォーカー
- 2. +
Keywalker Web クローラとは?
Keywalker Web クローラは、大量のWeb情報を効率よく収集する、
クローリング専用ロボットです。
収集したデータは、項目ごとに分類し、使いやすいデータフォー
マットで、ダウンロードできます。
充実のパース設定機能で、詳細で大量なデータを取得できます。
Webページのソースにある、TAG情報は自動で削除するため、デー
タのみを抽出することができます。
多彩なスケジューリング設定で、ターゲットWebページの情報を逃
しません。
- 3. +
Spider Robot や Wgetと
Keywaker クローラの違い
Spider Robot / Wget Keywalker Web クローラ
HTMLのソースコードをそのま 不要なHTMLタグを自動的に消
ま取得するので、必要な情報を 去し、表示情報だけを効率良く
抜き出す必要があリます。 取り出します。
HTMLページ全てを抜き出して パーシング設定で、ページ内の
しまいます。 必要な情報を分類して取り出し
ます。
すべてのリンクを網羅的にク 必要なクロールルートを設定で
ロールするため効率がよく有り きるので、効率良くクロールす
ません。 ることができます。
クロールしたデータは、ページ クロールしたデータは、分類さ
ごとのファイルとして保管され れ項目ごとのCSVファイルとし
ます。 てダウンロードできます。
- 4. +
クロール情報を分類取得
Keywalkerクローラは、Webページのパーシング機能で必要な情報
を必要な項目に分類取得できます。
分類項目は、自由に調整できます。 自由に項目の調
整が可能
分類 メーカー 品名 売価
- 5. +
効率のよいクロールルートを設定
効率のよいクローリングを設定できます。
クローラの起点は複数設定可能です。
商品リストなど効率良くクロールするためのルート設定が可能です。
ページ送りへの対応も可能です。(リストのページ送りなど)
最高効率のクローリング!
・クロールルートの設定
・自由なクロール深度設定
・ページ送り処理への対応
・クロール禁止ページの設定
- 6. +
きめ細やかなタイマー設定
クローリングの頻度スケジュールの調整機能
クロール対象の更新情報を逃しません。 クロールの
負荷調整
複数条件を
設定可能
- 7. +
クロール結果を検索で確認
クロールした情報を全文検索できるので、データをダウンロードし
なくても、様々な調査を行えます。
クロールデータを マッチした情報を
キーワード検索 Webブラウザで確認
- 8. +
実績
数々のサイト内検索などでご利用いただいております。
AFP通信社のニュースサイト
http://afpbb.com/ http://www.afpbb.com/fashion/
日刊工業新聞社のニュースサイト
http://www.nikkan.co.jp
Wall Street Journal Japanのニュースサイト
http://jp.wsj.com/
毎日新聞デジタルMANTAN Webのキーワードサイト
http://keyword.mantan-web.jp/
その他 コミュニティーサイト、e-コマースサイトなど約40社
http://lococom.keywalker.jp/
- 9. +
お問い合わせ御連絡先
http://www.keywalker.co.jp/
株式会社キーウォーカー
〒106-0041
東京都港区麻布台2−4−2
電話:03-3560-6201
e-mail:sales@keywalker.co.jp