SlideShare a Scribd company logo
1 of 9
+




    Keywlker Web Crawler

    2012年4月
    株式会社キーウォーカー
+
    Keywalker Web クローラとは?

       Keywalker Web クローラは、大量のWeb情報を効率よく収集する、
        クローリング専用ロボットです。

       収集したデータは、項目ごとに分類し、使いやすいデータフォー
        マットで、ダウンロードできます。

       充実のパース設定機能で、詳細で大量なデータを取得できます。

       Webページのソースにある、TAG情報は自動で削除するため、デー
        タのみを抽出することができます。

       多彩なスケジューリング設定で、ターゲットWebページの情報を逃
        しません。
+
    Spider Robot や Wgetと
    Keywaker クローラの違い
       Spider Robot / Wget      Keywalker Web クローラ
           HTMLのソースコードをそのま          不要なHTMLタグを自動的に消
            ま取得するので、必要な情報を            去し、表示情報だけを効率良く
            抜き出す必要があリます。              取り出します。
           HTMLページ全てを抜き出して          パーシング設定で、ページ内の
            しまいます。                    必要な情報を分類して取り出し
                                      ます。
           すべてのリンクを網羅的にク            必要なクロールルートを設定で
            ロールするため効率がよく有り            きるので、効率良くクロールす
            ません。                      ることができます。
           クロールしたデータは、ページ           クロールしたデータは、分類さ
            ごとのファイルとして保管され            れ項目ごとのCSVファイルとし
            ます。                       てダウンロードできます。
+
    クロール情報を分類取得

       Keywalkerクローラは、Webページのパーシング機能で必要な情報
        を必要な項目に分類取得できます。

       分類項目は、自由に調整できます。                          自由に項目の調
                                                    整が可能

                            分類   メーカー   品名   売価
+
    効率のよいクロールルートを設定

       効率のよいクローリングを設定できます。
           クローラの起点は複数設定可能です。
           商品リストなど効率良くクロールするためのルート設定が可能です。
           ページ送りへの対応も可能です。(リストのページ送りなど)



                                  最高効率のクローリング!
                                 ・クロールルートの設定
                                 ・自由なクロール深度設定
                                 ・ページ送り処理への対応
                                 ・クロール禁止ページの設定
+
    きめ細やかなタイマー設定

       クローリングの頻度スケジュールの調整機能
           クロール対象の更新情報を逃しません。   クロールの
                                  負荷調整




                                 複数条件を
                                  設定可能
+
    クロール結果を検索で確認

       クロールした情報を全文検索できるので、データをダウンロードし
        なくても、様々な調査を行えます。




    クロールデータを                      マッチした情報を
    キーワード検索                      Webブラウザで確認
+
    実績

       数々のサイト内検索などでご利用いただいております。
           AFP通信社のニュースサイト
               http://afpbb.com/    http://www.afpbb.com/fashion/
           日刊工業新聞社のニュースサイト
               http://www.nikkan.co.jp
           Wall Street Journal Japanのニュースサイト
               http://jp.wsj.com/
           毎日新聞デジタルMANTAN Webのキーワードサイト
               http://keyword.mantan-web.jp/
           その他 コミュニティーサイト、e-コマースサイトなど約40社
               http://lococom.keywalker.jp/
+
    お問い合わせ御連絡先


    http://www.keywalker.co.jp/

    株式会社キーウォーカー

    〒106-0041
    東京都港区麻布台2−4−2
    電話:03-3560-6201
    e-mail:sales@keywalker.co.jp

More Related Content

Similar to Keywlker crawler

Japan.r 2データベース
Japan.r 2データベースJapan.r 2データベース
Japan.r 2データベース
sleipnir002
 
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン
Hiroyasu Suzuki
 
Getting Started with Ruby on Rails4 + Twitter Bootstrap3
Getting Started with Ruby on Rails4 + Twitter Bootstrap3Getting Started with Ruby on Rails4 + Twitter Bootstrap3
Getting Started with Ruby on Rails4 + Twitter Bootstrap3
Yukimitsu Izawa
 
Movable typeseminar 20120925
Movable typeseminar 20120925Movable typeseminar 20120925
Movable typeseminar 20120925
Six Apart
 
Grid application テンプレートを紐解く
Grid application テンプレートを紐解くGrid application テンプレートを紐解く
Grid application テンプレートを紐解く
Kazuhide Maruyama
 
Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)
Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)
Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)
Haruhiko KAJIKAWA
 
XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips Prism 4.5 & Kona project 等のご紹介
XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips   Prism 4.5 & Kona project 等のご紹介XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips   Prism 4.5 & Kona project 等のご紹介
XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips Prism 4.5 & Kona project 等のご紹介
Shotaro Suzuki
 
120331 silverlight5新機能早めぐり
120331 silverlight5新機能早めぐり120331 silverlight5新機能早めぐり
120331 silverlight5新機能早めぐり
Takayoshi Tanaka
 

Similar to Keywlker crawler (20)

20150218 mt azure_handson
20150218 mt azure_handson20150218 mt azure_handson
20150218 mt azure_handson
 
広告ログの解析システム
広告ログの解析システム広告ログの解析システム
広告ログの解析システム
 
Japan.r 2データベース
Japan.r 2データベースJapan.r 2データベース
Japan.r 2データベース
 
愛と涙のWordPress無理やりカスタマイズ事例集
愛と涙のWordPress無理やりカスタマイズ事例集愛と涙のWordPress無理やりカスタマイズ事例集
愛と涙のWordPress無理やりカスタマイズ事例集
 
45分で理解する webクローリング入門 斉藤之雄
45分で理解する webクローリング入門 斉藤之雄45分で理解する webクローリング入門 斉藤之雄
45分で理解する webクローリング入門 斉藤之雄
 
Spring で実現する SmartNews のニュース配信基盤
Spring で実現する SmartNews のニュース配信基盤Spring で実現する SmartNews のニュース配信基盤
Spring で実現する SmartNews のニュース配信基盤
 
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
 
実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン実践!AWSクラウドデザインパターン
実践!AWSクラウドデザインパターン
 
Getting Started with Ruby on Rails4 + Twitter Bootstrap3
Getting Started with Ruby on Rails4 + Twitter Bootstrap3Getting Started with Ruby on Rails4 + Twitter Bootstrap3
Getting Started with Ruby on Rails4 + Twitter Bootstrap3
 
Movable typeseminar 20120925
Movable typeseminar 20120925Movable typeseminar 20120925
Movable typeseminar 20120925
 
Grid application テンプレートを紐解く
Grid application テンプレートを紐解くGrid application テンプレートを紐解く
Grid application テンプレートを紐解く
 
Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)
Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)
Scalr hands on (第3回SCALR勉強会で利用、第1回資料の新版)
 
jQuery Mobile(開発編)勉強会資料
jQuery Mobile(開発編)勉強会資料jQuery Mobile(開発編)勉強会資料
jQuery Mobile(開発編)勉強会資料
 
【2016年3月時点】クラウド型 BI だからできる新たな情報活用方法
【2016年3月時点】クラウド型 BI だからできる新たな情報活用方法【2016年3月時点】クラウド型 BI だからできる新たな情報活用方法
【2016年3月時点】クラウド型 BI だからできる新たな情報活用方法
 
XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips Prism 4.5 & Kona project 等のご紹介
XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips   Prism 4.5 & Kona project 等のご紹介XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips   Prism 4.5 & Kona project 等のご紹介
XAML と C# を使った Windows ストアアプリ(LOB)構築のためのtips Prism 4.5 & Kona project 等のご紹介
 
120331 silverlight5新機能早めぐり
120331 silverlight5新機能早めぐり120331 silverlight5新機能早めぐり
120331 silverlight5新機能早めぐり
 
図書館でAPIをスルメのように 味わうには
図書館でAPIをスルメのように 味わうには図書館でAPIをスルメのように 味わうには
図書館でAPIをスルメのように 味わうには
 
jQuery Mobileの基礎
jQuery Mobileの基礎jQuery Mobileの基礎
jQuery Mobileの基礎
 
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデートOracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
 
第5回 cogbot勉強会!
第5回 cogbot勉強会!第5回 cogbot勉強会!
第5回 cogbot勉強会!
 

Keywlker crawler

  • 1. + Keywlker Web Crawler 2012年4月 株式会社キーウォーカー
  • 2. + Keywalker Web クローラとは?  Keywalker Web クローラは、大量のWeb情報を効率よく収集する、 クローリング専用ロボットです。  収集したデータは、項目ごとに分類し、使いやすいデータフォー マットで、ダウンロードできます。  充実のパース設定機能で、詳細で大量なデータを取得できます。  Webページのソースにある、TAG情報は自動で削除するため、デー タのみを抽出することができます。  多彩なスケジューリング設定で、ターゲットWebページの情報を逃 しません。
  • 3. + Spider Robot や Wgetと Keywaker クローラの違い  Spider Robot / Wget  Keywalker Web クローラ  HTMLのソースコードをそのま  不要なHTMLタグを自動的に消 ま取得するので、必要な情報を 去し、表示情報だけを効率良く 抜き出す必要があリます。 取り出します。  HTMLページ全てを抜き出して  パーシング設定で、ページ内の しまいます。 必要な情報を分類して取り出し ます。  すべてのリンクを網羅的にク  必要なクロールルートを設定で ロールするため効率がよく有り きるので、効率良くクロールす ません。 ることができます。  クロールしたデータは、ページ  クロールしたデータは、分類さ ごとのファイルとして保管され れ項目ごとのCSVファイルとし ます。 てダウンロードできます。
  • 4. + クロール情報を分類取得  Keywalkerクローラは、Webページのパーシング機能で必要な情報 を必要な項目に分類取得できます。  分類項目は、自由に調整できます。 自由に項目の調 整が可能 分類 メーカー 品名 売価
  • 5. + 効率のよいクロールルートを設定  効率のよいクローリングを設定できます。  クローラの起点は複数設定可能です。  商品リストなど効率良くクロールするためのルート設定が可能です。  ページ送りへの対応も可能です。(リストのページ送りなど) 最高効率のクローリング! ・クロールルートの設定 ・自由なクロール深度設定 ・ページ送り処理への対応 ・クロール禁止ページの設定
  • 6. + きめ細やかなタイマー設定  クローリングの頻度スケジュールの調整機能  クロール対象の更新情報を逃しません。 クロールの 負荷調整 複数条件を 設定可能
  • 7. + クロール結果を検索で確認  クロールした情報を全文検索できるので、データをダウンロードし なくても、様々な調査を行えます。 クロールデータを マッチした情報を キーワード検索 Webブラウザで確認
  • 8. + 実績  数々のサイト内検索などでご利用いただいております。  AFP通信社のニュースサイト  http://afpbb.com/ http://www.afpbb.com/fashion/  日刊工業新聞社のニュースサイト  http://www.nikkan.co.jp  Wall Street Journal Japanのニュースサイト  http://jp.wsj.com/  毎日新聞デジタルMANTAN Webのキーワードサイト  http://keyword.mantan-web.jp/  その他 コミュニティーサイト、e-コマースサイトなど約40社  http://lococom.keywalker.jp/
  • 9. + お問い合わせ御連絡先 http://www.keywalker.co.jp/ 株式会社キーウォーカー 〒106-0041 東京都港区麻布台2−4−2 電話:03-3560-6201 e-mail:sales@keywalker.co.jp