ピタジョブの裏側について発表したJustTechTalk #3の資料です。

1. JustTechTalk #03
ピタジョブの裏側
― クローラ・スクレイパ編 ―
宮田高志

2. 自己紹介
 CPS事業部開発部 NLPチーム
 2006年入社、9年目
 関わってきた技術
 構文解析、情報検索、かな漢字変換、etc
 関わってきた商品
 ATOK、JMAT、FastReach、ピタジョブ、etc
2

3. ピタジョブ (https://lets.pitajob.jp/)
 求人情報の検索・比較サイト
 大手転職サイトの求人の他、
企業サイトから独自に収集し
た求人も検索・比較できる
3
2015-11-05現在

4. どうやって求人情報を集めるか？
 トップページからリンクを辿って「年商」や
「社員数」などの企業情報、および求人情報を
抽出したい
 全ページ取得するわけではない/取得するページ
が予め分かっているわけでもない...

5. ピタジョブの要件
企業情報と求人情報(だけ)を抽出する
収集した情報・ページを企業と紐付ける
これらを24時間以内に更新する

6. システム概要
6
WWW
クローラ
スクレイパ
推論エンジン
企業情報・
求人情報DB
 企業のウェブページに特化
 多様なフォーマットに対応
 多様な表現に対応
人手チェック  出稿前の最終確認

7. クローラ
7
WWW
クローラ
スクレイパ
推論エンジン
企業情報・
求人情報DB
企業のウェブページに特化
 取得したページは企業と紐付ける
 アンカーテキストでどのリンクを辿るか判断
<a>タグの中身が画像のこともあるので、
トップページ付近は幅優先で全リンクを辿る
 キーワードでページを分類
厳密には最後まで処理しないと必要なページ
かどうかは分からないので、粗く選別
人手チェック

8. クローラ
【例】 アンカーテキスト確認用キーワード
技術者、自動車、リクルート、… ←職種辞書から登録
【例】 ページ選別用キーワード
 企業情報: 事業所、アクセス、事業内容、...
 求人情報: 中途採用、採用案内、キャリア採用、...
 除外: 仕事紹介、ご挨拶、お客様相談室、...
8

9. スクレイパ
WWW
クローラ
スクレイパ
推論エンジン
企業情報・
求人情報DB
多様なフォーマットに対応
 特定のページ向けではなく汎用のスクレイパ
 局所的な構造に着目
 次の「推論エンジン」でまとめあげ
人手チェック

10. 採用情報ページの例 (1)
10

11. 採用情報ページの例 (1)
11
「職種」
「仕事内容」
「資格」
「勤務地」

12. 採用情報ページの例 (2)
12

13. 採用情報ページの例 (2)
13
表ではなくリスト
「応募資格」
「勤務地」
「勤務時間」
「待遇 / 福利厚生」

14. 採用情報ページの例 (3)

15. 採用情報ページの例 (3)
共通の項目と各募集職種の
項目を、別ページに記述

16. HTMLの構造の例 (1)
16
項目名はthタグ、
値はtdタグ

17. HTMLの構造の例 (2)
17
値の中は<br>で整形
tableではなく、
用語定義リスト

18. HTMLの構造の例 (3)
18
各項目の記述は
table / tr / td
項目名は最初のtdタグ、
値は二つ目のtdタグ

19. スクレイピングの方針
 (一度に抽出するのではなく) 「項目名」と「値」を
ペアで抽出
 特定のサイト/ページに特化したルールではなく、で
きるだけ共通のルールで
⇒専用のルール記述言語(いわゆるDSL)と“コンパイ
ラ”を開発
 抽出した「項目名」は(次の推論エンジンで)NLP技
術を使って表記を統一(名寄せ)
「給与」「月収」「年収」... ⇒「給与・年収」

20. .//{...,
{{h1=$key}|{h2=$key}|{h3=$key}|{h4=$key}}?,
table=$id/tbody/tr/{{{th=$key}|{td=$key}},td=$val},
...}
スクレイピングルール/コンパイル結果/抽出結果の例
20
import module namespace functx = "http://www.functx.com";
declare function
local:match_tree_1($root as node()) as xs:string* {
let $temp_0 := local:check_1_0($root)
return ($temp_0)
};
declare function
local:branch_8($root as node()) as xs:string* {
let $temp_2 := fn:distinct-values(local:goto_somewhere_h1_2($root)),
$temp_3 := fn:distinct-values(local:goto_somewhere_h2_3($root)),
$temp_4 := fn:distinct-values(local:goto_somewhere_h3_4($root)),
$temp_5 := fn:distinct-values(local:goto_somewhere_h4_5($root))
$temp_6 := fn:distinct-values(local:goto_somewhere_table_6($root)),
where fn:exists($temp_2) or fn:exists($temp_3) or
fn:exists($temp_4) or fn:exists($temp_5) or fn:exists($temp_6)
return ($temp_2,$temp_3,$temp_4,$temp_5,$temp_6)
};
declare function
local:state_2($current as node()) as xs:string* {
let $temp_0 := local:match_tree_2($current)
where fn:exists($temp_0)
let $temp_6 := fn:distinct-values(local:goto_adjacent_table_6($current))
return (local:merge($temp_0,$temp_6))
};
declare function
local:match_tree_2($root as node()) as xs:string* {
let $temp_0 := local:traverse_2_0_0($root) return ($temp_0)
};
...
{$id=“...” $key=“担当業務の概要” $val=“○○○におけるコール...”}
{$id=“...” $key=“必要な能力・経験” $val=“・商品販売・物販系に...”}
{$id=“...” $key=“雇用形態” $val=“正社員”}
{$id=“...” $key=“勤務地” $val=“大阪本社(大阪市北区)”}
{$id=“...” $key=“勤務時間” $val=“9:00～17:30”}
{$id=“...” $key=“給与・年収” $val=“経験・年齢等を充分考慮し...”}
{$id=“...” $key=“諸手当” $val=“住宅手当、家族手当、...”}
...
コンパイル
抽出対象のHTMLファイルに適用

21. 推論エンジン
WWW
クローラ
スクレイパ
推論エンジン
企業情報・
求人情報DB
人手チェック
多様な表現に対応
 スクレイピング結果の項目名を名寄せ、
必要な項目名/値のペアを組み合わせる
 検索キーワードとなる語句を抽出し、
表記を統一する(タグ化)
 求人は、中途採用のみを残す

22. 推論エンジン
 項目名/値として不適切なものはノイズとして捨てる
 職種名やスキル、“見出し”になれる語(タグ)を辞書と
する形態素解析で、表記揺れを吸収
JMAT (詳しくは TechTalk #1, #2 を参照)を利用
文字列検索や正規表現と比べて、より正確/高速
(特に規模が大きい場合)
 組み合わせてみて、もっともらしいものを残す
中途採用かどうかの判定も

23. タグ化
検索しやすいように、文章中のキーワード
を抽出して表記を統一
【例】 ＪＡＶＡ, Ｊａｖａ, Java, java ⇒ Ｊａｖａ
不完全な表現からもタグ化
【例】 「新宿区」から「東京都新宿区」のタグを生成

25. 人手チェック
WWW
クローラ
スクレイパ
推論エンジン
企業情報・
求人情報DB
人手チェック
出稿前の最終確認
 専門スタッフによる全件確認
 ある程度の修正・追記

26. まとめ
 ピタジョブでは、独自に収集した求人を掲載
 企業情報と求人情報(だけ)を収集
 収集した情報を起業に紐付け
 これらを24時間以内に更新
 クローラ
アンカーテキストとNLP技術で、取得したページを粗く選別
 スクレイパ
多様なフォーマットに対応するために、独自言語でルールを記述
 推論エンジン
NLP技術で、名寄せ・タグ化を行う
 システムが生成した企業情報/求人情報は、出稿
前に人手で全件確認
26

27. 現在、会員募集中です！

28. 一緒にピタジョブを作りませんか？

29. ご静聴ありがとうございました