Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

第34回サイバーワールド研究会20161216

146 views

Published on

□第34回サイバーワールド(CW)研究会
不正サイト検知のための自律分散型Webクローラと仮想化基盤の提案
2016年12月16日(金)

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

第34回サイバーワールド研究会20161216

  1. 1. 東京情報大学 総合情報学科 システム開発コース 不正サイト検知のための 自律分散型WEBクローラと 仮想化基盤の提案 2016年12月16日(金) 東京情報大学 ○河野 義広 三須 剛史 花田 真樹 布広 永示
  2. 2. 東京情報大学 総合情報学科 システム開発コース 背景 Webサイトを媒介としたサイバー攻撃の効率的 な発見・解析に関する研究が要求 ■インターネットの急速な普及 • サイバー攻撃の脅威が問題 ◦ドライブバイダウンロード攻撃やフィッシング攻撃 ■サイバー攻撃の特徴 • Webサイトを媒介とした攻撃 • 攻撃サイトのURLは短期間で変化する • 一般のユーザは攻撃に気づきにくい • Web空間に存在するURL数は膨大⇒発見は困難
  3. 3. 東京情報大学 総合情報学科 システム開発コース セキュリティ・インシデント ■ドライブバイダウンロード(DBD)攻撃 • 正規サイトを改ざんし不正サイトに誘導する手法 ◦CMS(特にWordPress)の脆弱性を攻撃し、不正に改ざん ◦不正サイトに誘導し、マルウェアをダウンロードさせる手法 攻撃者 正規Webサイト 閲覧 リダイレクト ウィルス 攻撃 利用者 不正サイト
  4. 4. 東京情報大学 総合情報学科 システム開発コース 研究概要 ■目的 • 不正サイトを効率的に検出すること ◦不正サイト:DBD攻撃、フィッシング、なりすましなど ⇒排他的なWebクローリングのための 自律分散協調システムの開発 ■方法 1. Web空間を探索可能な空間にマッピング 2. 自律分散協調型Webクローラによる探索 3. 仮想化技術による実行環境の動的再構築
  5. 5. 東京情報大学 総合情報学科 システム開発コース システム全体構成図 ハードウェア 仮想化基盤 ホストOS ハイパーバイザ ゲストOS1 ゲスト OS3 クローラ仮想化マネージャ(CVM) クローラA Web DB ゲスト OS2 クローラB クローラC 実行環境基盤 マルウェア 動的解析基盤 河野ゼミで開発 布広ゼミで開発
  6. 6. 東京情報大学 総合情報学科 システム開発コース システム概要 1. Web空間射影手法 • 効率的・排他的に探索できる空間に射影 • 短縮URLとwhois登録期間の2軸で射影 2. 自律分散協調型Webクローラ • Web空間を射影した座標軸より探索領域を決定 • 各クローラが協調しながら領域内を探索 3. クローラ仮想化マネージャ(CVM) • クローラの仮想化による実行環境の動的再構築 • CVM派生型:マルウェア自動解析環境も検討中
  7. 7. 東京情報大学 総合情報学科 システム開発コース Web空間射影システム ■目的 • Web空間を効率的・排他的に探索できること ■要件 1. Web空間を2~3次元の座標軸に射影できること 2. Web空間と座標軸が1対1で対応すること 3. すべて点が均等に分散すること ■手法 • 短縮URLとwhois登録期間を座標軸に射影 ◦短縮URL:約1400億~、ほぼ無限 ⇒ 不正サイト隠蔽の温床 ◦whois:IPアドレス取得日 ⇒ 長期利用のIPアドレスは除外
  8. 8. 東京情報大学 総合情報学科 システム開発コース Web空間を探索可能な空間にマッピング ■方法 • 各クローラは自身の探索領域を独自に計算 クローラA の探索領域 クローラB の探索領域 クローラC の探索領域 クローラD の探索領域
  9. 9. 東京情報大学 総合情報学科 システム開発コース クローラとCVMの処理の流れ CVMクローラ Web DB クローラ クローラ仮想化マネージャ(CVM) 1. 探索候補リストの取得 2. whoisの問い合わせ &探索領域の決定 Registry 3. Webサイトのデータ取得 Site 4. 解析 5. 解析結果の登録 1. 解析結果の参照 2. 起動・停止の制御
  10. 10. 東京情報大学 総合情報学科 システム開発コース 自律分散協調型Webクローラ ■目的 • 各クローラが協調して効率的・排他的にWeb空間 を探索できること ■要件 • 各クローラが独自に探索領域を決定できること • 各クローラ互いに干渉できないこと ■手法 • 統計手法を用いた探索領域の決定 • 不正サイトの判別(研究グループの成果を適用)
  11. 11. 東京情報大学 総合情報学科 システム開発コース 不正サイトの検索 ■Web空間から不正サイト候補を発見 検索部 ・短縮URL総当り ・不正サイト候補 ソースコード DB 短縮URLWeb ・不正サイト候補URL ・不正サイト候補 ソースコード ■検索部の機能 • 機能1.短縮URL総当りによる不正サイト候補抽出 • 機能2.機能1で得られた不正サイト候補のURLを 起点としたクローリング • 機能3.機能2で得られた不正サイト候補のURLの ソースコードの取得
  12. 12. 東京情報大学 総合情報学科 システム開発コース 不正サイトの比較 ■不正サイトの候補とシグネチャの比較 比較部 DB ・不正サイト候補 ソースコード ・シグネチャ 比較結果 ■ 比較部から得られる情報 • マッチングしたシグネチャ • マッチングしたシグネチャの総数 ■ 不正サイト候補のソースコードとシグネチャとのパターンマッチ • iframeタグ • width, heightタグのネガティブマージン • 暗号化(p,a,c,k,e,d) • 攻撃に用いられやすいJavaScriptの関数名 • 攻撃者によるExploit kit 実行時の特徴的な文字列(例:カラーコード)
  13. 13. 東京情報大学 総合情報学科 システム開発コース 不正サイトの判定 ■不正サイト候補のURLを外部情報により判定 DB Web 判定部 判定結果 不正サイト 候補URL 判定結果 不正サイト 候補URL ■判定部の機能 • 機能1.判定部からの情報取得 ◦検知されたアンチウイルスソフトの総数 ◦不正サイトの種別(malware site, malicious site, phishing site) • 機能2.比較部のシグネチャとマッチした不正サイト 候補の取得 • 機能3.不正サイトかどうかをVirusTotalにより判定
  14. 14. 東京情報大学 総合情報学科 システム開発コース クローラ仮想化マネージャ(CVM) ■目的 • 不正サイト検出時の実行環境の迅速な初期化 ■要件 • 解析状況に応じたクローラの追加・削除 • 不正サイト検出時の当該クローラの初期化 • クローラ同士が干渉できないこと ■手法 • CVMがクローラの追加・削除・初期化を管理 ◦ DBを参照し、クローラの解析状況を随時監視 ◦ 不正サイト検出時に当該クローラを即座に初期化
  15. 15. 東京情報大学 総合情報学科 システム開発コース CVMの設計方針 ■方針 • コンテナ型仮想化技術「Docker」の利用 ◦プロセスを軽量かつ高速に実行可 ◦Dockerコンテナによるプロセスの隔離 • CVMの正体 ◦各クローラをDockerコンテナ上で実行 ◦Docker構成ファイルの自動生成プログラム ■手順 1. DBを参照し、クローラの 起動・停止を判断 2. 1に基づきDocker構成 ファイルの更新 3. Dockerコマンドにより クローラの動作を制御
  16. 16. 東京情報大学 総合情報学科 システム開発コース DB設計 ■3つのテーブル • Webサイト:サイト情報 • クローラ:インスタンス • 解析結果: ◦いつ、どのサイトを解析したか ◦不正サイトの判別結果 ◦この結果をもとにCVMでの制御
  17. 17. 東京情報大学 総合情報学科 システム開発コース 実装状況 ■Server:Linux(CentOS 6.7) ■システム • クローラ ◦Ruby 2.2.4: Crawler script ◦Whois request: whois 3.6.5 (ruby gems) ◦HTTP request: curb 0.9.3 (ruby gems) ◦Active Record 4.2.6 ◦Docker 1.7.1: Runtime environment • CVM ◦Ruby on Rails 4.2.6 ◦Ruby 2.2.4: CVM script ◦Cron: CVMの定期実行
  18. 18. 東京情報大学 総合情報学科 システム開発コース まとめ ■現在の進捗 • クローラ仮想化マネージャ(CVM)の検討 ◦コンテナ仮想化技術「Docker」をベースにCVMを設計中 • Web空間射影手法の検討 ◦アルゴリズムは短縮URLとwhois登録期間で検討中 • Webクローラのアルゴリズム検討 ◦各クローラが独自に探索領域を決定 ■今後の予定 • CVMのプロトタイプ • Webクローラの開発

×