VVAULT AUDIT における
PGROONGAの利用
株式会社オレガ
高見
VVAULT AUDITとは
・VVAULT(ファイルサーバ向け仮想ストレージ)対応のサーバーログ管理ソフト
・不正アクセスのサーバーログからの追跡を支援する
・ログを保存するテーブルを週単位で分割している
検索のパフォーマンス対応として
デー...
検索対象のデータ
・Windowsのイベントログ(詳細なファイル共有)
ファイルパス
IPアドレス(ホスト名)
ユーザ名
グループ名
・一週間(1テーブル)当たり、1000万レコードを想定
検索処理
・条件指定
完全一致(%なしLike)
前方一致(Like)
部分一致(@@)
※V1系の関数を使用
・否定条件への対応
各構文をNOTで囲むことで実現出来ている(低速)
PGROONGAを選んだ理由
・日本製
日本語対応
カレンダーが同じなのでサポートとのやりとりが容易
・1文字の検索に対応している
・導入コストが低い
Windows版PostgreSQLに対応していた
PostgreSQLのビルドが不要
・G...
PGROONGAを使用していて困っていること
・データ破損時、全テーブルに対してインデックスの再作成が必要
⇒データ量に比例して、復旧に時間&リソースが必要
・開発環境の変動が激しい
⇒対応にコストがかかるため、バージョンアップの阻害要因に
・...
Upcoming SlideShare
Loading in …5
×

Vvault audit におけるpgroongaの利用

270 views

Published on

VVAULT AUDITとは
 ・弊社でVVAULTというファイルサーバ向けの仮想ストレージソフトを販売中であり、これに対応したサーバーログの管理ソフト
 ・主な利用法は、不正アクセスやデータの流出経路の追跡支援
 ・ログを保存するテーブルを週単位で分割している
  テーブルあたりのデータ量を制限することで検索のパフォーマンスを維持
  DBの容量対策として、DB上から不要なデータを削除したり必要な分だけ復元できるようにしている。

検索対象のデータ
 ・ソースはWindowsの監査ログ
 ・ログの項目のうち、PGROONGAを使用しているのはパス、IP、ユーザ名、グループ名の4つ。
  いずれも、文字数は1000文字未満を想定している
 ・1回のアクセスで複数のログが出力されるため、レコード数は一週間あたり1000万レコード

検索処理
 ・V1系の関数で実現している。

 ・否定条件への対応
  @@もNOTで囲むことで否定検索として動作している。
  当然ながら処理速度は通常の検索よりも遅い。

PGROONGAを選んだ理由
 ・1文字から検索可能
   →ユーザ名など、特定のコード(社員ならS、派遣ならHなど)によって区別している事例がある

 ・検索エンジンの本体である、GROONGA自体の実績
   →バージョンが5を超えていたので、致命的な問題は無いと予想

 ・日本製なので、日本語対応が容易であることと、サポートとのやりとりが容易な点
   →時差のある国が相手だと、1回のやり取りで日を跨ぐのが普通という状態になり、時間がかかる

 ・導入コストが低い
  Windows版PostgreSQLでの利用が前提なので、モジュールとビルド手順がサポートされていたのが大きい
  他の候補ではPostgreSQLのビルドが必要なものがあり、これが不要である点も大きかった

PGROONGAを使用していて困ったこと
 ・エラー発生時、 PGROONGAのログの内容から対応策を練るのが困難
  エラーの原因が判別できないため、回復のために何が必要か、見当がつかない。
  エラーコードの整備など、利用者側で対応できるような仕組みが必要。

 ・データ破損時、全テーブルに対してインデックスの再作成が必要
   データ量に比例して復旧の所要時間とその間のリソース使用率が増えるので、実施には注意が必要
  ※複数のテーブルがある場合、再作成が終わったテーブルは順次利用が可能ということだが、これに関しては未検証。

 ・開発環境の変動が激しい
  新バージョンの適用にかかるコストが無視できない
  実際、当社では1.0.2でVisualStudio2015に移行したため、最新バージョンの適用を見合わせている状態

Published in: Engineering
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
270
On SlideShare
0
From Embeds
0
Number of Embeds
17
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Vvault audit におけるpgroongaの利用

  1. 1. VVAULT AUDIT における PGROONGAの利用 株式会社オレガ 高見
  2. 2. VVAULT AUDITとは ・VVAULT(ファイルサーバ向け仮想ストレージ)対応のサーバーログ管理ソフト ・不正アクセスのサーバーログからの追跡を支援する ・ログを保存するテーブルを週単位で分割している 検索のパフォーマンス対応として データをDB上から削除&復元することで、ディスク容量の節約を可能に
  3. 3. 検索対象のデータ ・Windowsのイベントログ(詳細なファイル共有) ファイルパス IPアドレス(ホスト名) ユーザ名 グループ名 ・一週間(1テーブル)当たり、1000万レコードを想定
  4. 4. 検索処理 ・条件指定 完全一致(%なしLike) 前方一致(Like) 部分一致(@@) ※V1系の関数を使用 ・否定条件への対応 各構文をNOTで囲むことで実現出来ている(低速)
  5. 5. PGROONGAを選んだ理由 ・日本製 日本語対応 カレンダーが同じなのでサポートとのやりとりが容易 ・1文字の検索に対応している ・導入コストが低い Windows版PostgreSQLに対応していた PostgreSQLのビルドが不要 ・GROONGAの実績
  6. 6. PGROONGAを使用していて困っていること ・データ破損時、全テーブルに対してインデックスの再作成が必要 ⇒データ量に比例して、復旧に時間&リソースが必要 ・開発環境の変動が激しい ⇒対応にコストがかかるため、バージョンアップの阻害要因に ・エラー発生時、 PGROONGAのログの内容から対応策を練るのが困難 ⇒迅速なサポートを行うことが出来ない

×