Download as PDF, PPTX
![input {
cloudwatch_logs {
region => "us-east-1"
log_group => [ "/aws/route53/architect-tech.com" ]
sincedb_path => "/var/lib/logstash/sincedb_architect_tech_com"
}
}
filter {
grok{
patterns_dir => [ "/etc/logstash/patterns/vpcflowlogs_patterns" ]
match => { "message" => "%{VPCFLOWLOG}"}
}
date {
match => ["start_time", "UNIX"]
target => "@timestamp"
}
geoip {
source => "src_ip"
target => "src_geoip"
}
}
output {
elasticsearch {
hosts => [ "localhost:9200" ]
index => ”vpcflow-logs-%{+YYYYMMdd}"
}
}
# VPC_Flow_Logs
VPCFLOWLOG %{NUMBER:version} %{NUMBER:account_id} %{NOTSPACE:interfac
e_id} %{IP:src_ip} %{IP:dst_ip} %{POSINT:src_port} %{POSINT:dst_port} %{NOTSP
ACE:protocol_id} %{NOTSPACE:packets} %{NOTSPACE:bytes} %{NUMBER:start_ti
me} %{NUMBER:end_time} %{NOTSPACE:action} %{NOTSPACE:log_status}
★Pattern FIle
★Conf FIle
VpCFlow Logs
l InputCloudWatch Logs
Pluginのインストールが必須
l GrokPatternは外だし
l GrokFillterから呼び出す
l UNIXタイムなので、Date
フィルタで定義する
l GeoIPで地理情報を取得
l OutputでIndexを定義
l あらかじめIndexTemplateを
つくっておくこと
（作り方は割愛）](https://image.slidesharecdn.com/jawssecurityjaws-171113231403/75/AWS-Security-JAWS-32-2048.jpg)
![input {
cloudwatch_logs {
region => "us-west-1"
log_group => [ "california_cowrie" ]
sincedb_path => "/var/lib/logstash/sincedb_vpcflowlogs_california"
}
}
filter {
grok {
patterns_dir => [ "/etc/logstash/patterns/route53_patterns" ]
match => { "message" => "%{ROUTE53LOG}" }
}
date {
match => [ "date", "ISO8601" ]
target => "@timestamp"
}
geoip {
source => "resolver_ip"
target => "src_geoip"
}
}
output {
elasticsearch {
hosts => [ "localhost:9200" ]
index => ”Route53-logs-%{+YYYYMMdd}"
}
}
# Route53
ROUTE53LOG %{NOTSPACE:version}¥s%{TIMESTAMP_ISO8601:date} %{NOTSPACE:
host_id}¥s%{URIPROTO:query_name}¥s%{WORD:query_type}¥s%{WORD:respon
se_code}¥s%{WORD:protocol}¥s%{NOTSPACE:edge}¥s%{IP:resolver_ip}¥s(%{IP:e
dns_client_subnet}/%{POSINT:edns_cidr}|-)
★Pattern FIle
★Conf FIle
Route53
l 先ほどのVPCFlow Logsと
要領は一緒
l timestampは、今回ISO8601
l GeoIPで地理情報を取得
l OutputでIndexを定義
l ちなみに
GrokPatternを作成したい
そんな方はログフォーマットを
ちゃんと読むべしー](https://image.slidesharecdn.com/jawssecurityjaws-171113231403/75/AWS-Security-JAWS-33-2048.jpg)
![input {
s3 {
bucket => "cowrie-log"
region => "us-east-1"
prefix => "california/"
interval => "30"
sincedb_path => "/var/lib/logstash/sincedb_cowrie_json_california"
codec => json
}
}
filter {
json {
source => "message"
}
date {
match => [ "timestamp", "ISO8601" ]
target => "@timestamp"
}
geoip {
source => "src_ip"
target => "src_geoip”
}
geoip {
source => "dst_ip"
target => "dst_geoip"
}
}
output {
elasticsearch {
hosts => [ "localhost:9200" ]
index => "cowrie-json-logs-%{+YYYYMMdd}"
}
}
★Conf FIle
Cowrie.json
l S3InputPluginのインストール
が必須
l JsonなどでJson Filterで
読み込む
l SourceIP & DistinaetionIP
共に地理情報を取得
l インデックステンプレートを
作成するときにGeoIPなどの
マッピングすること](https://image.slidesharecdn.com/jawssecurityjaws-171113231403/75/AWS-Security-JAWS-34-2048.jpg)
![input {
s3 {
bucket => "cowrie-log"
region => "us-east-1"
prefix => "california/"
interval => "30"
sincedb_path => "/var/lib/logstash/sincedb_cowrie_json_california"
codec => json
}
}
filter {
json {
source => "message"
}
}
output {
elasticsearch {
hosts => [ "localhost:9200" ]
index => "vt-logs-%{+YYYYMMdd}"
}
}
★Conf FIle
Viurus Total
l Json Filterかけるだけ！
l 以上！！
l Input CloudWatch logs
l S3 Input Plugin
Install Plugin
★Install Input CloudWatch logs
$ cd /usr/share/logstash/
$ bin/logstash-plugin install logstash-input-cloudwatch_logs
★Install S3 Input Plugin
$ cd /usr/share/logstash/
$ bin/logstash-plugin install logstash-input-s3](https://image.slidesharecdn.com/jawssecurityjaws-171113231403/75/AWS-Security-JAWS-35-2048.jpg)
Uploaded byMasamitsu Maehara
AWS Security JAWS 経済的にハニーポットのログ分析をするためのベストプラクティス？
第7回Security-JAWSの発表資料です！ AWSとHoneypot、そしてElasticStackを活用してのログ分析についてです。
More Related Content
![[ElasticStack]What happens when you visualize servers exposed to the world?](https://cdn.slidesharecdn.com/ss_thumbnails/whathappenswhenyouvisualizeserversexposedtotheworld-170826082152-thumbnail.jpg?width=640&height=640&fit=bounds)
![[CB16] IoTとしての自動車とセキュリティ: リモートサービスのセキュリティ評価とその対策の検討 - by 和栗直英](https://cdn.slidesharecdn.com/ss_thumbnails/cb16wagurija-161109051322-thumbnail.jpg?width=640&height=640&fit=bounds)
![[CB16] EXOTIC DATA RECOVERY & PARADAIS by しもがいとだい](https://cdn.slidesharecdn.com/ss_thumbnails/cb16shimogaitoja-161108080907-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to AWS Security JAWS 経済的にハニーポットのログ分析をするためのベストプラクティス？
![[Sumo Logic x AWS 共催セミナー_20190829] Sumo Logic on AWS -AWS を活用したログ分析とセキュリティモニ...](https://cdn.slidesharecdn.com/ss_thumbnails/sumologiconaws-loganalysisandsecuritymonitoringusingaws-20190829-190829114856-thumbnail.jpg?width=640&height=640&fit=bounds)
AWS Security JAWS 経済的にハニーポットのログ分析をするためのベストプラクティス？
- 1. Technology Innovation Group 2017.11.13(Mon) MasamitsuMaehara 経済的にハニーポットの ログ分析をするためのベストプラクティス？ - SecurityJAWS -
- 2. 自己紹介 l 前原 応光（まえはらまさみつ） l Future Architect, Inc. l Technology Innovation Group l エンプラでAWSとかゴニョゴニョやってます l ゆるふわエンジニア @micci184
- 3. 1 登場人物のご紹介 2 やりたいこと 3構成について 4 ログを取り込むには 5 どんな結果が出たのよ 6 まとめ
- 4.
- 5. HoneyPot l 高対話型ハニーポット l 本物のOSやアプリケーションを利用する l情報が得られやすい l リスク高い l 低対話型ハニーポット l OSやアプリケーションをエミュレートして監視する l 機能制限がある l 攻撃者にバレる可能性がある l 高対話型より安全
- 6. Dionaea l 低対話型ハニーポット l マルウェア収集するよ lSMB/HTTP/HTTPS/FTP/TFTP/MSSQL/SIP l それっぽくするために、フロントの画面はつくる Cowrie l 低対話型ハニーポット l SSH特化 l Kippoよりもよくできている
- 7. Elastic Stack l Logstash:取り込んで加工してストア l Beats: データシッパー（色々とよしなにやってくれる） l Elasticsearch: 検索や分析に使われてる l Kibana: ビジュアライズやダッシュボードが作れる
- 8. Logstash l INPUT: 様々なデータソースを収集 lFilter: PluginのGrokや地理情報を得るためのGeoIPなどを 使いフィルタをかける l Output: フィルタしたデータを送る Logstash INPUT FILTER OUTPUT
- 9.
- 10.
- 11. やりたいこと l いろんなリージョンにハニーポットを配置したい l 工夫することでマルウェアの収集に影響があるのか lリージョンごとで攻撃の傾向が違うのかみたい l いろんなログを収集し、可視化・分析したい l お金を節約したい
- 12.
- 13.
- 14.
- 15.
- 16. Dionaea l マルウェアを収集し、スキャンかけたい l ドメイン、IPアドレスで変化するのか lドメイン、IPアドレスをpastebin.comに書いたら変化するのか Cowrie l 対象ログをCowrie.jsonとする l パスワードやユーザ名の傾向を知る l どこの国から攻撃してきているかを知る l Cowrieの配置場所として良いところとは？
- 17.
- 18.
- 19.
- 20. l 常にElasticStackを起動したくない l できるだけログがロストしない仕組み にしたい lいつでもログを取り出したい
- 21. てことで、こんな構成 l ログはAWSサービスに寄せる l S3やCloudWatchLogsに保管 Cloudwatch Logs Bucket Attack Cowrie Dionaea ElasticStack Attack
- 22. てことで、こんな構成 l ログはAWSサービスに寄せる l S3やCloudWatchLogsに保管 Attack Cowrie Dionaea ElasticStack Attack ここにログを集める！ Cloudwatch Logs Bucket
- 23.
- 24. Dionaeaの準備 1. Dionaeaを構築を4台構築する（リージョンは、バージニア） 2. それっぽいトップページを作成する 3.ドメインを取得する 4. 取得したドメインとIPアドレスをpastebin.comに記載する 5. Route53のロギングを有効にする 6. 放置する 7. 定期的に収集したマルウェアをスキャンし、スキャン結果の ログをS3にアップロード 8. Logstashでログを取得し、Elasticsearchにストア
- 25. l dionae02: architect-tech.com→ PASTEBIN l dionae01: Global IP address l dionae03: Global IP address l dionae04: architect-tech.net → PASTEBIN PASTEBINに公開する・しない
- 26. マルウェアのスキャン l マルウェアはbinariesディレクトリに格納される l 複数のアンチウィルスソフトでスキャンしたいので、VirusTotal を利用する lVirusTotalはAPIを提供している（1分間に4回まで） l AmazonLinuxは、Pythonの実行環境が整っているので Pythonでスクリプト作成 l スキャン結果のログをS3にアップロード dionaea01 dionaea04 Bucket ...
- 27.
- 28. Cowrieの準備 1. Cowrieを構築を各リージョンに構築する 2. 取得したいログを対象にAWSLogsのconfファイルを作成 対象: cowrie.json 3. VPC FlowLogsのログを可視化したいので、Cowrieにアタッチ されているENIに対してVPC FlowLogs有効化 #VPCレベルでやるとすべてのENIが対象になるので注意 4. 放置する 5. Logstashでログを取得し、Elasticsearchにストア
- 29. Cowrie California Cowrie Cowrie CowrieCowrie Cowrie Cloudwatch Logs Canada Cloudwatch Logs Ireland Cloudwatch Logs Saopaulo Cloudwatch Logs Singapore Cloudwatch Logs Tokyo Cloudwatch Logs Logstash Virginia ログ集約方法 l CloudWatch LogsにCowrieのログをアップロード l LogstashからCloudWatch LogsのLog Groupからログを取得
- 30.
- 31. 取得したいログ l CloudWatch LogsにあるCowrie.json lCloudWatch LogsにあるVPCFlow Logs l CloudWatch LogsにあるRoute53のログ l S3にあるMalwarescanLogs Grok : VpcFlow Logs & Route53 JsonFilter : Cowrie.json & Scan Logs Logstashのフィルタ対応
- 32. input { cloudwatch_logs { region=> "us-east-1" log_group => [ "/aws/route53/architect-tech.com" ] sincedb_path => "/var/lib/logstash/sincedb_architect_tech_com" } } filter { grok{ patterns_dir => [ "/etc/logstash/patterns/vpcflowlogs_patterns" ] match => { "message" => "%{VPCFLOWLOG}"} } date { match => ["start_time", "UNIX"] target => "@timestamp" } geoip { source => "src_ip" target => "src_geoip" } } output { elasticsearch { hosts => [ "localhost:9200" ] index => ”vpcflow-logs-%{+YYYYMMdd}" } } # VPC_Flow_Logs VPCFLOWLOG %{NUMBER:version} %{NUMBER:account_id} %{NOTSPACE:interfac e_id} %{IP:src_ip} %{IP:dst_ip} %{POSINT:src_port} %{POSINT:dst_port} %{NOTSP ACE:protocol_id} %{NOTSPACE:packets} %{NOTSPACE:bytes} %{NUMBER:start_ti me} %{NUMBER:end_time} %{NOTSPACE:action} %{NOTSPACE:log_status} ★Pattern FIle ★Conf FIle VpCFlow Logs l InputCloudWatch Logs Pluginのインストールが必須 l GrokPatternは外だし l GrokFillterから呼び出す l UNIXタイムなので、Date フィルタで定義する l GeoIPで地理情報を取得 l OutputでIndexを定義 l あらかじめIndexTemplateを つくっておくこと （作り方は割愛）
- 33. input { cloudwatch_logs { region=> "us-west-1" log_group => [ "california_cowrie" ] sincedb_path => "/var/lib/logstash/sincedb_vpcflowlogs_california" } } filter { grok { patterns_dir => [ "/etc/logstash/patterns/route53_patterns" ] match => { "message" => "%{ROUTE53LOG}" } } date { match => [ "date", "ISO8601" ] target => "@timestamp" } geoip { source => "resolver_ip" target => "src_geoip" } } output { elasticsearch { hosts => [ "localhost:9200" ] index => ”Route53-logs-%{+YYYYMMdd}" } } # Route53 ROUTE53LOG %{NOTSPACE:version}¥s%{TIMESTAMP_ISO8601:date} %{NOTSPACE: host_id}¥s%{URIPROTO:query_name}¥s%{WORD:query_type}¥s%{WORD:respon se_code}¥s%{WORD:protocol}¥s%{NOTSPACE:edge}¥s%{IP:resolver_ip}¥s(%{IP:e dns_client_subnet}/%{POSINT:edns_cidr}|-) ★Pattern FIle ★Conf FIle Route53 l 先ほどのVPCFlow Logsと 要領は一緒 l timestampは、今回ISO8601 l GeoIPで地理情報を取得 l OutputでIndexを定義 l ちなみに GrokPatternを作成したい そんな方はログフォーマットを ちゃんと読むべしー
- 34. input { s3 { bucket=> "cowrie-log" region => "us-east-1" prefix => "california/" interval => "30" sincedb_path => "/var/lib/logstash/sincedb_cowrie_json_california" codec => json } } filter { json { source => "message" } date { match => [ "timestamp", "ISO8601" ] target => "@timestamp" } geoip { source => "src_ip" target => "src_geoip” } geoip { source => "dst_ip" target => "dst_geoip" } } output { elasticsearch { hosts => [ "localhost:9200" ] index => "cowrie-json-logs-%{+YYYYMMdd}" } } ★Conf FIle Cowrie.json l S3InputPluginのインストール が必須 l JsonなどでJson Filterで 読み込む l SourceIP & DistinaetionIP 共に地理情報を取得 l インデックステンプレートを 作成するときにGeoIPなどの マッピングすること
- 35. input { s3 { bucket=> "cowrie-log" region => "us-east-1" prefix => "california/" interval => "30" sincedb_path => "/var/lib/logstash/sincedb_cowrie_json_california" codec => json } } filter { json { source => "message" } } output { elasticsearch { hosts => [ "localhost:9200" ] index => "vt-logs-%{+YYYYMMdd}" } } ★Conf FIle Viurus Total l Json Filterかけるだけ！ l 以上！！ l Input CloudWatch logs l S3 Input Plugin Install Plugin ★Install Input CloudWatch logs $ cd /usr/share/logstash/ $ bin/logstash-plugin install logstash-input-cloudwatch_logs ★Install S3 Input Plugin $ cd /usr/share/logstash/ $ bin/logstash-plugin install logstash-input-s3
- 36.
- 38.
- 39.
- 40. Cowrieの結果より l アクセス件数はアイルランド、サンパウロ、シンガポールが多い l 利用料金から考えるとアイルランドがコスパがよい lアイルランド: 109% l サンパウロ: 160% l シンガポール: 126% l そもそもt2.microで動くのでそこまで意識しなくていいかも ちりつもはあるが。。
- 41. Dionaeaの結果より l グローバルIPではなく、ドメインを登録した方がマルウェアの取 得率が高い l さらにPASTEBINに登録することで取得率が更にあがる lやっぱりWannaCryが多い l ディスク要領使うのでデフォルト8GBだと2週間もたない l なので、何かしらの施しが必要 l 実は、DionaeaをオンデマンドとSpotFleetで稼働してみた l Region: Virginia l InstanceType: m3.medium l On-demand: 222h → $14.93 l SpotFleet: 383h → $3.58
- 42.
- 43. まとめ l ログをAWS側に寄せることで必要なときに取り出せる l 保管の料金も安くすむ！ lリージョン毎に料金が違うので、東京にこだわる必要ない l PASTEBINは有効なサービスなので使うべし l VirusTotalのAPI上限数は気をつけて l AWSのログは、親切！ログフォーマットの説明が丁寧 l LogstashのGrokは闇深いけど、楽しいよ！
- 44.