Submit Search
Upload
サイボウズのサービスを支えるログ基盤
•
31 likes
•
47,130 views
S
Shin'ya Ueoka
Follow
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
Read less
Read more
Technology
Report
Share
Report
Share
1 of 29
Download Now
Download to read offline
Recommended
遅いクエリと向き合う仕組み #CybozuMeetup
遅いクエリと向き合う仕組み #CybozuMeetup
S Akai
最高のリモート開発を実現するために取り組んでいること - Cybozu Tech Conference 2017
最高のリモート開発を実現するために取り組んでいること - Cybozu Tech Conference 2017
Yuki Okada
すべての人にチームワークを サイボウズのアクセシビリティ
すべての人にチームワークを サイボウズのアクセシビリティ
Kobayashi Daisuke
サイボウズのオープンソースへの取り組み - OSC 2018 Osaka
サイボウズのオープンソースへの取り組み - OSC 2018 Osaka
Yuki Okada
【MashupAwards11】kintoneのご紹介
【MashupAwards11】kintoneのご紹介
Koji Asaga
なぜ、サイボウズでアクセシビリティなのか?
なぜ、サイボウズでアクセシビリティなのか?
力也 伊原
エンジニア組織づくり5年。見えてきた関西Web界隈のええとこ、あかんとこ - Developers Summit 2019 KANSAI
エンジニア組織づくり5年。見えてきた関西Web界隈のええとこ、あかんとこ - Developers Summit 2019 KANSAI
Yuki Okada
エンジニアサマーインターンシップ 2016 ご紹介
エンジニアサマーインターンシップ 2016 ご紹介
Akitsugu Ito
More Related Content
What's hot
あなたの言葉で伝えるWebアクセシビリティ
あなたの言葉で伝えるWebアクセシビリティ
Kobayashi Daisuke
UXを損ねる静的コンテンツ配信アンチパターン7選
UXを損ねる静的コンテンツ配信アンチパターン7選
Yuki Okada
サイボウズがre:Inventに参加した話し。
サイボウズがre:Inventに参加した話し。
Koji Asaga
kintone dev camp vol.11 kintoneの基本説明
kintone dev camp vol.11 kintoneの基本説明
kintone papers
gusukuではじめるデベロッパーフレンドリーなキントーンのアプリ管理_金春氏&どりぃ氏
gusukuではじめるデベロッパーフレンドリーなキントーンのアプリ管理_金春氏&どりぃ氏
kintone papers
チームで取り組む!サイボウズのアクセシビリティ 開発プロセスにアクセシビリティをインクルードする | GAAD Japan 2021
チームで取り組む!サイボウズのアクセシビリティ 開発プロセスにアクセシビリティをインクルードする | GAAD Japan 2021
Kobayashi Daisuke
Webアクセシビリティの現状ダイジェスト 2014
Webアクセシビリティの現状ダイジェスト 2014
Mitsue-Links Co.,Ltd. Accessibility Department
サイトをアクセシブルにするための受発注のセオリー
サイトをアクセシブルにするための受発注のセオリー
力也 伊原
kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
kintone papers
kintone devCamp Vol.10 ルックアップのことだけ、考えた。
kintone devCamp Vol.10 ルックアップのことだけ、考えた。
kintone papers
baserCMSのエコシステムが目指すもの
baserCMSのエコシステムが目指すもの
tecking
WikiWikiアジャイル
WikiWikiアジャイル
Fumio Kawakami
管理部門の仕事をチームから組織にした話
管理部門の仕事をチームから組織にした話
Yukie Ozaki
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
WebSig24/7
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
Insight Technology, Inc.
Devrel#8_オンラインのエンゲージメントを考える_jawsug_bgnr
Devrel#8_オンラインのエンゲージメントを考える_jawsug_bgnr
Kahori Takeda
アジャイルパラレル開発
アジャイルパラレル開発
Fumio Kawakami
Webアクセシビリティ なぜ?どうやって?
Webアクセシビリティ なぜ?どうやって?
Mitsue-Links Co.,Ltd. Accessibility Department
Web制作者が知っておきたいアクセシビリティ最新動向
Web制作者が知っておきたいアクセシビリティ最新動向
Mitsue-Links Co.,Ltd. Accessibility Department
私はこうやってSlackを社内で流行らせました
私はこうやってSlackを社内で流行らせました
NHN テコラス株式会社
What's hot
(20)
あなたの言葉で伝えるWebアクセシビリティ
あなたの言葉で伝えるWebアクセシビリティ
UXを損ねる静的コンテンツ配信アンチパターン7選
UXを損ねる静的コンテンツ配信アンチパターン7選
サイボウズがre:Inventに参加した話し。
サイボウズがre:Inventに参加した話し。
kintone dev camp vol.11 kintoneの基本説明
kintone dev camp vol.11 kintoneの基本説明
gusukuではじめるデベロッパーフレンドリーなキントーンのアプリ管理_金春氏&どりぃ氏
gusukuではじめるデベロッパーフレンドリーなキントーンのアプリ管理_金春氏&どりぃ氏
チームで取り組む!サイボウズのアクセシビリティ 開発プロセスにアクセシビリティをインクルードする | GAAD Japan 2021
チームで取り組む!サイボウズのアクセシビリティ 開発プロセスにアクセシビリティをインクルードする | GAAD Japan 2021
Webアクセシビリティの現状ダイジェスト 2014
Webアクセシビリティの現状ダイジェスト 2014
サイトをアクセシブルにするための受発注のセオリー
サイトをアクセシブルにするための受発注のセオリー
kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
kintone devCamp Vol.10 ルックアップのことだけ、考えた。
kintone devCamp Vol.10 ルックアップのことだけ、考えた。
baserCMSのエコシステムが目指すもの
baserCMSのエコシステムが目指すもの
WikiWikiアジャイル
WikiWikiアジャイル
管理部門の仕事をチームから組織にした話
管理部門の仕事をチームから組織にした話
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
Devrel#8_オンラインのエンゲージメントを考える_jawsug_bgnr
Devrel#8_オンラインのエンゲージメントを考える_jawsug_bgnr
アジャイルパラレル開発
アジャイルパラレル開発
Webアクセシビリティ なぜ?どうやって?
Webアクセシビリティ なぜ?どうやって?
Web制作者が知っておきたいアクセシビリティ最新動向
Web制作者が知っておきたいアクセシビリティ最新動向
私はこうやってSlackを社内で流行らせました
私はこうやってSlackを社内で流行らせました
Viewers also liked
すべてを自動化せよ! 〜生産性向上チームの挑戦〜
すべてを自動化せよ! 〜生産性向上チームの挑戦〜
Jumpei Miyata
サイボウズのフロントエンド開発 現在とこれからの挑戦
サイボウズのフロントエンド開発 現在とこれからの挑戦
Teppei Sato
あなたの開発チームには、チームワークがあふれていますか?
あなたの開発チームには、チームワークがあふれていますか?
Yusuke Amano
Api Strat Portland 2017 Serverless Extensibility talk
Api Strat Portland 2017 Serverless Extensibility talk
Glenn Block
WalB: Real-time and Incremental Backup System for Block Devices
WalB: Real-time and Incremental Backup System for Block Devices
uchan_nos
3000社の業務データ絞り込みを支える技術
3000社の業務データ絞り込みを支える技術
Ryo Mitoma
Jenkins 2.0 最新事情 〜Make Jenkins Great Again〜
Jenkins 2.0 最新事情 〜Make Jenkins Great Again〜
Jumpei Miyata
離れた場所でも最高のチームワークを実現する方法 ーサイボウズ開発チームのリモートワーク事例ー
離れた場所でも最高のチームワークを実現する方法 ーサイボウズ開発チームのリモートワーク事例ー
Teppei Sato
Kubernetes in 30 minutes (2017/03/10)
Kubernetes in 30 minutes (2017/03/10)
lestrrat
Atlassian Summit US 2017 #augj
Atlassian Summit US 2017 #augj
グロースエクスパートナーズ株式会社/Growth xPartners Incorporated.
プロジェクト管理でkintone
プロジェクト管理でkintone
Cybozucommunity
Kubernetesにまつわるエトセトラ(主に苦労話)
Kubernetesにまつわるエトセトラ(主に苦労話)
Works Applications
形態素解析
形態素解析
Works Applications
小さく始める大規模スクラム
小さく始める大規模スクラム
Keisuke Tsukagoshi
缶詰屋さんの課題解決にスクラムを使ってみた
缶詰屋さんの課題解決にスクラムを使ってみた
Toshiyuki Ohtomo
重要なのはリサーチ・プランニング・プロトタイプの三本柱
重要なのはリサーチ・プランニング・プロトタイプの三本柱
Yuya Toida
Next-generation Python Big Data Tools, powered by Apache Arrow
Next-generation Python Big Data Tools, powered by Apache Arrow
Wes McKinney
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
ログ基盤をGDPで運用してIQを下げたい話(Supership 古谷遼)
ログ基盤をGDPで運用してIQを下げたい話(Supership 古谷遼)
Supership株式会社
報奨金制度の近況について
報奨金制度の近況について
Yuriko Otsuka
Viewers also liked
(20)
すべてを自動化せよ! 〜生産性向上チームの挑戦〜
すべてを自動化せよ! 〜生産性向上チームの挑戦〜
サイボウズのフロントエンド開発 現在とこれからの挑戦
サイボウズのフロントエンド開発 現在とこれからの挑戦
あなたの開発チームには、チームワークがあふれていますか?
あなたの開発チームには、チームワークがあふれていますか?
Api Strat Portland 2017 Serverless Extensibility talk
Api Strat Portland 2017 Serverless Extensibility talk
WalB: Real-time and Incremental Backup System for Block Devices
WalB: Real-time and Incremental Backup System for Block Devices
3000社の業務データ絞り込みを支える技術
3000社の業務データ絞り込みを支える技術
Jenkins 2.0 最新事情 〜Make Jenkins Great Again〜
Jenkins 2.0 最新事情 〜Make Jenkins Great Again〜
離れた場所でも最高のチームワークを実現する方法 ーサイボウズ開発チームのリモートワーク事例ー
離れた場所でも最高のチームワークを実現する方法 ーサイボウズ開発チームのリモートワーク事例ー
Kubernetes in 30 minutes (2017/03/10)
Kubernetes in 30 minutes (2017/03/10)
Atlassian Summit US 2017 #augj
Atlassian Summit US 2017 #augj
プロジェクト管理でkintone
プロジェクト管理でkintone
Kubernetesにまつわるエトセトラ(主に苦労話)
Kubernetesにまつわるエトセトラ(主に苦労話)
形態素解析
形態素解析
小さく始める大規模スクラム
小さく始める大規模スクラム
缶詰屋さんの課題解決にスクラムを使ってみた
缶詰屋さんの課題解決にスクラムを使ってみた
重要なのはリサーチ・プランニング・プロトタイプの三本柱
重要なのはリサーチ・プランニング・プロトタイプの三本柱
Next-generation Python Big Data Tools, powered by Apache Arrow
Next-generation Python Big Data Tools, powered by Apache Arrow
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
ログ基盤をGDPで運用してIQを下げたい話(Supership 古谷遼)
ログ基盤をGDPで運用してIQを下げたい話(Supership 古谷遼)
報奨金制度の近況について
報奨金制度の近況について
Similar to サイボウズのサービスを支えるログ基盤
インフラ刷新プロジェクト「Neco」が目指す最高のクラウドとは
インフラ刷新プロジェクト「Neco」が目指す最高のクラウドとは
Shin'ya Ueoka
AWSオンリーで実現するIoTクラウド基盤
AWSオンリーで実現するIoTクラウド基盤
Godai Nakamura
Automation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
softlayerjp
Data API + AWS = (CMS どうでしょう 札幌編)
Data API + AWS = (CMS どうでしょう 札幌編)
Yuji Takayama
基幹システムでOSSは使えるのか?oss採用から見直す運用管理コスト
基幹システムでOSSは使えるのか?oss採用から見直す運用管理コスト
UNIRITA Incorporated
Intalio会社概要とIntalio Bopの特長 030109
Intalio会社概要とIntalio Bopの特長 030109
Tomoaki Sawada
[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いている
Akihiro Kuwano
サイボウズ リモートサービス ご提案資料
サイボウズ リモートサービス ご提案資料
Cybozucommunity
楽天インターネットスケーラブルコンピューティング;丸山先生レクチャーシリーズ2010第3回@楽天
楽天インターネットスケーラブルコンピューティング;丸山先生レクチャーシリーズ2010第3回@楽天
Hiro Yoshioka
Kintone hands on
Kintone hands on
twilioforkwc
MA2016 kintone 紹介
MA2016 kintone 紹介
kintone papers
チャットサービス運用の舞台裏
チャットサービス運用の舞台裏
Hiroaki Nagata
Intalio BPMS V5 Advantage (Japanese)
Intalio BPMS V5 Advantage (Japanese)
Tomoaki Sawada
Tibco mashery資料
Tibco mashery資料
TAKESHI KIURA
サイボウズ Officeユーザーのためのクラウド移行講座
サイボウズ Officeユーザーのためのクラウド移行講座
Cybozucommunity
イマドキのソフトウェア開発プロジェクトの流れ
イマドキのソフトウェア開発プロジェクトの流れ
Takashi Takebayashi
kintone café 大阪 Vol.1
kintone café 大阪 Vol.1
Koji Asaga
クラウド鎖国からクラウド維新へ
クラウド鎖国からクラウド維新へ
Cybozucommunity
MA2017 kintone説明
MA2017 kintone説明
kintone papers
GRAND FRONTEND OSAKA 2016 kintone説明
GRAND FRONTEND OSAKA 2016 kintone説明
Yoshihiko Takeuchi
Similar to サイボウズのサービスを支えるログ基盤
(20)
インフラ刷新プロジェクト「Neco」が目指す最高のクラウドとは
インフラ刷新プロジェクト「Neco」が目指す最高のクラウドとは
AWSオンリーで実現するIoTクラウド基盤
AWSオンリーで実現するIoTクラウド基盤
Automation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
Data API + AWS = (CMS どうでしょう 札幌編)
Data API + AWS = (CMS どうでしょう 札幌編)
基幹システムでOSSは使えるのか?oss採用から見直す運用管理コスト
基幹システムでOSSは使えるのか?oss採用から見直す運用管理コスト
Intalio会社概要とIntalio Bopの特長 030109
Intalio会社概要とIntalio Bopの特長 030109
[大図解]ピグライフはこう動いている
[大図解]ピグライフはこう動いている
サイボウズ リモートサービス ご提案資料
サイボウズ リモートサービス ご提案資料
楽天インターネットスケーラブルコンピューティング;丸山先生レクチャーシリーズ2010第3回@楽天
楽天インターネットスケーラブルコンピューティング;丸山先生レクチャーシリーズ2010第3回@楽天
Kintone hands on
Kintone hands on
MA2016 kintone 紹介
MA2016 kintone 紹介
チャットサービス運用の舞台裏
チャットサービス運用の舞台裏
Intalio BPMS V5 Advantage (Japanese)
Intalio BPMS V5 Advantage (Japanese)
Tibco mashery資料
Tibco mashery資料
サイボウズ Officeユーザーのためのクラウド移行講座
サイボウズ Officeユーザーのためのクラウド移行講座
イマドキのソフトウェア開発プロジェクトの流れ
イマドキのソフトウェア開発プロジェクトの流れ
kintone café 大阪 Vol.1
kintone café 大阪 Vol.1
クラウド鎖国からクラウド維新へ
クラウド鎖国からクラウド維新へ
MA2017 kintone説明
MA2017 kintone説明
GRAND FRONTEND OSAKA 2016 kintone説明
GRAND FRONTEND OSAKA 2016 kintone説明
Recently uploaded
チームで開発するための環境を整える
チームで開発するための環境を整える
onozaty
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
Takayuki Nakayama
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG-Audio
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析
sugiuralab
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
IGDA Japan SIG-Audio
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
honeshabri
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
iPride Co., Ltd.
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作り
iPride Co., Ltd.
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024
Hideki Saito
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
yoshidakids7
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
Naomi Yamasaki
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313
ssuserf8ea02
Recently uploaded
(12)
チームで開発するための環境を整える
チームで開発するための環境を整える
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作り
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313
サイボウズのサービスを支えるログ基盤
1.
サイボウズのサービスを 支えるログ基盤 ゼロからの刷新とこれから Cybozu Meetup #6,
2017-07-25 @ueokande Cybozu Inc.
2.
$ whois 上岡 真也 2016年サイボウズ入社 アプリケーション基盤チーム GitHub/Twitter:
@ueokande
3.
目次 cybozu.comのこれまでのログ基盤 ログ基盤のゼロからの刷新 新しいログ基盤のこれから
4.
cybozu.comの これまでのログ基盤
5.
cybozu.com
6.
cybozu.comとは 2011年にスタートした、企業向けクラウドサービス 契約社数 20,000社以上 ユーザ数70万人以上 リクエスト数1.7億/day
7.
cybozu.comを支えるインフラ 自社製データセンター ホスト数(実機 + VM):
1200程度 ログ量 20億 行/day, 800 GB/day (毎秒平均 23,000行 くらい)
8.
なぜログが重要か ログはWebサービスの健康状態を示す 障害対応の手がかり サービスの改善に役立てる 性能検証 ユーザの行動をビジネスに利用する
9.
これまでのcybozu.comのログ基盤 1. ログを毎分ローテート 2. ローテートされたログをtarに固める 3.
SSHでtarをストレージサーバーに転送 4. 転送が完了したログをホストから削除
10.
そろそろ限界... ログの増加にシステムが追いつかない スケールしたいけどできない 転送システムがSPOF 転送ホストが止まると、全体のログ転送が停止する ログを活用できていない 可視化・解析できていない、開発者以外が利用できていない
11.
ちくちょう。 刷新だ! Trying to crawl
here by Donnie Ray Jones | https://www.flickr.com/photos/donnieray/32890584381/
12.
ログ基盤のゼロからの刷新
13.
新ログ基盤の要件 ① at least
once ログを取りこぼすことなく集める ② 信頼性 どこかで障害が発生しても、全体の転送が止まらない ③ ログを活用できる ログを活用できるサービスを容易に導入できる
14.
新ログ基盤アーキテクチャ 出力されたログは Kafkaに転送 必要なサービスが Kafkaからログを取り出す
15.
Apache Kafkaとは pub/sub型の分散メッセージングシステム LinkedInが開発してOSS化した Twitter、Netflix、LINEなどの採用実績
16.
Apache Kafkaを使う理由 分散メッセージングサービス データはレプリケーションされるので、急にノードが死んでも大丈夫 ノードを追加することで容易にスケールできる pull型consumerのpub/subシステム データを購読する側が任意のタイミングでデータを読みだす 入力側・出力側が粗結合になり、それぞれ独自のタイミングで読み書きできる
17.
各ホストからKafkaへの転送 ログファイルの更新を監視してKafkaに送る ローテートされて転送が完了したログはディ スクから削除
18.
Kafka clusterから各サービス HBase ログをHadoop上に長期保存する Hive +
Presto ユーザの動向をクエリで検索・解析する Graylog ログの検索、監視
19.
At least once システム全体で、ログを取りこぼすことなく配送 どこかのホストが突然の死を遂げても、ログのデータロスが発生しない ログの重複は許す(≠
exactly once)
20.
At least once
| Kafkaへのログ転送 初めはFluentdでKafkaへ転送してたが、 at least onceを満たすことが難しいと判明 転送エージェントをGoで実装 状態はatomicに更新 ローテート後もしばらく監視
21.
At least once
| Kafkaからの転送 HiveやHBaseへの経路は冗長構成 HDFS上のファイル操作もatomicに更新する必 要がある
22.
信頼性とログの活用 信頼性 Kafka/Hadoopのノードが死んでも全体の転送は止まらない ラックの電源が落ちても大丈夫なように、同クラスタのノードはラックを分離 ログの活用 用途に応じて、様々なサービスを追加できた 新たなサービスを追加するのに、他の箇所に影響しない
23.
新ログ基盤の要件 at least once →
電源断してもデータロスが起こらないように設計 信頼性 → 冗長性をもたせたクラスタ構成とラック設計 ログを活用できる → Kafkを使うことで容易にサービスを追加できる
24.
苦労話 | 長いログの対応 Kafkaのレコード長には上限がある MySQLのスローログでは1行が10MBを超えるケースもある Kafkaのレコードに、断片化されたログかのフラグを付与 Kafkaからログを取り出す時、再び結合するのが少し大変
25.
苦労話 | 転送遅延 ある日、Kafkaからの転送が大きく遅延した 本番環境と同じ環境を開発環境に構成してたた め、早期に気付けた Kafkaのパラメータチューニングして解決
26.
苦労話 | journaldに悩まされる アプリケーションのログをjournaldに集める計画もあった 社内でjournaldを導入してみたらいろいろ問題が 長いログの行が勝手に分割される Disk
Full時にjournaldが死亡する 結局ファイル最強だった
27.
新しいログ基盤のこれから
28.
これからやっていきたいこと より良い製品づくりに役立てる ユーザデータを可視化・解析して製品改善に役立てる 必要なログやデータを組合せて、障害調査を加速させる 開発者以外も広く利用できる環境 エンジニア以外もログを利用できる環境の用意 ユーザへのサポートやマーケティングを効率化させる
29.
まとめ サイボウズのログ基盤が新しくなりました Kafka導入で「at least once」「信頼性」「ログを活用できる仕組み」を実現 これからもログをどんどん活かして、より良い製品づくりに役立てます
Download Now