SlideShare a Scribd company logo
Fluentd で Shadow サーバ用意し
たら捗った話(と性能検証の話)

December 13th, 2013
Naotoshi Seo @sonots
PFSYS DEPT, GPS DIV.,
DeNA Co., Ltd.

Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
かじゅある!(挨拶

2
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
自己紹介
・Naotoshi Seo
・@sonots
・インフラアプリエンジニア
・Fluentdコミッタ

3
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Haikanko
Fluentd クラスタ管理ツール

ログのパス

ホスト 

監視ワード
デプロイボタン

http://blog.livedoor.jp/sonots/archives/23590458.html
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Yohoushi
分散GrowthForecastグラフツール

http://blog.livedoor.jp/sonots/archives/29646713.html
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
弊社のFluentd事例

7
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Fluentdの用途
⁃ ログ監視
⁃ grep, grepcounter, ikachan, mail

⁃ ログ可視化
⁃ datacounter, numeric-monitor, calc, yohoushi,
record-reformer

⁃ ログ収集
⁃ rewrite, file-alternative

http://blog.livedoor.jp/sonots/archives/25861525.html
8
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
アーキテクチャ

watcherを監視

・ホスト毎の通知をまとめたりグラフ集計する serializer ノード
・fluent-plugin-ping-message を使った Fluentd プロセスの生存監視
9
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
弊社の事例の規模
⁃ Fluentd152プロセス
⁃ 600万行/min
⁃ 10万行/sec (at peak)

世界最大級の
Fluentd
ユーザ
(conf的な意味でw
10
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
本題

11
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
困ってるんです(31歳 男性
⁃ Fluentd のプラグインを作った!単体テストも書いた!
⁃ 実際に本番に入れてみてたら変なデータ(例えば
UTF-8 invalid とかとか!)が入ってきてあぼーん
⁃ Fluentd の設定を書いた!動作確認もした!
⁃ 実際に本番に入れてみたら負荷があがってあぼーん

あるある!
12
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
そこで
Shadow
サーバ

13
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Shadow (プロキシ)サーバとは
Webアプリケーションのテストをいくら入念に整備したとしても、実際
に起こり得るすべての可能性を網羅することは難しいのはもちろん、同じ
コードを複数の環境(言語やフレームワーク、ミドルウェア等のバージョ
ン)で同じように動作することを保証するのは至難の業です。そこで、ユ
ーザの実リクエストを複製して、稼働中の環境とは別に用意したテスト用
の環境にもリクエストを送ることで検証をするというアプローチがとられ
ます。そのために使われるツールのことを、シャドウプロキシサーバ
(shadow proxy server)と呼びます。
主な実装
・Kage (Ruby)
・Geest (Perl)
・Delta (Go)
http://qiita.com/kentaro/items/17e2c334a902677af995
14
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
それ
Fluentdでも
やりたい ;-)

15
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
できます

16
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
しかも簡単に

17
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
# deliver.conf
<match **>
type copy
<store>
type forward
<server>
host real.local
port 24224
</server>
</store>
<store>
type forward
<server>
host shadow.local
port 24224
</server>
</store>
</match>

type copy して shadow サーバに forward するだけ
(web サーバのようにレスポンスを切る必要すらない)
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
18
かじゅある!

19
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
導入できたし
RubyConf にでも行くか
@Miami

http://blog.livedoor.jp/sonots/archives/34188090.html
20
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
リーダー「ちょっと待った。
Fluentdのメモリ使用量すご
い増えてない?」

21
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
22
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
え

23
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
/(^o^)\

24
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
リーダー「直してからMiami
行こうね(にっこり」

25
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
カジュアルすぎた orz
カジュアルに試せるように導入したのに ...

26
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
ちゃんと
性能検証します ...

27
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
ここから性能検証の話

28
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
dummy_log_generator
⁃ ログを吐き出しまくるツール
⁃ 特徴
⁃ rate (行数/秒)を指定できる
⁃ ログメッセージをランダム生成できる
⁃ dummy_log_generator_simple も付属
⁃ システムのI/O限界を引き出せる
http://qiita.com/sonots/items/750da77a18e62852a02f
29
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
検証環境
⁃ CPU: Xeon E5-2670 2.60GHz x 2 (32コア)
⁃ メモリ: 24G
⁃ ディスク読み込み: 250MB/sec (hdparamベンチ)
⁃ ディスク書き込み: 160MB/sec (ddベンチ)

30
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
ログ読み込み(送信なし)
限界 lines / sec

CPU (%)

メモリ (kB)

fluent-agent-lite

560,219

99.8

952

fluentd v10 (in_tail)

157,148

100.4

38,280

fluentd v10 (in_tail_ex)

154,107

100.1

43,980

fluentd v11 (in_tail)

159,178

99.8

27,372

・fluent-agent-lite はログ送信しないように改変 https://gist.github.com/sonots/7586077
・負荷なく計測できるように https://github.com/sonots/fluent-plugin-flowcounter-simple を作成
31
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
ログ送信

32
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
out_forward のパラメータ

http://d.hatena.ne.jp/tagomoris/20120731/1343707793
33
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
chunk 毎にTCPソケットをopen/close
http://www.slideshare.net/harukayon/fluentd-22317236
34
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
ログ送信(1)
fluentd v10 (out_forward)
buffer_chun
k_limit

num_thre 限界 lines / sec CPU (%)
ads

100k

32

32000

1m

32

100936

100%

10m

32

88208

100%

100m

8

メモリ (kB)

88814

備考

[warn] size of the emitted data
exceeds buffer_chunk_limit.

165212
安定時は 150000 lines /sec だ
がそれを超えると詰まり始める
詰まった。10 sec に1回まとめ
て 888143 行の emit

fluentd v10 (keep_forward with keepalive)
buffer_chun
k_limit

num_thre 限界 lines / sec CPU (%)
ads

1m

32

115460

103%

メモリ (kB)

備考

chunk が小さい場合、keepalive
に効果あり。10m では効果なし

flush_interval はメモリを出来る限り早く空けるために 0s に固定
buffer_queue_limit は「queue size limit exceeds」の warn が出ない程度に大きくした

35

Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
ログ送信(2)
受信(in_forward)は受け取って捨てるだけ (type null)

fluent-agent-lite
限界 lines / sec

送信 CPU (%) メモリ (%)

受信 CPU (%) メモリ (%)

528,749

99.8

87%

0.1%

0.3%

out_forward はなぜ詰まる?
⁃ fluent-agent-lite はログを送信できない場合は、読み込ま
ない、という制御が入っている
⁃ 一方、fluentd は、ログを送信できなくても、どんどんログを
読み込んでしまう
⁃ バッファにログが溜まってどんどん処理効率が落ちて性能劣化
・fluentd の out_forward にログを出すパッチ https://gist.github.com/sonots/7646378 をあてて計測
・out_forward って詰まると劣化する? http://togetter.com/li/595607

36

Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
ログ送信まとめ
⁃ fluentd の送信制御は out_forward 側で行われる
⁃ fluent-agent-lite は素晴らしい
⁃ 全く詰まりなし
⁃ 528,749 lines /sec
⁃ out_forward 安定パラメタ
⁃ flush_interval 0s
⁃ buffer_chunk_limit 1m
⁃ num_threads 32 (サーバの数に合わせて要調節)
⁃ 100,936 lines / sec
⁃ chunk が 1m 程度に小さい場合 keepalive に効果あり
37
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
全体まとめ
⁃ Shadow サーバを導入しました
⁃ かじゅあるに本番データでテスト可能になった :D
⁃ Haikanko で Shadow だけ更新できるようにしている
⁃ Deliver ノードの安定パラメータを紹介
⁃ buffer_chunk_limit 1m が安定
⁃ ※ただし、詰まりがなければ 10m のほうが性能は出る
⁃ num_threads も大きくしましょう
⁃ 色々作った
⁃ ベンチマークツール dummy_log_generator
⁃ keep_forward で keepalive 接続
38
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Appendix:アーキテクチャ

watcherを監視

・ホスト毎の通知をまとめたりグラフ集計する serializer ノード
・fluent-plugin-ping-message を使った Fluentd プロセスの生存監視
39
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Appendix: 監視の話
⁃ プロセス監視
⁃ fluentd は daemontools で起動しているので svstat で生死監視
⁃ fluent-plugin-ping-message で agent 含め生死監視
⁃ 重複デーモン監視: 直っているのでやってない
⁃ 負荷監視
⁃ flowcounter で流量を監視。安定稼働できる流量を把握
⁃ queue size limit exceeds (out_forward で詰まると出る)
⁃ detached forwarding server の頻度
⁃ その他各種プラグインのエラーログメッセージ
http://www.slideshare.net/GedowFather/fluentd-meetup-2-fluentd
http://docs.fluentd.org/ja/articles/monitoring
40
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Fluentd Advent Calendar まだ空いてます!
http://qiita.com/advent-calendar/2013/fluentd

Thank you
41
Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

More Related Content

What's hot

What's hot (20)

【Unite Tokyo 2019】Understanding C# Struct All Things
【Unite Tokyo 2019】Understanding C# Struct All Things【Unite Tokyo 2019】Understanding C# Struct All Things
【Unite Tokyo 2019】Understanding C# Struct All Things
 
GitHub APIとfreshで遊ぼう
GitHub APIとfreshで遊ぼうGitHub APIとfreshで遊ぼう
GitHub APIとfreshで遊ぼう
 
【20220120 toranoana.deno#4】denoでffiの続き
【20220120 toranoana.deno#4】denoでffiの続き【20220120 toranoana.deno#4】denoでffiの続き
【20220120 toranoana.deno#4】denoでffiの続き
 
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarbitamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
itamae + Serverspecで テスト駆動インフラやってみた #shibuyarb
 
Consulを頑張って理解する
Consulを頑張って理解するConsulを頑張って理解する
Consulを頑張って理解する
 
ご注文は監視自動化ですか?
ご注文は監視自動化ですか?ご注文は監視自動化ですか?
ご注文は監視自動化ですか?
 
Consul は 全自動オーケストレーションの 夢を見るか?
Consul は 全自動オーケストレーションの 夢を見るか?Consul は 全自動オーケストレーションの 夢を見るか?
Consul は 全自動オーケストレーションの 夢を見るか?
 
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup ) Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
Ansibleを使ってローカル開発環境を作ろう ( #PyLadiesTokyo Meetup )
 
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツールPyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツール
 
最速C# 7.x
最速C# 7.x最速C# 7.x
最速C# 7.x
 
VPP事始め
VPP事始めVPP事始め
VPP事始め
 
Rust-DPDK
Rust-DPDKRust-DPDK
Rust-DPDK
 
VTI の中身
VTI の中身VTI の中身
VTI の中身
 
Rust-DPDK
Rust-DPDKRust-DPDK
Rust-DPDK
 
RUNNING Smalltalk - 実践Smalltalk
RUNNING Smalltalk - 実践SmalltalkRUNNING Smalltalk - 実践Smalltalk
RUNNING Smalltalk - 実践Smalltalk
 
最強のPHP統合開発環境 PHPStorm
最強のPHP統合開発環境 PHPStorm最強のPHP統合開発環境 PHPStorm
最強のPHP統合開発環境 PHPStorm
 
Perl/CGI 入門
Perl/CGI 入門Perl/CGI 入門
Perl/CGI 入門
 
Kotlinではじめる Webアプリケーション入門
Kotlinではじめる Webアプリケーション入門Kotlinではじめる Webアプリケーション入門
Kotlinではじめる Webアプリケーション入門
 
Vyatta 改造入門
Vyatta 改造入門Vyatta 改造入門
Vyatta 改造入門
 
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
ZeroFormatterに見るC#で最速のシリアライザを作成する100億の方法
 

Similar to Shadow Server on Fluentd at Fluentd Casual Talks #3

Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
外道 父
 
Cloudera impala
Cloudera impalaCloudera impala
Cloudera impala
外道 父
 
キャパシティ プランニング
キャパシティ プランニングキャパシティ プランニング
キャパシティ プランニング
外道 父
 
Perl で作るメディアストリーミングサーバー
Perl で作るメディアストリーミングサーバーPerl で作るメディアストリーミングサーバー
Perl で作るメディアストリーミングサーバー
Hideo Kimura
 
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組みJJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
日本Javaユーザーグループ
 
Serf という Orchestration ツール #immutableinfra
Serf という Orchestration ツール #immutableinfraSerf という Orchestration ツール #immutableinfra
Serf という Orchestration ツール #immutableinfra
Naotoshi Seo
 

Similar to Shadow Server on Fluentd at Fluentd Casual Talks #3 (20)

Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
 
NHNグループ合同勉強会 ライブドア片野
NHNグループ合同勉強会 ライブドア片野NHNグループ合同勉強会 ライブドア片野
NHNグループ合同勉強会 ライブドア片野
 
Cloudera impala
Cloudera impalaCloudera impala
Cloudera impala
 
キャパシティ プランニング
キャパシティ プランニングキャパシティ プランニング
キャパシティ プランニング
 
Perl で作るメディアストリーミングサーバー
Perl で作るメディアストリーミングサーバーPerl で作るメディアストリーミングサーバー
Perl で作るメディアストリーミングサーバー
 
Resemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコム
Resemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコムResemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコム
Resemaraを支えた技術 フライングゲットガチャの舞台裏 #ksgstudy #ドリコム
 
1Uサーバーから始めるスケーラブルな「mCloud Project Server」
1Uサーバーから始めるスケーラブルな「mCloud Project Server」1Uサーバーから始めるスケーラブルな「mCloud Project Server」
1Uサーバーから始めるスケーラブルな「mCloud Project Server」
 
そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...
  そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...  そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...
そう、UE4ならね。あなたのモバイルゲームをより快適にする沢山の冴えたやり方について Part 2 <Texture Streaming, メモリプロ...
 
プライベートクラウド作ってみました
プライベートクラウド作ってみましたプライベートクラウド作ってみました
プライベートクラウド作ってみました
 
DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月
DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月
DeNAがオンプレでこれからやろうとしてること - OpenStack最新情報セミナー 2015年12月
 
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組みJJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
JJavaプログラム実行の仕組みと、高速・安定動作に向けた取り組み
 
otomodachi-kakumei
otomodachi-kakumeiotomodachi-kakumei
otomodachi-kakumei
 
Lagopusで試すFirewall
Lagopusで試すFirewallLagopusで試すFirewall
Lagopusで試すFirewall
 
Try new transport protocol SRT (ver. 2)
Try new transport protocol SRT  (ver. 2)Try new transport protocol SRT  (ver. 2)
Try new transport protocol SRT (ver. 2)
 
Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)
Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)
Lagopusで試すL3ルーティング + α (Lagopusの設定方法いろいろ)
 
HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計
 
DeNAでのVertica運用
DeNAでのVertica運用DeNAでのVertica運用
DeNAでのVertica運用
 
Serf という Orchestration ツール #immutableinfra
Serf という Orchestration ツール #immutableinfraSerf という Orchestration ツール #immutableinfra
Serf という Orchestration ツール #immutableinfra
 
FFRKを支えるWebアプリケーションフレームワークの技術
FFRKを支えるWebアプリケーションフレームワークの技術FFRKを支えるWebアプリケーションフレームワークの技術
FFRKを支えるWebアプリケーションフレームワークの技術
 
小さく始める Docker container の deploy
小さく始める Docker container の deploy小さく始める Docker container の deploy
小さく始める Docker container の deploy
 

More from Naotoshi Seo

More from Naotoshi Seo (13)

ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜
ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜
ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 Kondate 〜
 
HTTP/2 でリバプロするだけでグラフツールを 高速化できた話
HTTP/2 でリバプロするだけでグラフツールを 高速化できた話HTTP/2 でリバプロするだけでグラフツールを 高速化できた話
HTTP/2 でリバプロするだけでグラフツールを 高速化できた話
 
Mobage を支える Ruby の技術 ~ 複数DB編 ~
Mobage を支える Ruby の技術 ~ 複数DB編 ~Mobage を支える Ruby の技術 ~ 複数DB編 ~
Mobage を支える Ruby の技術 ~ 複数DB編 ~
 
Fluentd Hacking Guide at RubyKaigi 2014
Fluentd Hacking Guide at RubyKaigi 2014Fluentd Hacking Guide at RubyKaigi 2014
Fluentd Hacking Guide at RubyKaigi 2014
 
InfluxDB の概要 - sonots #tokyoinfluxdb
InfluxDB の概要 - sonots #tokyoinfluxdbInfluxDB の概要 - sonots #tokyoinfluxdb
InfluxDB の概要 - sonots #tokyoinfluxdb
 
Sinatra Pattern 20130415
Sinatra Pattern 20130415Sinatra Pattern 20130415
Sinatra Pattern 20130415
 
Is ruby logger thread(process)-safe? at RubyConf 2013
Is ruby logger thread(process)-safe? at RubyConf 2013Is ruby logger thread(process)-safe? at RubyConf 2013
Is ruby logger thread(process)-safe? at RubyConf 2013
 
Yohoushi
YohoushiYohoushi
Yohoushi
 
Haikanko rubykaigi 20130531
Haikanko rubykaigi 20130531Haikanko rubykaigi 20130531
Haikanko rubykaigi 20130531
 
Mina 20130417
Mina 20130417Mina 20130417
Mina 20130417
 
Fluentdcasual 02-haikanko
Fluentdcasual 02-haikankoFluentdcasual 02-haikanko
Fluentdcasual 02-haikanko
 
capistrano-colorized-stream
capistrano-colorized-streamcapistrano-colorized-stream
capistrano-colorized-stream
 
Ruby test double
Ruby test doubleRuby test double
Ruby test double
 

Recently uploaded

Recently uploaded (8)

To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...
 
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
 
ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習108 -フリーライダー② -#ゲーム理論 #gametheory #数学
 
2023年度卒業時成長実感調査 - 上智大学
2023年度卒業時成長実感調査 - 上智大学2023年度卒業時成長実感調査 - 上智大学
2023年度卒業時成長実感調査 - 上智大学
 
〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 − 情報科学からのアプローチ −
〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 −	情報科学からのアプローチ −〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 −	情報科学からのアプローチ −
〔第27回日本高等教育学会年会発表〕IRにおける教務概念のオントロジー化 − 情報科学からのアプローチ −
 
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
 
modul belajar bagasa jepang pemula -N5.pdf
modul belajar bagasa jepang pemula -N5.pdfmodul belajar bagasa jepang pemula -N5.pdf
modul belajar bagasa jepang pemula -N5.pdf
 
東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け
東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け
東京工業大学 大学院 6学院入試説明会資料 2024年度受験者向け
 

Shadow Server on Fluentd at Fluentd Casual Talks #3