Submit Search
Upload
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
•
Download as PPTX, PDF
•
9 likes
•
9,020 views
tnoho
Follow
WebRTCを利用して、Pythonで遠隔画像処理をおこなうことを可能にするフレームワークを開発しました。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 16
Download now
Recommended
WebRTC と Native とそれから、それから。
WebRTC と Native とそれから、それから。
tnoho
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
日本マイクロソフト株式会社
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
モノビット エンジン
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
Contest Ntt-west
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
Kohei Tokunaga
Topology Managerについて / Kubernetes Meetup Tokyo 50
Topology Managerについて / Kubernetes Meetup Tokyo 50
Preferred Networks
Recommended
WebRTC と Native とそれから、それから。
WebRTC と Native とそれから、それから。
tnoho
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
【BS13】チーム開発がこんなにも快適に!コーディングもデバッグも GitHub 上で。 GitHub Codespaces で叶えられるシームレスな開発
日本マイクロソフト株式会社
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
モノビット エンジン
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
Contest Ntt-west
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
Kohei Tokunaga
Topology Managerについて / Kubernetes Meetup Tokyo 50
Topology Managerについて / Kubernetes Meetup Tokyo 50
Preferred Networks
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
Yasuhiro Mawarimichi
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
MQTTとAMQPと.NET
MQTTとAMQPと.NET
terurou
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
IoT用途で簡単に使えるWebRTC Engineを作った話
IoT用途で簡単に使えるWebRTC Engineを作った話
ToshiyaNakakura1
MediaRecorder と WebM で、オレオレ Live Streaming
MediaRecorder と WebM で、オレオレ Live Streaming
mganeko
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話
Yuta Shimada
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
モノビット エンジン
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!
Tetsutaro Watanabe
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Preferred Networks
Docker Compose 徹底解説
Docker Compose 徹底解説
Masahito Zembutsu
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII
GPU と PYTHON と、それから最近の NVIDIA
GPU と PYTHON と、それから最近の NVIDIA
NVIDIA Japan
フーリエ変換と画像圧縮の仕組み
フーリエ変換と画像圧縮の仕組み
yuichi takeda
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
Deep Learning JP
TensorFlow XLAは、 中で何をやっているのか?
TensorFlow XLAは、 中で何をやっているのか?
Mr. Vengineer
ARM CPUにおけるSIMDを用いた高速計算入門
ARM CPUにおけるSIMDを用いた高速計算入門
Fixstars Corporation
SFUの話
SFUの話
tnoho
WebRTCとSFU
WebRTCとSFU
Saki Homma
More Related Content
What's hot
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
Yasuhiro Mawarimichi
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
MQTTとAMQPと.NET
MQTTとAMQPと.NET
terurou
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
IoT用途で簡単に使えるWebRTC Engineを作った話
IoT用途で簡単に使えるWebRTC Engineを作った話
ToshiyaNakakura1
MediaRecorder と WebM で、オレオレ Live Streaming
MediaRecorder と WebM で、オレオレ Live Streaming
mganeko
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話
Yuta Shimada
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
モノビット エンジン
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!
Tetsutaro Watanabe
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Preferred Networks
Docker Compose 徹底解説
Docker Compose 徹底解説
Masahito Zembutsu
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII
GPU と PYTHON と、それから最近の NVIDIA
GPU と PYTHON と、それから最近の NVIDIA
NVIDIA Japan
フーリエ変換と画像圧縮の仕組み
フーリエ変換と画像圧縮の仕組み
yuichi takeda
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
Deep Learning JP
TensorFlow XLAは、 中で何をやっているのか?
TensorFlow XLAは、 中で何をやっているのか?
Mr. Vengineer
ARM CPUにおけるSIMDを用いた高速計算入門
ARM CPUにおけるSIMDを用いた高速計算入門
Fixstars Corporation
What's hot
(20)
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
MQTTとAMQPと.NET
MQTTとAMQPと.NET
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
IoT用途で簡単に使えるWebRTC Engineを作った話
IoT用途で簡単に使えるWebRTC Engineを作った話
MediaRecorder と WebM で、オレオレ Live Streaming
MediaRecorder と WebM で、オレオレ Live Streaming
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Docker Compose 徹底解説
Docker Compose 徹底解説
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
GPU と PYTHON と、それから最近の NVIDIA
GPU と PYTHON と、それから最近の NVIDIA
フーリエ変換と画像圧縮の仕組み
フーリエ変換と画像圧縮の仕組み
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
TensorFlow XLAは、 中で何をやっているのか?
TensorFlow XLAは、 中で何をやっているのか?
ARM CPUにおけるSIMDを用いた高速計算入門
ARM CPUにおけるSIMDを用いた高速計算入門
Similar to WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
SFUの話
SFUの話
tnoho
WebRTCとSFU
WebRTCとSFU
Saki Homma
Tizen web app について調べたよ
Tizen web app について調べたよ
Naruto TAKAHASHI
Webページが表示されるまで
Webページが表示されるまで
Masataka Suzuki
Windows Windows上に作るチーム開発環境
Windows Windows上に作るチーム開発環境
Tadahiro Ishisaka
AI分野におけるコンテナオーケストレーションとは
AI分野におけるコンテナオーケストレーションとは
Tetsurou Yano
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
Tetsutaro Watanabe
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
Yusuke Naka
HTML5によるリアルタイムコミュニケーション WebRTCの概説
HTML5によるリアルタイムコミュニケーション WebRTCの概説
You_Kinjoh
NIFcLab Tech Laboratoryはじめます(もうすぐ)
NIFcLab Tech Laboratoryはじめます(もうすぐ)
富士通クラウドテクノロジーズ株式会社
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
NTT Communications Technology Development
PreadNet
PreadNet
Junya Kuwada
コンテナ技術と普及がシステム・インテグレータに与える影響
コンテナ技術と普及がシステム・インテグレータに与える影響
Masahito Zembutsu
My portfolio
My portfolio
ssuserc2210b
201110 01 Polytech Center 1
201110 01 Polytech Center 1
openrtm
5分で分るWebRTCコーデックウォーズ
5分で分るWebRTCコーデックウォーズ
Yusuke Naka
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化
Hirokazu Kutsu
WebRTCについて
WebRTCについて
BeMarble
Mithril
Mithril
Yoshiki Shibukawa
Infocom webrtc conference japan
Infocom webrtc conference japan
mganeko
Similar to WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
(20)
SFUの話
SFUの話
WebRTCとSFU
WebRTCとSFU
Tizen web app について調べたよ
Tizen web app について調べたよ
Webページが表示されるまで
Webページが表示されるまで
Windows Windows上に作るチーム開発環境
Windows Windows上に作るチーム開発環境
AI分野におけるコンテナオーケストレーションとは
AI分野におけるコンテナオーケストレーションとは
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
HTML5によるリアルタイムコミュニケーション WebRTCの概説
HTML5によるリアルタイムコミュニケーション WebRTCの概説
NIFcLab Tech Laboratoryはじめます(もうすぐ)
NIFcLab Tech Laboratoryはじめます(もうすぐ)
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
PreadNet
PreadNet
コンテナ技術と普及がシステム・インテグレータに与える影響
コンテナ技術と普及がシステム・インテグレータに与える影響
My portfolio
My portfolio
201110 01 Polytech Center 1
201110 01 Polytech Center 1
5分で分るWebRTCコーデックウォーズ
5分で分るWebRTCコーデックウォーズ
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化
WebRTCについて
WebRTCについて
Mithril
Mithril
Infocom webrtc conference japan
Infocom webrtc conference japan
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
1.
WebRTCを利用した 遠隔リアルタイム映像処理 フレームワークの実装 @tnoho
2.
自己紹介 @tnoho 通信屋で働くサラリーマン プログラミングと電子工作が趣味
WebRTC界隈の勉強会によくいます 今回は表記のものを開発したので、参加させて頂きました。
3.
深層学習のリアルタイム処理 Real-Time とか
Fast とか書いて、fpsが併記されていたりする 速度を気にする人は当然のごとく TITAN X で検証している 動くのを見ているとカメラを繋いで遊びたくなってくる
4.
カメラと繋いでリアルタイム処理検証 500W超の電源を持ち運ぶことになる エンジン発電機クラスが最低でも必要 一緒にATXのケースも… プリウスなら1500Wまで行ける!
5.
間口を広げたい 現状においては、ちょっと試すのが難しい 少ない研究者だけで用途を考えている状況 想定された用途と実際の用途は必ずしも一致しない 間口を広げ利用者を増やすのであれば、 最低でもスマートフォンで動いて欲しい!
6.
スマートフォンで動かすには Android, iOS
版の TensorFlow を利用する? ただリアルタイムのパフォーマンスは… スマートフォンではなく、 サーバに処理を任せられないか
7.
WebRTCとは Webブラウザでリアルタイムの映像/音声通信を行える規格 HangoutやSkypeなどでも使われている 特徴 ロイヤリティーフリー プラグインフリー
高速・低レイテンシ NAT越え標準搭載(ルーター設定不要) ほとんどのブラウザーが対応
8.
WebRTCで映像を送って解析する WebRTCを利用すれば、どこにでもあるブラウザから リアルタイムの映像を送ることができる GPUを搭載したサーバ側で、それを解析できるようにすれば、 どこからでも強力なGPUを利用した映像解析が可能になる
9.
デモ
10.
デモの構成 クライアントから送られてきた映像を TITAN X
の載ったデスクトップで YOLO (darknet) を用いて物体検出、結果の枠を合成して返送 WebRTC Client Desktop Computer 物体検出 結果合成 WebRTCModule TensorFlow TITANX WebRTC Internet
11.
pyrtcconductor クライアントと WebRTC 接続を行い、送られてきたフレームを OpenCV
形式で出力するPythonモジュール 機能 映像受信して、OpenCV 形式で出力 Python で加工したフレームを WebRTC で送信 WebRTC の DataChannel を利用したデータ通信 映像の自由なハンドリング
12.
簡単に移植できる 出力されるフレームは OpenCV 形式 imread
や imshow を使っているプログラムなら容易に移植することが可能 グレイスケール化と左右反転なら frame = imread(filename) flipped = cv2.flip(frame, 1) gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY) imshow(gray, gray) def onFrame(frame, timestamp): flipped = cv2.flip(frame, 1) gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY) effectedVideoSink.pushFrame(gray) リアルタイム処理化前 リアルタイム処理化後
13.
簡単に利用できる 煩雑なWebRTCの接続処理は全てモジュール内で実行 ユーザー記述は通常の1/10以下に削減 pyrtcconductor Webブラウザ User Program Javascript SDK Python User Program WebRTC signaling
14.
もっと広く/もっと簡単に pyrtcconductorと必要なサーバをまとめて提供 …
開発中 GitHubアカウントなどで誰でも、無償で、すぐに使えるように OSS化 … 頑張る 法務の壁が…実績がないと… 共同研究という名目での提供 お声がけください!
15.
用途の拡大 スマートフォンやパソコンだけでなく組み込みにも Raspberry
Pi WebRTC Clientの開発 … 開発中 Raspberry Pi Zero で動作 ハードウェア支援機能を利用 省電力化によるロボット、ラジコンの制御 監視カメラ、アクションカメラ、IoTなどへの拡大 1:1だけでなく配信にも WebRTC配信サーバとの接続 … 計画中
16.
EOF いらすとやさんのイラストでお送りしました。
Download now