Submit Search
Upload
Jazug6周年lt(片倉義昌)
•
Download as PPTX, PDF
•
0 likes
•
874 views
Y
Yoshimasa Katakura
Follow
Jazug6周年lt(片倉義昌)
Read less
Read more
Internet
Report
Share
Report
Share
1 of 13
Download now
Recommended
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Junichi Noda
Hadoop Spark Conference Japan 2016での発表資料です
Awsでつくるapache kafkaといろんな悩み
Awsでつくるapache kafkaといろんな悩み
Keigo Suda
もう1つのHadoop Summit
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Junichi Noda
デブサミ2016 1日目のセッション内容です。 http://event.shoeisha.jp/devsumi/20160218/session/993/
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
Junichi Noda
12月3日 木曜日にGMO Yoursで開催された勉強会の発表資料です。GMOインターネット 次世代システム研究室の紹介もあります http://doda.jp/promo/seminar/geekrealvol2_tokyo.html
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Junichi Noda
日本Hadoopユーザー会主催の Cloudera World Tokyo 2015 ライトニングトークセッション で発表した「Spark Streamingで作る、つぶやきビッグデータのクローン」の資料です
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Tanaka Yuichi
KafkaとSparkを組み合わせたリアルタイム分析基盤をアーキテクチャの視点で見ていきます。
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Junichi Noda
研究発表で検証用に開発したSpark Streaming+Spark GraphXによるレコメンドシステムの発表資料です。ソースコードの詳細は資料のgithubのリンクを参照ください。
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Katsunori Kanda
Spark Casual Talk #1の発表資料です。 spark summit 2015の
Recommended
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Junichi Noda
Hadoop Spark Conference Japan 2016での発表資料です
Awsでつくるapache kafkaといろんな悩み
Awsでつくるapache kafkaといろんな悩み
Keigo Suda
もう1つのHadoop Summit
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Junichi Noda
デブサミ2016 1日目のセッション内容です。 http://event.shoeisha.jp/devsumi/20160218/session/993/
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
Junichi Noda
12月3日 木曜日にGMO Yoursで開催された勉強会の発表資料です。GMOインターネット 次世代システム研究室の紹介もあります http://doda.jp/promo/seminar/geekrealvol2_tokyo.html
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Junichi Noda
日本Hadoopユーザー会主催の Cloudera World Tokyo 2015 ライトニングトークセッション で発表した「Spark Streamingで作る、つぶやきビッグデータのクローン」の資料です
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Tanaka Yuichi
KafkaとSparkを組み合わせたリアルタイム分析基盤をアーキテクチャの視点で見ていきます。
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Junichi Noda
研究発表で検証用に開発したSpark Streaming+Spark GraphXによるレコメンドシステムの発表資料です。ソースコードの詳細は資料のgithubのリンクを参照ください。
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Katsunori Kanda
Spark Casual Talk #1の発表資料です。 spark summit 2015の
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
Spark刊行記念に登壇した際の資料
Apache NiFiと他プロダクトのつなぎ方
Apache NiFiと他プロダクトのつなぎ方
Sotaro Kimura
2016/07/27 Apache NiFi 勉強会~データフローの自動化~ での発表資料です。
今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ
Tatsuro Hisamori
JAWS-UG Meguro #2 のLT
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
QCon Tokyo 2015での発表資料です。 「Apache Sparkがデータサイエンティストの次世代分析基盤となる」というテーマで発表しました。 前編はこちら→http://www.slideshare.net/x1ichi/spark-47265009?qid=75406dab-5016-4a0e-ba9a-772265434480
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
daisuke-a-matsui
GMOインターネット次世代システム研究室の勉強会発表資料。 2015年3月に作成。6月加筆。
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
SmartNews, Inc.
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合 Ryoichi Nishio @ SmartNews JAWS−UG Meguro #2
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Tanaka Yuichi
BluemixのCloudant,Node-RED,Sparkを利用したTwitterのタグリングです。
Watson summit 2016_j2_5
Watson summit 2016_j2_5
Tanaka Yuichi
Watson summitでお話しした資料
本当にあったApache Spark障害の話
本当にあったApache Spark障害の話
x1 ichi
Spark Meetup December(2015-12-09)でお話させて頂いた「本当にあったApache Spark障害の話」です。
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
Oshitari_kochi
第38回 SQL Server 2019 勉強会 (https://sqlserver.connpass.com/event/197578/)の登壇資料です。 GitHub: https://github.com/ymasaoka/Presentation-materials/tree/main/PySpark/2021/1/23 Part.1 のセッション動画: https://youtu.be/zvON1p7TSeU
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
s. kaijima
dots. 7/7 Data Scientist Workbenchハンズオン資料です
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
デブサミ2016 18-D-Lの発表資料です
Sparkでレコメンドエンジンを作ってみた
Sparkでレコメンドエンジンを作ってみた
fujita_s
SparkのMLlibを使ってレコメンドエンジンを作ってみました。
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
鉄平 土佐
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
Tanaka Yuichi
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
インサイトテクノロジーさんの勉強会に呼んでいただいてお話しさせていただいた資料です。
2015 10 24_spark_osc15tk
2015 10 24_spark_osc15tk
Junichi Noda
東京オープンソースカンファレンス 2015 Tokyo/Fallで発表した資料です。セミナータイトル「Spark Streamingで作る、つぶやきビックデータのクローン」
Ibm data science experience
Ibm data science experience
IBM Analytics Japan
Ibm data science experience
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Ryoma Nagata
DLLabで登壇させていただきました! https://dllab.connpass.com/event/129006/
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
LINE Corp.
Hadoop Conferece Japan 2016 LTの「データサイエンスにおける一次可視化からのSpark on Elasticsearchの利用」の発表資料です。
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
The Japan DataScientist Society
データサイエンティスト協会 セミナー2016 第2回目 講演資料
Lagopus Project (Open Source Conference)
Lagopus Project (Open Source Conference)
Tomoya Hibi
OSCで紹介しているSDN/NFVの紹介を含む、Lagopusの紹介スライドです。
More Related Content
What's hot
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
Spark刊行記念に登壇した際の資料
Apache NiFiと他プロダクトのつなぎ方
Apache NiFiと他プロダクトのつなぎ方
Sotaro Kimura
2016/07/27 Apache NiFi 勉強会~データフローの自動化~ での発表資料です。
今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ
Tatsuro Hisamori
JAWS-UG Meguro #2 のLT
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
QCon Tokyo 2015での発表資料です。 「Apache Sparkがデータサイエンティストの次世代分析基盤となる」というテーマで発表しました。 前編はこちら→http://www.slideshare.net/x1ichi/spark-47265009?qid=75406dab-5016-4a0e-ba9a-772265434480
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
daisuke-a-matsui
GMOインターネット次世代システム研究室の勉強会発表資料。 2015年3月に作成。6月加筆。
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
SmartNews, Inc.
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合 Ryoichi Nishio @ SmartNews JAWS−UG Meguro #2
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Tanaka Yuichi
BluemixのCloudant,Node-RED,Sparkを利用したTwitterのタグリングです。
Watson summit 2016_j2_5
Watson summit 2016_j2_5
Tanaka Yuichi
Watson summitでお話しした資料
本当にあったApache Spark障害の話
本当にあったApache Spark障害の話
x1 ichi
Spark Meetup December(2015-12-09)でお話させて頂いた「本当にあったApache Spark障害の話」です。
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
Oshitari_kochi
第38回 SQL Server 2019 勉強会 (https://sqlserver.connpass.com/event/197578/)の登壇資料です。 GitHub: https://github.com/ymasaoka/Presentation-materials/tree/main/PySpark/2021/1/23 Part.1 のセッション動画: https://youtu.be/zvON1p7TSeU
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
s. kaijima
dots. 7/7 Data Scientist Workbenchハンズオン資料です
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
デブサミ2016 18-D-Lの発表資料です
Sparkでレコメンドエンジンを作ってみた
Sparkでレコメンドエンジンを作ってみた
fujita_s
SparkのMLlibを使ってレコメンドエンジンを作ってみました。
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
鉄平 土佐
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
Tanaka Yuichi
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
インサイトテクノロジーさんの勉強会に呼んでいただいてお話しさせていただいた資料です。
2015 10 24_spark_osc15tk
2015 10 24_spark_osc15tk
Junichi Noda
東京オープンソースカンファレンス 2015 Tokyo/Fallで発表した資料です。セミナータイトル「Spark Streamingで作る、つぶやきビックデータのクローン」
Ibm data science experience
Ibm data science experience
IBM Analytics Japan
Ibm data science experience
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Ryoma Nagata
DLLabで登壇させていただきました! https://dllab.connpass.com/event/129006/
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
LINE Corp.
Hadoop Conferece Japan 2016 LTの「データサイエンスにおける一次可視化からのSpark on Elasticsearchの利用」の発表資料です。
What's hot
(20)
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Apache NiFiと他プロダクトのつなぎ方
Apache NiFiと他プロダクトのつなぎ方
今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Watson summit 2016_j2_5
Watson summit 2016_j2_5
本当にあったApache Spark障害の話
本当にあったApache Spark障害の話
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
Sparkでレコメンドエンジンを作ってみた
Sparkでレコメンドエンジンを作ってみた
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
2015 10 24_spark_osc15tk
2015 10 24_spark_osc15tk
Ibm data science experience
Ibm data science experience
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
16.02.08_Hadoop Conferece Japan 2016_データサイエンスにおける一次可視化からのSpark on Elasticsear...
Similar to Jazug6周年lt(片倉義昌)
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
The Japan DataScientist Society
データサイエンティスト協会 セミナー2016 第2回目 講演資料
Lagopus Project (Open Source Conference)
Lagopus Project (Open Source Conference)
Tomoya Hibi
OSCで紹介しているSDN/NFVの紹介を含む、Lagopusの紹介スライドです。
hbstudy#6LTyuzorock
hbstudy#6LTyuzorock
yuzorock
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Apache Kafka Meetup Japan #3での発表資料です。
皆さん!ふくてんが来ましたよ!!
皆さん!ふくてんが来ましたよ!!
ru pic
Fukuoka.LTのふくてん紹介資料です
平成最後の1月ですし、Databricksでもやってみましょうか
平成最後の1月ですし、Databricksでもやってみましょうか
Ryuichi Tokugami
平成最後の1月ですし、Databricksでもやってみましょうか #azuretechlove 2019年 01/23(水) Azure Tech Lab #1 ~よう知らんけど~
Microsoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI Platform
Daiyu Hatakeyama
機械学習 / AI (Artificial Intelligence) の現状を知り、既存のデータの活用について考えるための題材です。最新のMicrosoft AI Platform をご紹介しています。
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
syou6162
Machine Learning Casual Talks #10での登壇資料です https://mlct.connpass.com/event/125316/
もっとサーバーレスを手軽に便利に!Azure Logic Apps
もっとサーバーレスを手軽に便利に!Azure Logic Apps
典子 松本
2018/03/24に開催した「JAZUG福岡(ふくあず) 2018#2 ~ハンズオンで話題のサーバーレスを体験しよう!~」の発表資料です。
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
Sotaro Kimura
D&S Data Night vol.05 (分析環境)での発表資料 https://yahoo-ds-event.connpass.com/event/51247/
AWSでGPUも安く大量に使い倒せ
AWSでGPUも安く大量に使い倒せ
Yasuhiro Matsuo
2016/2/8に開催されたOpenCloudHPC #1 でのLT資料です。HPCといいながらGPU成分が多めです。
非エンジニアでも安心!ノンコーディングでもココまでできる!LINE × Azure Logic Apps
非エンジニアでも安心!ノンコーディングでもココまでできる!LINE × Azure Logic Apps
典子 松本
2019年4月9日に開催された「緊急開催![LINE チャネル対応記念]開発ツール不要で作れるお手軽LINE ボット体験セミナー」の発表資料です。
Pythonで入門するApache Spark at PyCon2016
Pythonで入門するApache Spark at PyCon2016
Tatsuya Atsumi
Pythonを使ったApache Sparkの解説スライドです。スライドの他、口頭やJupyterコードでの補足があります。
正式リリースされた.Net coreに少し触れ合ってみる
正式リリースされた.Net coreに少し触れ合ってみる
Tsukasa Kato
2016/07/24 熊本クラウド語ろう会 クラウド勉強会~最新技術に触れてみよう~
FlexPod Day 2016 - Cisco session (Publish edition)
FlexPod Day 2016 - Cisco session (Publish edition)
Takao Setaka
Cisco session material at FlexPod Day 2016 Tokyo. It's an edited edition for public.
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Yasuhiro Matsuo
関西ソーシャルゲーム勉強会#5で発表した、ゲームアーキテクチャの最新情報です。
Zynga
Zynga
awsadvantageseminar
Aws privte20110406 arai
Aws privte20110406 arai
awsadovantageseminar
AWS Lambda + Python資料 ver0.94 20160825
AWS Lambda + Python資料 ver0.94 20160825
Yasuharu Suzuki
JAWS-UG沖縄 真夏の熱すぎるサーバレス祭り! 2016年08月 および、PythonBeginners 2ndの発表資料です。 えーっと、AWS LambdaでPython使ってみたいけど、LambdaでPythonってどっから手つけたら良いのかわからんので、とりあえずフレームワーク使っておけば型ができるからServerlessFramework(ver.0.56)とPyCharm使って手軽に構築してみたよ、って内容です。ついでにCORSの設定もしてみています。 学生などの初心者も意識して作成した資料のため「なぜPython?」や「AWS アカウント作成」「Git作成」などの記載もありますが、スキルに合わせて読み飛ばしてくださいませ〜(`・ω・´)ノシ
Similar to Jazug6周年lt(片倉義昌)
(20)
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
Lagopus Project (Open Source Conference)
Lagopus Project (Open Source Conference)
hbstudy#6LTyuzorock
hbstudy#6LTyuzorock
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
皆さん!ふくてんが来ましたよ!!
皆さん!ふくてんが来ましたよ!!
平成最後の1月ですし、Databricksでもやってみましょうか
平成最後の1月ですし、Databricksでもやってみましょうか
Microsoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI Platform
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
教師なし学習によるMackerelの異常検知機能について〜設計/運用/評価の観点から〜
もっとサーバーレスを手軽に便利に!Azure Logic Apps
もっとサーバーレスを手軽に便利に!Azure Logic Apps
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
AWSでGPUも安く大量に使い倒せ
AWSでGPUも安く大量に使い倒せ
非エンジニアでも安心!ノンコーディングでもココまでできる!LINE × Azure Logic Apps
非エンジニアでも安心!ノンコーディングでもココまでできる!LINE × Azure Logic Apps
Pythonで入門するApache Spark at PyCon2016
Pythonで入門するApache Spark at PyCon2016
正式リリースされた.Net coreに少し触れ合ってみる
正式リリースされた.Net coreに少し触れ合ってみる
FlexPod Day 2016 - Cisco session (Publish edition)
FlexPod Day 2016 - Cisco session (Publish edition)
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Zynga
Zynga
Aws privte20110406 arai
Aws privte20110406 arai
AWS Lambda + Python資料 ver0.94 20160825
AWS Lambda + Python資料 ver0.94 20160825
More from Yoshimasa Katakura
Azure Cognitive Serviceの感情分析を使って自分を見つめ直す
Azure Cognitive Serviceの感情分析を使って自分を見つめ直す
Yoshimasa Katakura
TOKYO JAZUG NIGHT #30 大LT大会で発表したスライドです。 Azure Cognitive Service Text Analyticsを使って過去20年分の日記を分析して自分を見つめ直しました。
Azure bastion ignite the tour @tokyo 2019
Azure bastion ignite the tour @tokyo 2019
Yoshimasa Katakura
Microsoft Ignite The Tour: Tokyo 2019のJAZUGブースで発表したLT資料です。 https://jazug.connpass.com/event/157192/
Kubernetes on Azure ~Azureで便利にKubernetesを利用する~
Kubernetes on Azure ~Azureで便利にKubernetesを利用する~
Yoshimasa Katakura
Cloud Native Nagoya #2で登壇させて頂いた時の資料です。 https://cnjp.connpass.com/event/137970/ Azure Kubernetes Service(AKS)の特徴の他、安全に接続できる各種PaaSの紹介をしています。
Azure Network Security Group(NSG) はじめてのDeep Dive
Azure Network Security Group(NSG) はじめてのDeep Dive
Yoshimasa Katakura
(2019/6/29に東京で開催されたInteract 2019で登壇した資料です。) 仮想マシン(IaaS)単体では他社クラウドもオンプレも大きく違いはありません。しかしそれを取り囲むネットワーク周りはセキュリティを担保するための考慮が色々と必要です。Azureにおける最も基本的なセキュリティ機能であるNetwork Security Group(NSG)の各種Tipsと、それを取り囲むPaaSとの安全な連携方法についてお話します。
(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい
Yoshimasa Katakura
JAZUG札幌支部(きたあず)第21回勉強会で登壇した資料です。 Azure Network Security Group(NSG)について私的見解も 一部公開当時の内容から修正しました。
Open Service Broker for Azure(OSBA)をつかう
Open Service Broker for Azure(OSBA)をつかう
Yoshimasa Katakura
Azure MySQLをAKSからデプロイ
My drivingではじめるazure IoT
My drivingではじめるazure IoT
Yoshimasa Katakura
自動車の運転情報をAzureで活用 .NETラボ勉強会2017/11登壇資料
Jazug7周年LT(片倉義昌)
Jazug7周年LT(片倉義昌)
Yoshimasa Katakura
MyDrivingでIoTしてみた ~自動車の運転情報をAzureで活用~
More from Yoshimasa Katakura
(8)
Azure Cognitive Serviceの感情分析を使って自分を見つめ直す
Azure Cognitive Serviceの感情分析を使って自分を見つめ直す
Azure bastion ignite the tour @tokyo 2019
Azure bastion ignite the tour @tokyo 2019
Kubernetes on Azure ~Azureで便利にKubernetesを利用する~
Kubernetes on Azure ~Azureで便利にKubernetesを利用する~
Azure Network Security Group(NSG) はじめてのDeep Dive
Azure Network Security Group(NSG) はじめてのDeep Dive
(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい
Open Service Broker for Azure(OSBA)をつかう
Open Service Broker for Azure(OSBA)をつかう
My drivingではじめるazure IoT
My drivingではじめるazure IoT
Jazug7周年LT(片倉義昌)
Jazug7周年LT(片倉義昌)
Jazug6周年lt(片倉義昌)
1.
Azure Logic Appsを使って 入退室管理をしてみる -
JAZUG 6周年総会 LT - yoshimasa.katakura
2.
自己紹介 Copyright© 2016, Y.Katakura
All Rights Reserved. 2 片倉 義昌(かたくら よしまさ) 株式会社pnop 在籍 Azureコンサルティング、導入支援してます 元インフラエンジニア 元Linuxエンジニア 元Cプログラマ yoshimasa.katakura
3.
Logic Appsが7月末にGAしたの で今更使ってみた。 Copyright© 2016,
Y.Katakura All Rights Reserved. 3
4.
ソーシャル Azure オンプレ機器(北品川事務所) いるもの Copyright© 2016, Y.Katakura
All Rights Reserved. 4 • YAMAHA RTX1210 – 普通のルーター • YAMAHA WLX202 – ちょっといい無線LAN AP • Raspberry Pi 2 Model B – Syslogサーバ • Logic Apps – 色々とよろしくやってくれる仕組みを提供 • Service Bus – オンプレからのメッセージやりとり用 • SQL Database – 入退室の元情報(MACアドレス)を管理 • Slack – 社内ソーシャルに入退室情報を通知
5.
Azure ながれ Copyright© 2016, Y.Katakura
All Rights Reserved. 5 オンプレ機器 (北品川事務所) ソーシャル 事務所への入退 室(Wi-fi接続)があ ると、Service Busに通知 Logic Appsが Service Busから 定期的にメッ セージ取得 SQL DBから接続 端末のMACアド レスをキーにし てメッセージテ キストを取得 メッセージテキ ストをSlackの該 当チャンネルに 送信
6.
Syslog設定 Copyright© 2016, Y.Katakura
All Rights Reserved. 6 raspbian標準のSyslogデーモンである 「syslog-ng」を利用 config設定は右の感じ 【 /etc/syslog-ng/syslog-ng.conf 】 source s_wlx { udp(port(514)); }; destination d_wlx { program("python -u /root/wifilog.py" flush_lines(1) flags(no_multi_line)); }; filter f_wlx { host(192.168.245.XX) and (message(<0105>) or message(<0112>)); }; log { source(s_wlx); filter(f_wlx); destination(d_wlx); }; 簡単にいうと 「無線LAN APから来たsyslogで「<0105>」「<0112>」が含まれていたらPythonコードを実行しなさい」 ということです。
7.
Python側の設定とスクリプト準備 Copyright© 2016, Y.Katakura
All Rights Reserved. 7 Pythonは事前にpipでAzure SDKをインストールしておく # pip install azure # これで、Azure SDKがPythonから利用可能になります。 Azure Service Busも以下の感じで使えます。 # 事前準備 from azure.servicebus import ServiceBusService, Message, Queue # Service Busの利用宣言 bus_service = ServiceBusService( service_namespace=‘XXXXXXXX', shared_access_key_name='user', shared_access_key_value=‘xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx') # Service Busにメッセージ送信 bus_service.send_queue_message('syslog', msg)
8.
一応ソースを貼っておく Copyright© 2016, Y.Katakura
All Rights Reserved. 8 # -*- coding: utf-8 -*- import fileinput import sys import re import json from azure.servicebus import ServiceBusService, Message, Queue bus_service = ServiceBusService( service_namespace=‘XXXXXXXX', shared_access_key_name='user', shared_access_key_value=‘xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx') while True: line = sys.stdin.readline() if line == '': break tokens = map(str, line.strip().split()) if len(tokens) < 10: # Illogal Data continue if tokens[6] == 'STA': action = 1 macaddr = tokens[7] if tokens[7] == 'DEAUTH': action = 0 macaddr = tokens[10] if macaddr[0] == '(': macaddr = macaddr[1:18] else: macaddr = '00:00:00:00:00:00' msg = Message(json.dumps({'macaddr': macaddr, 'action': action, 'time': tokens[2]})) bus_service.send_queue_message('syslog', msg) syslog-ngから標準入力で受けた ログの行を解析して、接続/切 断フラグと、クライアント端末 のMACアドレスをJSON形式で Azure Service Busのキューに送 信する感じの処理
9.
LogicAppsはこんな感じ Copyright© 2016, Y.Katakura
All Rights Reserved. 9 Service Busキューからイベ ント取得 SQL DBからMACアドレス をキーとしてレコード取得 条件分岐 アクション種別によって Slackに送るメッセージを変 える SQL DBから取得した メッセージテキストを Slackに送る 行ID(検索条件): @{json(string(decodeBase64 (triggerBody().ContentData))).macaddr} 条件式: @equals(json(string(decodeBase64 (triggerBody().ContentData))).action, 1)
10.
SQL DBのテーブル定義はこんな感じ Copyright© 2016,
Y.Katakura All Rights Reserved. 10 携帯端末固有のMACアドレス毎に入室と退室メッセー ジを設定している
11.
動かしてみましょう Copyright© 2016, Y.Katakura
All Rights Reserved. 11
12.
まとめ Copyright© 2015, @yuiashikaga
All Rights Reserved. 12 複雑な分岐やエラー処理などを行わなければ、ポータル画面のデザー ナーでマウスポチポチしてロジックの定義は可能 →今回のケースでは全てデザイナ画面だけでAzure側は作成 なるべくLogic Appsで処理をさせる前段でフィルタを行い、課金を抑 える →Syslogの設定やPythonスクリプト内の処理で必要なイベントのみ送信する 今回初めてPythonでコーディングをしたけど中々面白かった →先日のWindows 10 Anniversary UpdateでUbuntuが動くようになったので色々捗り そう
13.
ご静聴ありがとうございました Copyright© 2016, Y.Katakura
All Rights Reserved. 13
Editor's Notes
安いAシリーズでいいCPUにならないのということ
安いAシリーズでいいCPUにならないのということ
安いAシリーズでいいCPUにならないのということ
Download now