Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方

•

6 likes•3,692 views

2017年10月10日開催の『データ分析基盤構築入門』出版記念イベントでの発表スライドです。ログ収集には欠かせないFluentdだけでなく、データ分析基盤のデータ処理ワークフローを支えるDigdagとEmbulkの活用方法もまとまっている書籍です。 https://www.amazon.co.jp/dp/477419218X

Technology

page
Fluentd
6
rewrite-tag-ﬁlter
geoip
mysql-replicator
munin
twitter
anonymizer
mysql-query
gamobile
watch-process
twilio
sentry
feedly

page 18
Fluentd Fluentd
No.1 Fluentd
Digdag Embulk

page 21
Web Fluentd
Fluentd
Fluentd Elasticsearch Kibana
Fluentd
page_type:
device_type: PC, SP, MB
utm_source : URL

page 25
SQL
KPI
 
2 Fluentd  
Embulk&Digdag

page 26
Fluentd v0.12
Kibana
Digdag Embulk
Fluentd Embulk
Gihyo Digital Publishing PDF

This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensuring API latency below 50ms across availability zones, and handling 10 requests per second with nginx load balancing across 20 servers.

SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)

Takuto Wada

SPAセキュリティ入門～PHP Conference Japan 2021

Hiroshi Tokumaru

こちらのスライドは以下のサイトにて閲覧いただけます。 https://www.docswell.com/s/ockeghem/ZM6VNK-phpconf2021-spa-security シングルページアプリケーション(SPA)において、セッションIDやトークンの格納場所はCookieあるいはlocalStorageのいずれが良いのかなど、セキュリティ上の課題がネット上で議論されていますが、残念ながら間違った前提に基づくものが多いようです。このトークでは、SPAのセキュリティを構成する基礎技術を説明した後、著名なフレームワークな状況とエンジニアの技術理解の現状を踏まえ、SPAセキュリティの現実的な方法について説明します。動画はこちら https://www.youtube.com/watch?v=pc57hw6haXk

フロー効率性とリソース効率性、再入門 #devlove #devkan

Itsuki Kuroda

Cognitive Complexity でコードの複雑さを定量的に計測しよう

Shuto Suzuki

ビッグデータ処理データベースの全体像と使い分け

Recruit Technologies

Redisの特徴と活用方法について

Yuji Otani

[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス

Amazon Web Services Japan

PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントのユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)

Koichiro Matsuoka

Webアプリケーションにおいて、マルチテナント型、つまり複数のユーザー組織がアプリケーションとデータベースを共有する構成にすることがあります。この構成の持つリスクとして、万が一バグにより他テナントの情報が見えてしまうとそれは情報漏洩となり、重大なインシデントとなってしまうことがあります。この重要性を考えると、「気を付けて実装する」だけではなく、仕組みで漏洩を防ぐような対策には価値があります。そこで、今回はPostgresSQLの行レベルセキュリティと、SpringAOPによる処理を組み合わせて、ログインしているテナントのデータにしかアクセスできなくする仕組みを実現しました。導入にあたり考慮した複数の選択肢、乗り越えたいくつかの壁についてご紹介します。同様の課題を抱えている方の参考にしていただけるような情報をお伝えしたいと思います。

アーキテクチャから理解するPostgreSQLのレプリケーション

Masahiko Sawada

[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日放送

Google Cloud Platform - Japan

Apache Airflow 概要（Airflowの基礎を学ぶハンズオンワークショップ発表資料）

NTT DATA Technology & Innovation

イミュータブルデータモデル(世代編)

Yoshitaka Kawashima

イミュータブルデータモデル(入門編)

Yoshitaka Kawashima

データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3

ゼロ幅スペースという悪夢

ソーシャルゲームのためのデータベース設計

Vacuum徹底解説

Improve data engineering work with Digdag and Presto UDF

Kentaro Yoshida

TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方

Kentaro Yoshida

What's hot

エンジニアの個人ブランディングと技術組織

Takafumi ONAKA

世界一わかりやすいClean Architecture

Atsushi Nakamura

マイクロにしすぎた結果がこれだよ！

mosa siru

SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)

Takuto Wada

SPAセキュリティ入門～PHP Conference Japan 2021

Hiroshi Tokumaru

フロー効率性とリソース効率性、再入門 #devlove #devkan

Itsuki Kuroda

Cognitive Complexity でコードの複雑さを定量的に計測しよう

Shuto Suzuki

ビッグデータ処理データベースの全体像と使い分け

Recruit Technologies

Redisの特徴と活用方法について

Yuji Otani

[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス

Amazon Web Services Japan

PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントのユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)

Koichiro Matsuoka

アーキテクチャから理解するPostgreSQLのレプリケーション

Masahiko Sawada

[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日放送

Google Cloud Platform - Japan

Apache Airflow 概要（Airflowの基礎を学ぶハンズオンワークショップ発表資料）

NTT DATA Technology & Innovation

イミュータブルデータモデル(世代編)

Yoshitaka Kawashima

イミュータブルデータモデル(入門編)

Yoshitaka Kawashima

データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3

ゼロ幅スペースという悪夢

ソーシャルゲームのためのデータベース設計

Vacuum徹底解説

What's hot (20)

エンジニアの個人ブランディングと技術組織

世界一わかりやすいClean Architecture

マイクロにしすぎた結果がこれだよ！

SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)

SPAセキュリティ入門～PHP Conference Japan 2021

フロー効率性とリソース効率性、再入門 #devlove #devkan

Cognitive Complexity でコードの複雑さを定量的に計測しよう

ビッグデータ処理データベースの全体像と使い分け

Redisの特徴と活用方法について

[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス

PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントのユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)

アーキテクチャから理解するPostgreSQLのレプリケーション

[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日放送

Apache Airflow 概要（Airflowの基礎を学ぶハンズオンワークショップ発表資料）

イミュータブルデータモデル(世代編)

イミュータブルデータモデル(入門編)

データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3

ゼロ幅スペースという悪夢

ソーシャルゲームのためのデータベース設計

Vacuum徹底解説

More from Kentaro Yoshida

Improve data engineering work with Digdag and Presto UDF

Kentaro Yoshida

TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方

Kentaro Yoshida

トレジャーデータ導入体験記リブセンス編

Kentaro Yoshida

Hivemallで始める不動産価格推定サービス

Kentaro Yoshida

爆速クエリエンジン”Presto”を使いたくなる話

Kentaro Yoshida

Fluentdのお勧めシステム構成パターン

Kentaro Yoshida

MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"

Kentaro Yoshida

MySQLユーザ視点での小さく始めるElasticsearch

Kentaro Yoshida

Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual

Kentaro Yoshida

MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記

Kentaro Yoshida

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ

Kentaro Yoshida

Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記

Kentaro Yoshida

MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索〜InnoDB FTS編〜」

Kentaro Yoshida

MySQL Casual Talks Vol.4 でのライトニングトークに利用した資料です。 MySQL-5.6.4より「InnoDB FTS」としてInnoDBで全文検索機能が加わりました。この全文検索機能を利用し、日本語の全文検索エンジンとしての可能性を探ります。ブログ記事はこちらです。 http://y-ken.hatenablog.com/entry/mysql-casual-talks-vol4-innodb-fts

More from Kentaro Yoshida (13)

Improve data engineering work with Digdag and Presto UDF

TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方

トレジャーデータ導入体験記リブセンス編

Hivemallで始める不動産価格推定サービス

爆速クエリエンジン”Presto”を使いたくなる話

Fluentdのお勧めシステム構成パターン

MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"

MySQLユーザ視点での小さく始めるElasticsearch

Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual

MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ

Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記

MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索〜InnoDB FTS編〜」

Recently uploaded

Artificial Intelligence for XMLDevelopment

Octavian Nadolu

In the rapidly evolving landscape of technologies, XML continues to play a vital role in structuring, storing, and transporting data across diverse systems. The recent advancements in artificial intelligence (AI) present new methodologies for enhancing XML development workflows, introducing efficiency, automation, and intelligent capabilities. This presentation will outline the scope and perspective of utilizing AI in XML development. The potential benefits and the possible pitfalls will be highlighted, providing a balanced view of the subject. We will explore the capabilities of AI in understanding XML markup languages and autonomously creating structured XML content. Additionally, we will examine the capacity of AI to enrich plain text with appropriate XML markup. Practical examples and methodological guidelines will be provided to elucidate how AI can be effectively prompted to interpret and generate accurate XML markup. Further emphasis will be placed on the role of AI in developing XSLT, or schemas such as XSD and Schematron. We will address the techniques and strategies adopted to create prompts for generating code, explaining code, or refactoring the code, and the results achieved. The discussion will extend to how AI can be used to transform XML content. In particular, the focus will be on the use of AI XPath extension functions in XSLT, Schematron, Schematron Quick Fixes, or for XML content refactoring. The presentation aims to deliver a comprehensive overview of AI usage in XML development, providing attendees with the necessary knowledge to make informed decisions. Whether you’re at the early stages of adopting AI or considering integrating it in advanced XML development, this presentation will cover all levels of expertise. By highlighting the potential advantages and challenges of integrating AI with XML development tools and languages, the presentation seeks to inspire thoughtful conversation around the future of XML development. We’ll not only delve into the technical aspects of AI-powered XML development but also discuss practical implications and possible future directions.

GraphSummit Singapore | Enhancing Changi Airport Group's Passenger Experience...

Neo4j

Dr. Sean Tan, Head of Data Science, Changi Airport Group Discover how Changi Airport Group (CAG) leverages graph technologies and generative AI to revolutionize their search capabilities. This session delves into the unique search needs of CAG’s diverse passengers and customers, showcasing how graph data structures enhance the accuracy and relevance of AI-generated search results, mitigating the risk of “hallucinations” and improving the overall customer journey.

Pushing the limits of ePRTC: 100ns holdover for 100 days

Adtran

Essentials of Automations: The Art of Triggers and Actions in FME

Safe Software

In this second installment of our Essentials of Automations webinar series, we’ll explore the landscape of triggers and actions, guiding you through the nuances of authoring and adapting workspaces for seamless automations. Gain an understanding of the full spectrum of triggers and actions available in FME, empowering you to enhance your workspaces for efficient automation. We’ll kick things off by showcasing the most commonly used event-based triggers, introducing you to various automation workflows like manual triggers, schedules, directory watchers, and more. Plus, see how these elements play out in real scenarios. Whether you’re tweaking your current setup or building from the ground up, this session will arm you with the tools and insights needed to transform your FME usage into a powerhouse of productivity. Join us to discover effective strategies that simplify complex processes, enhancing your productivity and transforming your data management practices with FME. Let’s turn complexity into clarity and make your workspaces work wonders!

TrustArc Webinar - 2024 Global Privacy Survey

TrustArc

How does your privacy program stack up against your peers? What challenges are privacy teams tackling and prioritizing in 2024? In the fifth annual Global Privacy Benchmarks Survey, we asked over 1,800 global privacy professionals and business executives to share their perspectives on the current state of privacy inside and outside of their organizations. This year’s report focused on emerging areas of importance for privacy and compliance professionals, including considerations and implications of Artificial Intelligence (AI) technologies, building brand trust, and different approaches for achieving higher privacy competence scores. See how organizational priorities and strategic approaches to data security and privacy are evolving around the globe. This webinar will review: - The top 10 privacy insights from the fifth annual Global Privacy Benchmarks Survey - The top challenges for privacy leaders, practitioners, and organizations in 2024 - Key themes to consider in developing and maintaining your privacy program

AI 101: An Introduction to the Basics and Impact of Artificial Intelligence

IndexBug

GraphSummit Singapore | Graphing Success: Revolutionising Organisational Stru...

Neo4j

Sudheer Mechineni, Head of Application Frameworks, Standard Chartered Bank Discover how Standard Chartered Bank harnessed the power of Neo4j to transform complex data access challenges into a dynamic, scalable graph database solution. This keynote will cover their journey from initial adoption to deploying a fully automated, enterprise-grade causal cluster, highlighting key strategies for modelling organisational changes and ensuring robust disaster recovery. Learn how these innovations have not only enhanced Standard Chartered Bank’s data infrastructure but also positioned them as pioneers in the banking sector’s adoption of graph technology.

Programming Foundation Models with DSPy - Meetup Slides

Zilliz

National Security Agency - NSA mobile device best practices

Quotidiano Piemontese

Driving Business Innovation: Latest Generative AI Advancements & Success Story

Safe Software

Are you ready to revolutionize how you handle data? Join us for a webinar where we’ll bring you up to speed with the latest advancements in Generative AI technology and discover how leveraging FME with tools from giants like Google Gemini, Amazon, and Microsoft OpenAI can supercharge your workflow efficiency. During the hour, we’ll take you through: Guest Speaker Segment with Hannah Barrington: Dive into the world of dynamic real estate marketing with Hannah, the Marketing Manager at Workspace Group. Hear firsthand how their team generates engaging descriptions for thousands of office units by integrating diverse data sources—from PDF floorplans to web pages—using FME transformers, like OpenAIVisionConnector and AnthropicVisionConnector. This use case will show you how GenAI can streamline content creation for marketing across the board. Ollama Use Case: Learn how Scenario Specialist Dmitri Bagh has utilized Ollama within FME to input data, create custom models, and enhance security protocols. This segment will include demos to illustrate the full capabilities of FME in AI-driven processes. Custom AI Models: Discover how to leverage FME to build personalized AI models using your data. Whether it’s populating a model with local data for added security or integrating public AI tools, find out how FME facilitates a versatile and secure approach to AI. We’ll wrap up with a live Q&A session where you can engage with our experts on your specific use cases, and learn more about optimizing your data workflows with AI. This webinar is ideal for professionals seeking to harness the power of AI within their data management systems while ensuring high levels of customization and security. Whether you're a novice or an expert, gain actionable insights and strategies to elevate your data processes. Join us to see how FME and AI can revolutionize how you work with data!

Serial Arm Control in Real Time Presentation

tolgahangng

Mind map of terminologies used in context of Generative AI

Kumud Singh

GenAI Pilot Implementation in the organizations

kumardaparthi1024

20240607 QFM018 Elixir Reading List May 2024

Matthew Sinclair

Infrastructure Challenges in Scaling RAG with Custom AI models

Zilliz

Building Retrieval-Augmented Generation (RAG) systems with open-source and custom AI models is a complex task. This talk explores the challenges in productionizing RAG systems, including retrieval performance, response synthesis, and evaluation. We’ll discuss how to leverage open-source models like text embeddings, language models, and custom fine-tuned models to enhance RAG performance. Additionally, we’ll cover how BentoML can help orchestrate and scale these AI components efficiently, ensuring seamless deployment and management of RAG systems in the cloud.

Microsoft - Power Platform_G.Aspiotis.pdf

Uni Systems S.M.S.A.

20240609 QFM020 Irresponsible AI Reading List May 2024

Matthew Sinclair

Building Production Ready Search Pipelines with Spark and Milvus

Zilliz

みなさんこんにちはこれ何文字まで入るの？40文字以下不可とか本当に意味わからないけどこれ限界文字数書いてないからマジでやばい文字数いけるんじゃないの？えこ...

名前です男

Video Streaming: Then, Now, and in the Future

Alpen-Adria-Universität

In his public lecture, Christian Timmerer provides insights into the fascinating history of video streaming, starting from its humble beginnings before YouTube to the groundbreaking technologies that now dominate platforms like Netflix and ORF ON. Timmerer also presents provocative contributions of his own that have significantly influenced the industry. He concludes by looking at future challenges and invites the audience to join in a discussion.