Submit Search
Upload
Fluentd勉強会 (導入編 TreasureData活用)
•
Download as PPTX, PDF
•
8 likes
•
4,819 views
T
takeuchi-tk
Follow
Ipros Techmeetup fluentdの外部向け勉強会で使った資料 主にTreasureDataの使い方について記述
Read less
Read more
Report
Share
Report
Share
1 of 41
Download now
Recommended
vs Google Vision API
vs Google Vision API
隊長 アイパー
PyData.Okinawa #29 LT
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Tokoroten Nakayama
Rails勉強会でRailsにまったく関係ない話をするテロ。
統計を始める方へ①_データ環境Rの基本的なプログラミング|データアーティスト
統計を始める方へ①_データ環境Rの基本的なプログラミング|データアーティスト
Satoru Yamamoto
Rは統計をするうえでとても使い勝手の良いプログラミング言語です。 本スライドでは、データの型の説明から、集計までに基本的なプログラミング方法を説明します。 会社サイト:http://www.data-artist.com/
ヤマムギVol.5 BIファーストステップre:dash
ヤマムギVol.5 BIファーストステップre:dash
Mitsuhiro Yamashita
勉強会「ヤマムギ」でre:dashの概要説明とハンズオンをしました資料です。
はじめてのAIプログラミング 5章: 知識表現
はじめてのAIプログラミング 5章: 知識表現
nkazuki
"はじめてのAIプログラミング―C言語で作る人工知能と人工無能", 小高 知宏, オーム社 の5章相当.研究室有志で行なっている勉強会用資料です. 本章では,「機械に人工知能的なことを行わせるために,どのように知識を機械に持たせるか」という知識表現の手法として - 意味ネットワーク - フレーム - スクリプト - プロダクションルール の4つをそれぞれ説明しています. また,演習として - 単純な意味ネットワークを利用した連想エンジン - プロダクションルールルールを利用した,相談システム の2つを行なっています.
オンプレとクラウドのHadoopを比較して僕の思うとこ
オンプレとクラウドのHadoopを比較して僕の思うとこ
Yu Yamada
これからはじめるHadoop / Spark LT資料 山田 雄(株式会社リクルートライフスタイル)
MBSハッカソン協賛品_ハンズラボ20170211
MBSハッカソン協賛品_ハンズラボ20170211
由佳 青木
MBSハッカソン(アイデアソン)でスポンサーさせていただいた内容です!
Gas+twitter apiでtwitterのお気に入り画像保存を自動化してみた
Gas+twitter apiでtwitterのお気に入り画像保存を自動化してみた
虎の穴 開発室
GAS+TwitterAPIで Twitterのお気に入り画像保存を 自動化してみた
Recommended
vs Google Vision API
vs Google Vision API
隊長 アイパー
PyData.Okinawa #29 LT
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Tokoroten Nakayama
Rails勉強会でRailsにまったく関係ない話をするテロ。
統計を始める方へ①_データ環境Rの基本的なプログラミング|データアーティスト
統計を始める方へ①_データ環境Rの基本的なプログラミング|データアーティスト
Satoru Yamamoto
Rは統計をするうえでとても使い勝手の良いプログラミング言語です。 本スライドでは、データの型の説明から、集計までに基本的なプログラミング方法を説明します。 会社サイト:http://www.data-artist.com/
ヤマムギVol.5 BIファーストステップre:dash
ヤマムギVol.5 BIファーストステップre:dash
Mitsuhiro Yamashita
勉強会「ヤマムギ」でre:dashの概要説明とハンズオンをしました資料です。
はじめてのAIプログラミング 5章: 知識表現
はじめてのAIプログラミング 5章: 知識表現
nkazuki
"はじめてのAIプログラミング―C言語で作る人工知能と人工無能", 小高 知宏, オーム社 の5章相当.研究室有志で行なっている勉強会用資料です. 本章では,「機械に人工知能的なことを行わせるために,どのように知識を機械に持たせるか」という知識表現の手法として - 意味ネットワーク - フレーム - スクリプト - プロダクションルール の4つをそれぞれ説明しています. また,演習として - 単純な意味ネットワークを利用した連想エンジン - プロダクションルールルールを利用した,相談システム の2つを行なっています.
オンプレとクラウドのHadoopを比較して僕の思うとこ
オンプレとクラウドのHadoopを比較して僕の思うとこ
Yu Yamada
これからはじめるHadoop / Spark LT資料 山田 雄(株式会社リクルートライフスタイル)
MBSハッカソン協賛品_ハンズラボ20170211
MBSハッカソン協賛品_ハンズラボ20170211
由佳 青木
MBSハッカソン(アイデアソン)でスポンサーさせていただいた内容です!
Gas+twitter apiでtwitterのお気に入り画像保存を自動化してみた
Gas+twitter apiでtwitterのお気に入り画像保存を自動化してみた
虎の穴 開発室
GAS+TwitterAPIで Twitterのお気に入り画像保存を 自動化してみた
Ipros techmeetup 20131218_scala_handson
Ipros techmeetup 20131218_scala_handson
honda-y
2013/12/18に株式会社イプロスにて開催されたScalaハンズオン勉強会の後半パートで使用したスライドです。
Vagrant
Vagrant
Hiroshi Toyama
リーダブルコード 1.0'
リーダブルコード 1.0'
Yamamura Takashi
以前作ったスライドを、作り替えてみました。
仮想マシンとVagrant + Vagrant 1.5
仮想マシンとVagrant + Vagrant 1.5
Daisuke Kikuchi
仮想マシン、Vagrant、さらに、 3月にリリースされたVagrant Ver.1.5について、 社内勉強会で発表した内容です。
Fluentd
Fluentd
Hiroshi Toyama
Fluentd introduction at ipros
Fluentd introduction at ipros
Treasure Data, Inc.
Fluentd presentatino slide at #iprostm http://atnd.org/events/44556
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
Junya Yamaguchi
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」 イプロス勉強会 黒田官兵衛を参考に、現代のエンジニアの生き方を考えてみました。
インフラエンジニアLv1がWordPressまわりに色々してみた話
インフラエンジニアLv1がWordPressまわりに色々してみた話
Daisuke Kikuchi
WordPressの運用を通して、 - Apacheの設定 - PV計測 - 複数台構築 をやってみた話です。
Hubotを使ってbotをつくろう!
Hubotを使ってbotをつくろう!
Daisuke Kikuchi
Hubotを用いて、HipChatと連携。 HipChatからJenkinsで自動デプロイしたり、 Backlogの更新をHipChatに通知したり。 開発のお供にいかがでしょうか。
MBaaS - Parse
MBaaS - Parse
Junya Yamaguchi
MBAAS(特にParse)を用いた開発についての概要です。
CSS Nite LP38に行ってきた
CSS Nite LP38に行ってきた
Yasuyuki Fujikawa
CSS Nite LP38に参加したので、そのフィードバックです。
初心者Vimmerによるvim+rails開発
初心者Vimmerによるvim+rails開発
Daisuke Kikuchi
社内勉強会で発表した内容です。
Vagrant勉強会アップロード用
Vagrant勉強会アップロード用
takeuchi-tk
vagrant勉強会の資料。 外部向けに行った勉強会で使ったスライド。
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
社内勉強会で発表した内容です。 ログの収集、分析、可視化までを行なう、 「Fluentd」 「Elasticsearch」 「Kibana」の組み合わせのうち、 今回は「Fluentd」について発表を行いました。 ログの収集方法から、出力先までを柔軟にカスタマイズできるオープンソース・ソフトウェアです。
Fluentdで本番環境を再現
Fluentdで本番環境を再現
Hiroshi Toyama
Fluentd Meetup 2015 夏 で発表した資料です。
Enjoy the Ansible
Enjoy the Ansible
Yasuyuki Fujikawa
Ansibleの勉強会で使った資料
Markdownでドキュメント作成
Markdownでドキュメント作成
Yasuyuki Fujikawa
Markdownでドキュメントを作成するにあたり 便利そうなGitbookの紹介。
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
Presto 勉強会 at IPROS https://iprostm.doorkeeper.jp/events/23044
Scala勉強会 初心者向けハンズオン前編
Scala勉強会 初心者向けハンズオン前編
takeuchi-tk
外部向け勉強会 ipros tech meet up で行ったscalaハンズオンの資料です。 内容はscala触ったことがない、かなり初心者向けとなっています。
Re:dash Use Cases at iPROS
Re:dash Use Cases at iPROS
Jumpei Yokota
The presentation slide of https://iprostm.doorkeeper.jp/events/30714 Published on Sep 17, 2015
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
NTT DATA OSS Professional Services
山下 真一/株式会社NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 2013年1月21日 Hadoop Conferecne Japan 2013 Winter 発表資料
hbstudy#6LTyuzorock
hbstudy#6LTyuzorock
yuzorock
More Related Content
Viewers also liked
Ipros techmeetup 20131218_scala_handson
Ipros techmeetup 20131218_scala_handson
honda-y
2013/12/18に株式会社イプロスにて開催されたScalaハンズオン勉強会の後半パートで使用したスライドです。
Vagrant
Vagrant
Hiroshi Toyama
リーダブルコード 1.0'
リーダブルコード 1.0'
Yamamura Takashi
以前作ったスライドを、作り替えてみました。
仮想マシンとVagrant + Vagrant 1.5
仮想マシンとVagrant + Vagrant 1.5
Daisuke Kikuchi
仮想マシン、Vagrant、さらに、 3月にリリースされたVagrant Ver.1.5について、 社内勉強会で発表した内容です。
Fluentd
Fluentd
Hiroshi Toyama
Fluentd introduction at ipros
Fluentd introduction at ipros
Treasure Data, Inc.
Fluentd presentatino slide at #iprostm http://atnd.org/events/44556
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
Junya Yamaguchi
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」 イプロス勉強会 黒田官兵衛を参考に、現代のエンジニアの生き方を考えてみました。
インフラエンジニアLv1がWordPressまわりに色々してみた話
インフラエンジニアLv1がWordPressまわりに色々してみた話
Daisuke Kikuchi
WordPressの運用を通して、 - Apacheの設定 - PV計測 - 複数台構築 をやってみた話です。
Hubotを使ってbotをつくろう!
Hubotを使ってbotをつくろう!
Daisuke Kikuchi
Hubotを用いて、HipChatと連携。 HipChatからJenkinsで自動デプロイしたり、 Backlogの更新をHipChatに通知したり。 開発のお供にいかがでしょうか。
MBaaS - Parse
MBaaS - Parse
Junya Yamaguchi
MBAAS(特にParse)を用いた開発についての概要です。
CSS Nite LP38に行ってきた
CSS Nite LP38に行ってきた
Yasuyuki Fujikawa
CSS Nite LP38に参加したので、そのフィードバックです。
初心者Vimmerによるvim+rails開発
初心者Vimmerによるvim+rails開発
Daisuke Kikuchi
社内勉強会で発表した内容です。
Vagrant勉強会アップロード用
Vagrant勉強会アップロード用
takeuchi-tk
vagrant勉強会の資料。 外部向けに行った勉強会で使ったスライド。
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
社内勉強会で発表した内容です。 ログの収集、分析、可視化までを行なう、 「Fluentd」 「Elasticsearch」 「Kibana」の組み合わせのうち、 今回は「Fluentd」について発表を行いました。 ログの収集方法から、出力先までを柔軟にカスタマイズできるオープンソース・ソフトウェアです。
Fluentdで本番環境を再現
Fluentdで本番環境を再現
Hiroshi Toyama
Fluentd Meetup 2015 夏 で発表した資料です。
Enjoy the Ansible
Enjoy the Ansible
Yasuyuki Fujikawa
Ansibleの勉強会で使った資料
Markdownでドキュメント作成
Markdownでドキュメント作成
Yasuyuki Fujikawa
Markdownでドキュメントを作成するにあたり 便利そうなGitbookの紹介。
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
Presto 勉強会 at IPROS https://iprostm.doorkeeper.jp/events/23044
Scala勉強会 初心者向けハンズオン前編
Scala勉強会 初心者向けハンズオン前編
takeuchi-tk
外部向け勉強会 ipros tech meet up で行ったscalaハンズオンの資料です。 内容はscala触ったことがない、かなり初心者向けとなっています。
Re:dash Use Cases at iPROS
Re:dash Use Cases at iPROS
Jumpei Yokota
The presentation slide of https://iprostm.doorkeeper.jp/events/30714 Published on Sep 17, 2015
Viewers also liked
(20)
Ipros techmeetup 20131218_scala_handson
Ipros techmeetup 20131218_scala_handson
Vagrant
Vagrant
リーダブルコード 1.0'
リーダブルコード 1.0'
仮想マシンとVagrant + Vagrant 1.5
仮想マシンとVagrant + Vagrant 1.5
Fluentd
Fluentd
Fluentd introduction at ipros
Fluentd introduction at ipros
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
戦国時代を生きた「黒田官兵衛」とWeb時代を生きる「エンジニア」
インフラエンジニアLv1がWordPressまわりに色々してみた話
インフラエンジニアLv1がWordPressまわりに色々してみた話
Hubotを使ってbotをつくろう!
Hubotを使ってbotをつくろう!
MBaaS - Parse
MBaaS - Parse
CSS Nite LP38に行ってきた
CSS Nite LP38に行ってきた
初心者Vimmerによるvim+rails開発
初心者Vimmerによるvim+rails開発
Vagrant勉強会アップロード用
Vagrant勉強会アップロード用
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Fluentdで本番環境を再現
Fluentdで本番環境を再現
Enjoy the Ansible
Enjoy the Ansible
Markdownでドキュメント作成
Markdownでドキュメント作成
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Scala勉強会 初心者向けハンズオン前編
Scala勉強会 初心者向けハンズオン前編
Re:dash Use Cases at iPROS
Re:dash Use Cases at iPROS
Similar to Fluentd勉強会 (導入編 TreasureData活用)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
NTT DATA OSS Professional Services
山下 真一/株式会社NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 2013年1月21日 Hadoop Conferecne Japan 2013 Winter 発表資料
hbstudy#6LTyuzorock
hbstudy#6LTyuzorock
yuzorock
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
aslead
2021年6月3日 野村総合研究所・Elastic社・アトラシアン社共催 見つからない情報資産に価値はない!? ~レガシーな検索システムからの脱却を目指す! 情報の徹底活用を実現する新しいソリューションとは?~ での講演
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
Yasuyuki Sugai
2013年11月期 AITCオープンラボ R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
Laravel×DevOps -インフラ構築の自動化から運用ログの監視まで-
Laravel×DevOps -インフラ構築の自動化から運用ログの監視まで-
Shinichiro Yoshida
2019/05/08(水)に開催された『【シューマイ】Tech Lead Engineerから最新技術を学べ!Laravel編』の資料です。 https://shuuu-mai.connpass.com/event/127158/ 概要: 新卒向け逆求人就活サービス『キミスカ』の事例をもとに、Laravelのアーキテクチャ、インフラ構成、デプロイフロー、ログ監視体制についてご紹介をしたいと思います。
Autonomous選手権システムエグゼ社発表資料
Autonomous選手権システムエグゼ社発表資料
Mai Nagahisa
Autonomous選手権に出場された株式会社システムエグゼ様の発表資料を代理でアップいたしました!
Rancherを活用して開発効率を上げる
Rancherを活用して開発効率を上げる
Michitaka Terada
Rancher meetup#6資料
小規模チームで Type script と向き合う話
小規模チームで Type script と向き合う話
Tatsuya Yamamoto
ニュースレターつき会員制メディア作成サービス Medy の開発において得た TypeScript の知見を小規模チームによるアプリケーションの構築に着目してお伝えします。
Rancher Meetup Tokyo#3 Storageについて
Rancher Meetup Tokyo#3 Storageについて
Tetsurou Yano
Rancherのストレージ(ボリューム)について Rancherのパートナーについて
Iot_demo_challenger
Iot_demo_challenger
yoko tsushima
20180717_IoTLT SIer 発表資料
大規模Redisサーバ縮小化の戦い
大規模Redisサーバ縮小化の戦い
Yuto Komai
2/18のデブサミ2016で発表したスライドになります。 著作権の関係上、ネタスライドは全て削除しております。 Developers Summit 2016【18-C-4】 株式会社アカツキ 駒井祐人
Rstudio事始め
Rstudio事始め
Takashi Yamane
改訂版(2015.11.28)ができました → http://www.slideshare.net/TakashiYamane1/rrstudio
ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出
Tetsutaro Watanabe
自動運転時代には、今よりも更新頻度の高い地図が必要です。MoTでは大手地図会社であるゼンリンとの共同開発により、ドライブレコーダの動画を元に道路情報の差分を自動で抽出し、地図更新に役立てるプロジェクトを行っています。このプロジェクトを紹介します。 技術的な紹介ポイントとしては、次のものになります。マップマッチ、機械学習(ディープラーニング)、SLAMそしてGISツール等を組み合わせた高度なアプリケーション。大量の動画データに対して分散処理するために、AWS FSx for LustreやAWS Batchを用いてシステムを構成。計算コストの高い機械学習推論処理を最適化する工夫。データサイエンティストの成果物を本番に取り込むためのフレームワーク。
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
Yukako Shimizu
2016/12/6のJAZUGで登壇した内容です。
Azureでデータ解析
Azureでデータ解析
Tsubasa Yoshino
Jazug信州 クラウドとデータ解析
Jazug信州 クラウドとデータ解析
Tsubasa Yoshino
Jazug信州 AzureでIoT解析の足掛かり
事例紹介「なうまぴおん」
事例紹介「なうまぴおん」
Eiji Iwazawa
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
aslead
2021年2月25日 野村総合研究所・Elastic社・アトラシアン社共催 見つからない情報資産に価値はない!? ~レガシーな検索システムからの脱却を目指す! 情報の徹底活用を実現する新しいソリューションとは?~ での講演
データ処理の改善をどのように行なうか
データ処理の改善をどのように行なうか
Ken SASAKI
システム改善、業務改善をどのように進めるか、というためのイントロ用資料として書いてみた。
FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術
dena_study
DeNA史上最大級のマスターデータの運用改善。
Similar to Fluentd勉強会 (導入編 TreasureData活用)
(20)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
hbstudy#6LTyuzorock
hbstudy#6LTyuzorock
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
Laravel×DevOps -インフラ構築の自動化から運用ログの監視まで-
Laravel×DevOps -インフラ構築の自動化から運用ログの監視まで-
Autonomous選手権システムエグゼ社発表資料
Autonomous選手権システムエグゼ社発表資料
Rancherを活用して開発効率を上げる
Rancherを活用して開発効率を上げる
小規模チームで Type script と向き合う話
小規模チームで Type script と向き合う話
Rancher Meetup Tokyo#3 Storageについて
Rancher Meetup Tokyo#3 Storageについて
Iot_demo_challenger
Iot_demo_challenger
大規模Redisサーバ縮小化の戦い
大規模Redisサーバ縮小化の戦い
Rstudio事始め
Rstudio事始め
ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
Azureでデータ解析
Azureでデータ解析
Jazug信州 クラウドとデータ解析
Jazug信州 クラウドとデータ解析
事例紹介「なうまぴおん」
事例紹介「なうまぴおん」
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
データ処理の改善をどのように行なうか
データ処理の改善をどのように行なうか
FINAL FANTASY Record Keeperのマスターデータを支える技術
FINAL FANTASY Record Keeperのマスターデータを支える技術
Recently uploaded
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
0207sukipio
JSAI2024の発表スライドです.
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
我々はこれまで,新たなモノを産出する過程において「便利にすること」によって副次的に生じる課題を「便利の副作用」と定義し,その低減を目的としてアイディアの発想支援手法を提案してきた. これまでの研究では,便利前後の行為の増減に着目することにより便利の副作用への気づきの誘発が示唆されたものの,行為の増減の提示による便利の副作用への気づきへの影響は十分に検討できていなかった. そのため,本稿では行為の提示により便利の副作用に気づき,それを防いだアイディアの発想の支援が可能かの検証を目的として実験を行い,その有効性について検証する. 実験では,行為の増減の提示の有無によりアイディア発想にどのような影響を与えるか検証を行う.
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
Yuuitirou528 default
CS集会でお話した、通信技術のひとつである「変調」について解説した資料です。 https://x.com/vrc_cpu_science/status/1724784316738355560
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
Toru Tamaki
Xinhong Ma, Yiming Wang, Hao Liu, Tianyu Guo, Yunhe Wang, "When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Segmentation" NeurIPS2023 https://proceedings.neurips.cc/paper_files/paper/2023/hash/157c30da6a988e1cbef2095f7b9521db-Abstract-Conference.html
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
オープンエンドな進化から着想を得て、個々の大規模言語モデル(LLM)が、グループとして学習を進めながら、ノームエージェントとして機能するという概念を探求しています。これは、単一のモデルでは難しい複雑な問題を解決することを目的としています。具体的な方法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案しています。知識蒸留によって学習を進め、同時に遺伝的アルゴリズムでハイパーパラメータを最適化することで、より効率的な学習を目指します。ドメインタスクとして、指示からPythonコードを生成するコード生成タスクを選択しました。実験では、学習に3つの学習モデルと1つの教師モデルを使用しました。その結果、HumanEvalのpass@1で精度が1.2%向上し、学習が進むにつれて学習率が最適化された兆候が見られました。しかし、大幅な精度向上を達成し、さまざまなハイパーパラメータを最適化するには、まだ課題が残っています。
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
RIZAPテクノロジーズ株式会社の会社説明資料です。
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
Matsushita Laboratory
浜松で開催されたJSAI2024(第38回)での発表.
Recently uploaded
(8)
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
CS集会#13_なるほどわからん通信技術 発表資料
CS集会#13_なるほどわからん通信技術 発表資料
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
Fluentd勉強会 (導入編 TreasureData活用)
1.
fluentd 勉強会 at ipros 導入編
TreasureData活用 株式会社イプロス カイゼンチームリーダー 竹内孝志
2.
自己紹介 竹内 孝志(たけうち たかし) 1985年12月18日生まれ Sierで3年間金融系システムの保守・運用 現在はイプロスにWEBエンジニアとして勤務 主な業務はイプロスサイトの改善と機能拡張 アジャイル開発を極めるため修行中 Railsでサービスを作ろうと目論んでる 趣味はオンラインゲーム 土日祝日自宅警備
3.
導入編の目的 fluentd, td-agentを使ったことがない人 が・・・ td-agentとTreasureDataを使って ・ログの収集ができるようになる ・データの集計ができるようになる
4.
アジェンダ ・fluentd、td-agent、TreasureData概要 ・td-agent、TreasureData使い方 ・イプロスでのTreasureData活用例 ・デモ(GoogleDriveと連携)
5.
アジェンダ ・fluentd、td-agent、TreasureData概要 ・td-agent、TreasureData使い方 ・イプロスでのTreasureData活用例 ・デモ(GoogleDriveと連携)
6.
fluentd,td-agent概要 fluentdはログを収集し格納するためのログ収 集基盤ソフトウェア。 td-agentはTreasureDataが公開している fluentdの安定版。 これを使えばテキストベースで書きだされて いるログを構造化された形で処理ができ、運 用時にログファイルをgrepして確認をしなく て済む。
7.
TreasureData概要 TreasureDataとはトレジャーデータが提供す るクラウドデータウェアハウスサービスのこ とをいう。 正式名称『Treasure Data Cloud
Data Warehousing Service』。 クラウドストレージ上の任意のデータに対す るアクセス,および大規模な集計ジョブを走 らせることが可能。
8.
TreasureData構成図 TreasureData データウェアハウ ス APサーバー 管理画面 td-agent 安定版パッケー ジ fluentd データを送信する デー タ デー タ デー タ ログ ログ ログ
9.
TreasureDataの機能 td-agentから 管理ツール クエリー発行 ◯ ◯ スケジュール設定 ◯ ◯ ジョブの履歴 ◯ ◯ データ投入 ◯ × ユーザー管理 × ◯
10.
題材として TreasureDataを選んだ理由 ・td-agentと連携しやすい ・ストレージが利用可能 ・管理画面の機能が豊富 ・無料で試せる fluentdの初心者向けのサービス
11.
アジェンダ ・fluentd、td-agent、TreasureData概要 ・td-agent、TreasureData使い方 ・イプロスでのTreasureData活用例 ・デモ(GoogleDriveと連携)
12.
td-agent及び TreasureDataの使い方 ・クライアントからTreasureDataへ接続 ・td-agentを使ってログを送信 ・TreasureDataを使った小技
13.
クライアントから TreasureDataへ接続 ローカルマシン (Mac or Windows) TreasureData Toolbelt データを操作
14.
クライアントから TreasureDataへ接続 ・Toolbeltインストール ・TreasureDataへ接続 ・TreasureDataのオブジェクトを操作
15.
Toolbeltインストール 公式ページから環境にあったインストーラーを取得し実行する。 http://toolbelt.treasure-data.com/
16.
TreasureDataへ接続 $ td account
–f Enter your Treasure Data credentials. Email: ※TreasureDataのIDとパスワードを入力する。
17.
TreasureDataの操作 DB作成 $ td db:create
データベース名 $ td table:create データベース名テーブル名 データ投入 $ td sample:apache apache.json $ td table:import データベース名 テーブル名--json apache.json tail -n 1 apache.json {"host":"200.129.205.208","user":"","method":"GET","path”:"/category/electronics”,"code":200,"refe rer":"-","size":62, "agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11","time":1334035906}
18.
TreasureDataの操作 データベースの確認 $ td tables データにアクセス $
td query -w –d データベース名 "SELECT v['code'] AS code, COUNT(1) AS cnt FROM テーブル名 GROUP BY v['code']"
19.
サーバーから TreasureDataへログを送信 サーバー (CentOS) TreasureData Td-agent Apache ログ アプリ ログ ログの送信
20.
サーバーから TreasureDataへログを送信 ・td-agentインストール ・apacheのログを送信 ・自由形式のログを送信
21.
td-agentインストール yumコマンドでtd-agentをインストール $ sudo vi
/etc/yum.repos.d/td.repo $ sudo yum install -y td-agent td.repo [treasuredata]name=TreasureDatabaseurl= http://packages.treasure-data.com/redhat/$basearchgpgcheck=0
22.
td-agentインストール 起動 $ /etc/init.d/td-agent start APIキー確認 $
td account -f $ td apikey:show
23.
apacheのログ送信 設定ファイルを書き換えて再起動するとログの送信を開始する。 $ vi /etc/td-agent/td-agent.conf
24.
apacheのログ送信 td-agent.conf <match td.*.*> type tdlog apikey
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX auto_create_table buffer_type file buffer_path /var/log/td-agent/buffer/td use_ssl true </match> <source> type tail path /var/log/httpd/httpd.access_log pos_file /tmp/httpd.access.log.pos format apache tag td.test.httpd </source>
25.
自由形式のログを送信 こんなアクセスログがあったとする。 アクセスログ 2013-10-22 07:46:37,028 1270859
2013-10-17 2013-10-22 09:03:46,635 1197675 2013-10-19 2013-10-22 12:32:25,593 1189472 2013-10-22 2013-10-22 12:33:05,671 1271888 2013-10-22 2013-10-22 12:38:21,005 1272255 2013-10-22 2013-10-22 12:41:40,961 1021213 2013-10-22 2013-10-22 12:43:46,654 1271174 2013-10-19 2013-10-22 12:44:43,604 1077677 2013-10-22 2013-10-22 12:45:38,035 1272280 2013-10-22 2013-10-22 12:47:23,007 1080238 2013-10-22 2013-10-22 12:47:38,265 1271174 2013-10-19
26.
自由形式のログを送信 設定ファイルに送信するログの記述を追加する td-agent.conf <source> type tail path /var/ipros/log/followmailopen.log tag
td.applog<%= env_suffix %>.followmailopen format /^(?<time>d{4}-d{2}-d{2} d{2}:d{2}:d{2},d{3}) (?<memberid>S+) (?<senddate>d{4}-d{2}-d{2})/ pos_file /var/log/td-agent/td.applog.followmailopen.pos </source>
27.
フォーマットの指定方法 format /^(?<time>d{4}-d{2}-d{2} d{2}:d{2}:d{2},d{3}) 定型文 各カラムのフォーマット (?<memberid>S+)
(?<senddate>d{4}-d{2}-d{2})/ カラム名 フォーマット
28.
TreasureDataを使った小技 アプリケーションサーバー ログの送信 TreasureData GoogleDrive 集計結果の送信
29.
googledriveと連携 スケジュール作成時にスプレッドシートを指定 する $ td sched:create
[スケジュール名]"0 7 * * *" -t "Asia/Tokyo" -d applog --result „gspreadsheet://[ユーザー名]:[パスワード] @[ドメイン名]/[ドライブ名]/[シート名]?mode=replace' “SELECT ・・・・・・・・・・・” ※td-agentもしくはtoolbeltが入ったマシンからコマンドを実行する。
30.
アジェンダ ・fluentd、td-agent、TreasureData概要 ・td-agent、TreasureData使い方 ・イプロスでのTreasureData活用例 ・デモ(GoogleDriveと連携)
31.
イプロスの事例 ・システム構成 ・アクセスログ集計 ・メール開封率集計 ・電話トラッキングログ収集 ・導入時に発生した問題
32.
システム構成 イプロスサイト APサーバー ログの集約サーバー tdagent tdagent TreasureData tdagent tdagent tdagent
33.
アクセスログの集計 TreasureData ログの送信 実験的に導入した 機能の分析などに利用 クエリー発行
34.
システムメールの開封率集計 TreasureData ログの送信 メールを開封 集計 ジョブ 集計結果 グラフで可視化 GoogleDrive
35.
電話トラッキングログ収集 発信 問い合わせ用 電話番号 転送 通話履歴の出力 TreasureData
36.
導入時に発生した問題 特になし
37.
アジェンダ ・fluentd、td-agent、TreasureData概要 ・td-agent、TreasureData使い方 ・イプロスでのTreasureData活用例 ・デモ(GoogleDriveと連携)
38.
デモ ①ログと設定ファイルの確認 アプリケーションサーバー ログの送信 ②クエリーの発行 + GoogleDriveへ送信 GoogleDrive TreasureData 集計結果の送信 ③クエリーの発行 + GoogleDriveへ送信 ④スケジュールの登録
39.
まとめ ・TreasureDataはクラウドデータウェアハウスサー ビス ・td-agentはfluentdの安定版パッケージ ・TreasureDataとtd-agentを使えばデータを蓄積可 能 ・TreasureDataは外部サービスを連携でき、データ の可視化も可能
40.
参考文献 TreasureData公式 http://www.treasure-data.com/
41.
ご清聴 ありがとうございまし た
Download now