Cloudera World Tokyo 2015 で発表した資料です。
https://clouderaworld.tokyo/
概要
かつてHadoopによるビッグデータ基盤は HiveやPig、MapReduce、そしてHDFSだけで構成されるシンプルなシステムでした。しかし現在では、SparkやImpalaを始めとして、Kafka、HBase、Parquet、そしてKuduなどの新しいコンポーネントを組み合わせた複雑なシステムが次々に本番環境で稼働し始めています。
このセッションでは、データの取得、加工、提供までの流れがどのように変わっていったか、そして現在ではどのような基盤が主流なのか、最新のトレンドについて解説します。
Cloudera World Tokyo 2014 で発表した、 Strata + Hadoop World 2014 のレポートです。Cloudera 会長 Mike Olson のキーノートや、保険会社の事例、ソーシャルグラフ作成、ETLの課題、HBase のアーキテクチャなどについて紹介しています。
Troubleshooting Using Cloudera Manager #cwt2015Cloudera Japan
Clouderaでは、大規模システムに関わる営業ができるエンタープライズセールスと、技術の価値を伝えることに興味がある人をセールスエンジニアとして募集しています。興味のある方は career-jp@cloudera.com までご連絡ください。
本スライドは、Cloudera World Tokyo 2015で発表した内容です
https://clouderaworld.tokyo/
Cloudera World Tokyo 2015 で発表した資料です。
https://clouderaworld.tokyo/
概要
かつてHadoopによるビッグデータ基盤は HiveやPig、MapReduce、そしてHDFSだけで構成されるシンプルなシステムでした。しかし現在では、SparkやImpalaを始めとして、Kafka、HBase、Parquet、そしてKuduなどの新しいコンポーネントを組み合わせた複雑なシステムが次々に本番環境で稼働し始めています。
このセッションでは、データの取得、加工、提供までの流れがどのように変わっていったか、そして現在ではどのような基盤が主流なのか、最新のトレンドについて解説します。
Cloudera World Tokyo 2014 で発表した、 Strata + Hadoop World 2014 のレポートです。Cloudera 会長 Mike Olson のキーノートや、保険会社の事例、ソーシャルグラフ作成、ETLの課題、HBase のアーキテクチャなどについて紹介しています。
Troubleshooting Using Cloudera Manager #cwt2015Cloudera Japan
Clouderaでは、大規模システムに関わる営業ができるエンタープライズセールスと、技術の価値を伝えることに興味がある人をセールスエンジニアとして募集しています。興味のある方は career-jp@cloudera.com までご連絡ください。
本スライドは、Cloudera World Tokyo 2015で発表した内容です
https://clouderaworld.tokyo/
Cloudera World Tokyo 2014 のライトニングセッションで使用したスライドです。
Cloudera World Tokyo 2014: http://www.cloudera.co.jp/jpevents/cwt2014
前回のスライド
http://www.slideshare.net/Cloudera_jp/hadoopgui-hue
OracleならではのHadoopソリューションである、Oracle Big Data SQLの最新バージョン3.1がリリースされました
ビッグデータ、IoTにより、真にビジネス価値を生み出すためには、HadoopやNoSQL上のデータのみならず、RDBMS上のビジネスデータとの連携とが必須となります
今回のアップデートにより、よりそれらすべてのデータの統合を実現し、より多くのお客さまの、ビッグデータ/IoTからの真なるビジネス価値創出と、競争優位確立をご支援させていただきます
講師:レッドハット 石井様
日時:2014/08/07
タイトル:エンタープライズでOpenStackならレッドハット
概要:
- Red Hat Enterprise Linux OpenStack Platform とは
- Red Hat による OpenStack コミュニティでのリーダーシップ
- Red Hat Enterprise Linux OpenStack Platform の価値
- Red Hat のクラウドポートフォリオ
Cloudera Data Science WorkbenchとPySparkで 好きなPythonライブラリを 分散で使う #cadedaCloudera Japan
Data Engineering and Data Analysis Workshop #1 での有賀 (@chezou)の発表です。
https://cyberagent.connpass.com/event/58808/
Cloudera Data Science WorkbenchとPySparkを使い、Pythonで好きなライブラリを分散実行する方法についてです。日本語の形態素解析ライブラリMeCabをPySparkから実行します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
2. 本日のアジェンダ
• エンタープライズにおける
– ポジション
とは
– イノベーション
• Cloudera University
– 最新のトレーニングと認定資格
**THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012**
Public use or redistribution prior to the embargo date is strictly prohibited.
11. CDHとは何か?
Cloudera’s Distribution Including
Apache Hadoop (CDH) はエンタープライズ対応の
Hadoopディストリビューションです
ü 100%
ピュア Apache
Hadoop
ü 導入に必要な全てのコンポーネントを含んでいます
ü お客様の既存のインフラへの統合は簡単です
ü 全てドキュメント化されていてサポートがあります
成功への最短距離
安定性と信頼性
完全なオープンソース
§ 全てのコンポーネントバージョンと依存関 § ClouderaのQAチームによって完璧にテ § オープンソースコミュニティのメインライ
係が管理された完全なHadoopスタックを ストされています
ンコンポーネントだけを含みます。
提供します
§ 多数のエンタープライズ環境でスケール フォークもなくプロプライエタリ基盤もあ
りません
§ 様々なOS、ハードウェア、データベース、 することが証明されています
データウェアハウス、BIツールと連携でき § 自由にダウンロードできます
ます
**THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012**
Public use or redistribution prior to the embargo date is strictly prohibited.
12. CDH: Cloudera’s Distribution Including Apache Hadoop
File System Mount UI Framework/SDK Data Mining
Build/Test: APACHE BIGTOP
FUSE-DFS HUE APACHE MAHOUT
Workflow Scheduling Metadata
APACHE OOZIE APACHE OOZIE APACHE HIVE
Languages / Compilers
APACHE PIG, APACHE HIVE Fast Read/Write
Data Integration
Access
APACHE FLUME,
APACHE SQOOP APACHE HBASE
APACHE WHIRR Coordination APACHE ZOOKEEPER
**THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012**
Public use or redistribution prior to the embargo date is strictly prohibited.
13. MapReduceとHDFS
Trunk development (source of new features)
0.23 0.23.1 2.0
0.20.1 0.20.2 0.21 0.22
“0.20.append”
0.20.203 0.20.205
“0.20.security”
0.20.204 1.0
CDH development
CDH1 CDH2 U1 U2 U3 CDH3 U1 U2 U3 CDH4
2009 2010 2011 2012
**THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012**
Public use or redistribution prior to the embargo date is strictly prohibited.
14. なぜCDHなのか?
⻑⾧長所 ユーザのどういう部分に関係するか
パッケージ化済み 他のどの形態のHadoopよりもはるかに簡単にインストールすることが
できます。
パッチ適⽤用済み Apacheブランチをただダウンロードするよりも安定かつセキュアにし
てくれます。
実績の証明済み 数千もの組織が既にCDHを使っているため、利利⽤用リスクが低くなって
います。
⾼高機能 CDHはより多くのユースケースをカバーし、ユーザはコアのHadoopだ
けを使っていたときよりも⽣生産性を向上できます。
統合済み 全体を把握するための時間を節約し、バージョン間あるいはパッチ間
依存に基づく障害のリスクを減らします。
標準と認められている 既に多額の投資をしているRDBMS, ETL, そしてBIなどとCDHは最も
うまく連携できます。
サポートあり CDHは商業組織が⽀支援しているディストリビューションです。
100%Apacheライセンス この技術への投資は保障されています。
**THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012**
Public use or redistribution prior to the embargo date is strictly prohibited.
34. メーリングリスト
• メーリングリスト(日本語)
cdh-user-jp@cloudera.org
• CDH/Cloudera Managerに関するオープンなメーリン
グリスト
• 誰でも質問、回答、閲覧できます。
積極的にご参加
下さい!!
**THIS CONTENT IS UNDER EMBARGO UNTIL 6/5/2012**
Public use or redistribution prior to the embargo date is strictly prohibited.