Troubleshooting Using Cloudera Manager #cwt2015Cloudera Japan
Clouderaでは、大規模システムに関わる営業ができるエンタープライズセールスと、技術の価値を伝えることに興味がある人をセールスエンジニアとして募集しています。興味のある方は career-jp@cloudera.com までご連絡ください。
本スライドは、Cloudera World Tokyo 2015で発表した内容です
https://clouderaworld.tokyo/
Cloudera World Tokyo 2014 で発表した、 Strata + Hadoop World 2014 のレポートです。Cloudera 会長 Mike Olson のキーノートや、保険会社の事例、ソーシャルグラフ作成、ETLの課題、HBase のアーキテクチャなどについて紹介しています。
Troubleshooting Using Cloudera Manager #cwt2015Cloudera Japan
Clouderaでは、大規模システムに関わる営業ができるエンタープライズセールスと、技術の価値を伝えることに興味がある人をセールスエンジニアとして募集しています。興味のある方は career-jp@cloudera.com までご連絡ください。
本スライドは、Cloudera World Tokyo 2015で発表した内容です
https://clouderaworld.tokyo/
Cloudera World Tokyo 2014 で発表した、 Strata + Hadoop World 2014 のレポートです。Cloudera 会長 Mike Olson のキーノートや、保険会社の事例、ソーシャルグラフ作成、ETLの課題、HBase のアーキテクチャなどについて紹介しています。
One Hadoop, Multiple Clouds - NYC Big Data MeetupAndrei Savu
The slide deck I presented at NYC Big Data Meetup just before Strata + Hadoop World 2015. It goes into details on what's different about running Hadoop in the cloud, main use case and some lessons learned from working with customers.
Exploring a weighted ensemble of different recommendation engines such as User based, Item based, Slope-one based and Content based for the MovieLens 100K, 1M, 10M datasets. Achieved an improvement of 11.59% with the ensemble. Also implemented the item based recommender in a distributed manner using Apache Mahout.
Introducing Cloudera Director at Big Data BashAndrei Savu
My slide deck for Big Data Bash. This is a quick introduction on Cloudera Director and it ends with a list of open questions around some interesting future problems we are planning to work on.
Hadoop Operations for Production Systems (Strata NYC)Kathleen Ting
Hadoop is emerging as the standard for big data processing and analytics. However, as usage of the Hadoop clusters grow, so do the demands of managing and monitoring these systems.
In this full-day Strata Hadoop World tutorial, attendees will get an overview of all phases for successfully managing Hadoop clusters, with an emphasis on production systems — from installation, to configuration management, service monitoring, troubleshooting and support integration.
We will review tooling capabilities and highlight the ones that have been most helpful to users, and share some of the lessons learned and best practices from users who depend on Hadoop as a business-critical system.
Cloudera Director: Unlock the Full Potential of Hadoop in the CloudCloudera, Inc.
Cloud environments are increasingly becoming a popular deployment option for Hadoop. Enterprises can take advantage of the added flexibility and elasticity of the cloud for both long-running clusters, temporary deployments or for spikey workloads. However, as more and more users choose cloud environments for critical Hadoop workloads, they are often forced to compromise on key aspects of their data platform.
Cloudera Director enables the full fidelity of the Enterprise Data Hub in the cloud, without compromises. Announced with the recent 5.2 release, Cloudera Director is the simple, reliable way to deploy and scale Hadoop in the cloud, while maintaining an open and neutral platform with enterprise-grade capabilities.
During this webinar, Tushar Shanbhag, Director of Product Management, will look at why Hadoop cloud environments are becoming so popular and some of the challenges around Hadoop in the cloud. He will then provide an in-depth overview of Cloudera Director, its key features, and how it alleviates these common challenges. Finally, he will discuss some key use cases and provide insight into what’s next for Cloudera and Hadoop in the cloud.
Samsung’s First 90-Days Building a Next-Generation Analytics PlatformCloudera, Inc.
Leveraging in-memory processing for advanced analytics paired with rich data visualization for business intelligence, Samsung is creating a flexible and scalable next-generation analytics platform built on Cloudera Enterprise.
This deck covers key considerations and provides advice for enterprises looking to run production-scale Cloudera on AWS. We touch on everything from security to governance to selecting the right instance type for your Hadoop workload (Spark, Impala, Search, etc).
Cloudera World Tokyo 2015 で発表した資料です。
https://clouderaworld.tokyo/
概要
かつてHadoopによるビッグデータ基盤は HiveやPig、MapReduce、そしてHDFSだけで構成されるシンプルなシステムでした。しかし現在では、SparkやImpalaを始めとして、Kafka、HBase、Parquet、そしてKuduなどの新しいコンポーネントを組み合わせた複雑なシステムが次々に本番環境で稼働し始めています。
このセッションでは、データの取得、加工、提供までの流れがどのように変わっていったか、そして現在ではどのような基盤が主流なのか、最新のトレンドについて解説します。
Cloudera World Tokyo 2014 のライトニングセッションで使用したスライドです。
Cloudera World Tokyo 2014: http://www.cloudera.co.jp/jpevents/cwt2014
前回のスライド
http://www.slideshare.net/Cloudera_jp/hadoopgui-hue
OracleならではのHadoopソリューションである、Oracle Big Data SQLの最新バージョン3.1がリリースされました
ビッグデータ、IoTにより、真にビジネス価値を生み出すためには、HadoopやNoSQL上のデータのみならず、RDBMS上のビジネスデータとの連携とが必須となります
今回のアップデートにより、よりそれらすべてのデータの統合を実現し、より多くのお客さまの、ビッグデータ/IoTからの真なるビジネス価値創出と、競争優位確立をご支援させていただきます
Cloudera Data Science WorkbenchとPySparkで 好きなPythonライブラリを 分散で使う #cadedaCloudera Japan
Data Engineering and Data Analysis Workshop #1 での有賀 (@chezou)の発表です。
https://cyberagent.connpass.com/event/58808/
Cloudera Data Science WorkbenchとPySparkを使い、Pythonで好きなライブラリを分散実行する方法についてです。日本語の形態素解析ライブラリMeCabをPySparkから実行します。
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.