Submit Search
Upload
足を地に着け落ち着いて考える
•
15 likes
•
5,229 views
Ryuji Tamagawa
Follow
Devsumi関西2015でのプレゼンテーションです。
Read less
Read more
Software
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 33
Download now
Download to read offline
Recommended
Ormとの付き合い方
Ormとの付き合い方
豊明 尾古
私とOSSの25年
私とOSSの25年
MITSUNARI Shigeo
webエンジニアのためのはじめてのredis
webエンジニアのためのはじめてのredis
nasa9084
最近のやられアプリを試してみた
最近のやられアプリを試してみた
zaki4649
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
なおき きしだ
例外設計における大罪
例外設計における大罪
Takuto Wada
Recommended
Ormとの付き合い方
Ormとの付き合い方
豊明 尾古
私とOSSの25年
私とOSSの25年
MITSUNARI Shigeo
webエンジニアのためのはじめてのredis
webエンジニアのためのはじめてのredis
nasa9084
最近のやられアプリを試してみた
最近のやられアプリを試してみた
zaki4649
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
なおき きしだ
例外設計における大罪
例外設計における大罪
Takuto Wada
Xbyakの紹介とその周辺
Xbyakの紹介とその周辺
MITSUNARI Shigeo
暗号技術の実装と数学
暗号技術の実装と数学
MITSUNARI Shigeo
暗号文のままで計算しよう - 準同型暗号入門 -
暗号文のままで計算しよう - 準同型暗号入門 -
MITSUNARI Shigeo
DNS移転失敗体験談
DNS移転失敗体験談
oheso tori
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
CMSでのXSS to RCEを触ってみた
CMSでのXSS to RCEを触ってみた
adachi tomohiro
Webアプリケーションは難しい
Webアプリケーションは難しい
Takafumi ONAKA
マイクロサービスっぽい感じの話
マイクロサービスっぽい感じの話
Makoto Haruyama
文字コードに起因する脆弱性とその対策(増補版)
文字コードに起因する脆弱性とその対策(増補版)
Hiroshi Tokumaru
ドメイン駆動設計の正しい歩き方
ドメイン駆動設計の正しい歩き方
増田 亨
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
DDDのモデリングとは何なのか、 そしてどうコードに落とすのか
DDDのモデリングとは何なのか、 そしてどうコードに落とすのか
Koichiro Matsuoka
オブジェクト指向エクササイズのススメ
オブジェクト指向エクササイズのススメ
Yoji Kanno
データベースシステム論04 - 関係代数(後半)
データベースシステム論04 - 関係代数(後半)
Shohei Yokoyama
セキュリティの都市伝説を暴く
セキュリティの都市伝説を暴く
Hiroshi Tokumaru
Marp Tutorial
Marp Tutorial
Rui Watanabe
オブジェクト指向できていますか?
オブジェクト指向できていますか?
Moriharu Ohzu
2021-12-16 テストコードのないレガシーアプリケーションとの向き合い方
2021-12-16 テストコードのないレガシーアプリケーションとの向き合い方
naoto teshima
やってはいけない空振りDelete
やってはいけない空振りDelete
Yu Yamada
アジャイル開発やってみた
アジャイル開発やってみた
Arata Fujimura
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
非エンジニアのSQL活用が加速させる事業成長
非エンジニアのSQL活用が加速させる事業成長
Keiko Inagaki
More Related Content
What's hot
Xbyakの紹介とその周辺
Xbyakの紹介とその周辺
MITSUNARI Shigeo
暗号技術の実装と数学
暗号技術の実装と数学
MITSUNARI Shigeo
暗号文のままで計算しよう - 準同型暗号入門 -
暗号文のままで計算しよう - 準同型暗号入門 -
MITSUNARI Shigeo
DNS移転失敗体験談
DNS移転失敗体験談
oheso tori
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
CMSでのXSS to RCEを触ってみた
CMSでのXSS to RCEを触ってみた
adachi tomohiro
Webアプリケーションは難しい
Webアプリケーションは難しい
Takafumi ONAKA
マイクロサービスっぽい感じの話
マイクロサービスっぽい感じの話
Makoto Haruyama
文字コードに起因する脆弱性とその対策(増補版)
文字コードに起因する脆弱性とその対策(増補版)
Hiroshi Tokumaru
ドメイン駆動設計の正しい歩き方
ドメイン駆動設計の正しい歩き方
増田 亨
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
DDDのモデリングとは何なのか、 そしてどうコードに落とすのか
DDDのモデリングとは何なのか、 そしてどうコードに落とすのか
Koichiro Matsuoka
オブジェクト指向エクササイズのススメ
オブジェクト指向エクササイズのススメ
Yoji Kanno
データベースシステム論04 - 関係代数(後半)
データベースシステム論04 - 関係代数(後半)
Shohei Yokoyama
セキュリティの都市伝説を暴く
セキュリティの都市伝説を暴く
Hiroshi Tokumaru
Marp Tutorial
Marp Tutorial
Rui Watanabe
オブジェクト指向できていますか?
オブジェクト指向できていますか?
Moriharu Ohzu
2021-12-16 テストコードのないレガシーアプリケーションとの向き合い方
2021-12-16 テストコードのないレガシーアプリケーションとの向き合い方
naoto teshima
やってはいけない空振りDelete
やってはいけない空振りDelete
Yu Yamada
アジャイル開発やってみた
アジャイル開発やってみた
Arata Fujimura
What's hot
(20)
Xbyakの紹介とその周辺
Xbyakの紹介とその周辺
暗号技術の実装と数学
暗号技術の実装と数学
暗号文のままで計算しよう - 準同型暗号入門 -
暗号文のままで計算しよう - 準同型暗号入門 -
DNS移転失敗体験談
DNS移転失敗体験談
メタプログラミングって何だろう
メタプログラミングって何だろう
CMSでのXSS to RCEを触ってみた
CMSでのXSS to RCEを触ってみた
Webアプリケーションは難しい
Webアプリケーションは難しい
マイクロサービスっぽい感じの話
マイクロサービスっぽい感じの話
文字コードに起因する脆弱性とその対策(増補版)
文字コードに起因する脆弱性とその対策(増補版)
ドメイン駆動設計の正しい歩き方
ドメイン駆動設計の正しい歩き方
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
DDDのモデリングとは何なのか、 そしてどうコードに落とすのか
DDDのモデリングとは何なのか、 そしてどうコードに落とすのか
オブジェクト指向エクササイズのススメ
オブジェクト指向エクササイズのススメ
データベースシステム論04 - 関係代数(後半)
データベースシステム論04 - 関係代数(後半)
セキュリティの都市伝説を暴く
セキュリティの都市伝説を暴く
Marp Tutorial
Marp Tutorial
オブジェクト指向できていますか?
オブジェクト指向できていますか?
2021-12-16 テストコードのないレガシーアプリケーションとの向き合い方
2021-12-16 テストコードのないレガシーアプリケーションとの向き合い方
やってはいけない空振りDelete
やってはいけない空振りDelete
アジャイル開発やってみた
アジャイル開発やってみた
Similar to 足を地に着け落ち着いて考える
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
非エンジニアのSQL活用が加速させる事業成長
非エンジニアのSQL活用が加速させる事業成長
Keiko Inagaki
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Ryoma Nagata
What i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawa
Rakuten Group, Inc.
アジャイルにモデリングは必要か
アジャイルにモデリングは必要か
Hiromasa Oka
広告ログの解析システム
広告ログの解析システム
Katsuhiro Takata
アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜
MicroAd, Inc.(Engineer)
グラフデータベース入門
グラフデータベース入門
Masaya Dake
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
Tokoroten Nakayama
20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
t8kobayashi
【アイディア止まり】Ozobotでデータサイエンス~天気予報ロボットを作ろう~
【アイディア止まり】Ozobotでデータサイエンス~天気予報ロボットを作ろう~
ケンタ タナカ
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
s. kaijima
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
tatsuya 264
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
Python勉強会 2015-12-02
Python勉強会 2015-12-02
WoodPecker (Shizuoka Univ)
20140418 info talkセミナー資料
20140418 info talkセミナー資料
Takahiro Iwase
ソフトウェアとは
ソフトウェアとは
Kimiyuki Yamauchi
Rデータ入力編
Rデータ入力編
Monta Yashi
Drupal si 20160704
Drupal si 20160704
Hidekazu Ikeda
Similar to 足を地に着け落ち着いて考える
(20)
Apache Sparkの紹介
Apache Sparkの紹介
非エンジニアのSQL活用が加速させる事業成長
非エンジニアのSQL活用が加速させる事業成長
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
What i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawa
アジャイルにモデリングは必要か
アジャイルにモデリングは必要か
広告ログの解析システム
広告ログの解析システム
アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜
グラフデータベース入門
グラフデータベース入門
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
【アイディア止まり】Ozobotでデータサイエンス~天気予報ロボットを作ろう~
【アイディア止まり】Ozobotでデータサイエンス~天気予報ロボットを作ろう~
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Python勉強会 2015-12-02
Python勉強会 2015-12-02
20140418 info talkセミナー資料
20140418 info talkセミナー資料
ソフトウェアとは
ソフトウェアとは
Rデータ入力編
Rデータ入力編
Drupal si 20160704
Drupal si 20160704
More from Ryuji Tamagawa
20171012 found IT #9 PySparkの勘所
20171012 found IT #9 PySparkの勘所
Ryuji Tamagawa
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
Ryuji Tamagawa
PySparkの勘所(20170630 sapporo db analytics showcase)
PySparkの勘所(20170630 sapporo db analytics showcase)
Ryuji Tamagawa
20170210 sapporotechbar7
20170210 sapporotechbar7
Ryuji Tamagawa
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
Ryuji Tamagawa
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
Ryuji Tamagawa
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
Ryuji Tamagawa
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Ryuji Tamagawa
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Ryuji Tamagawa
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Ryuji Tamagawa
Google Big Query
Google Big Query
Ryuji Tamagawa
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
Ryuji Tamagawa
You might be paying too much for BigQuery
You might be paying too much for BigQuery
Ryuji Tamagawa
Google BigQueryについて 紹介と推測
Google BigQueryについて 紹介と推測
Ryuji Tamagawa
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
Ryuji Tamagawa
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Ryuji Tamagawa
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Ryuji Tamagawa
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
Ryuji Tamagawa
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
Ryuji Tamagawa
More from Ryuji Tamagawa
(20)
20171012 found IT #9 PySparkの勘所
20171012 found IT #9 PySparkの勘所
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
PySparkの勘所(20170630 sapporo db analytics showcase)
PySparkの勘所(20170630 sapporo db analytics showcase)
20170210 sapporotechbar7
20170210 sapporotechbar7
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Google Big Query
Google Big Query
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
You might be paying too much for BigQuery
You might be paying too much for BigQuery
Google BigQueryについて 紹介と推測
Google BigQueryについて 紹介と推測
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
足を地に着け落ち着いて考える
1.
足を地に着け、落ち着いて考える 玉川竜司@Sky
2.
本日の内容 • 少しだけ自己紹介 • 基本を抑えよう •
新しい技術を取り入れよう • デバイスに興味を持とう • エンジニアの気持ち
3.
少しだけ自己紹介 • 大阪のソフトウェア開発企業 (Sky株式会社)勤務。 • 本職の技術はデータベース中心。 パフォーマンスチューニング大好き。 •
Webの情報はとても有益ですが、手間 をかけてまとめられた書籍を読むことの 価値も変わってはいないと考えています。 • ということで、技術書翻訳やってます。 • ビッグデータ、ソフトウェア開発に関す る本が中心。
4.
今年の本 7月 8月 年内
5.
既刊書の一部
6.
基本を抑えよう
7.
いわゆる教科書的な知識 • 計算量の理論や基本のデータ構造、アルゴリズム • リレーショナルデータモデル •
コンピュータのアーキテクチャ • TCP/IPの仕組み などなど・・・簡単には変わらない、長持ちする知識
8.
APIは高レベルでも • 下位の実装の性格は必ずにじ み出てきます • 実装に使われているデータ構 造やアルゴリズム、デバイスの 特性は把握しておく •
抽象化されたAPIを提供した り、利用したりするのはもち ろん良いこと • しかし下位のことを忘れてい いわけではない foo[n]=… 挿入、更新、削除、検索の 計算量は? メモリの消費は?
9.
APIは高レベルでも • 下位の実装の性格は必ずにじ み出てきます • 実装に使われているデータ構 造やアルゴリズム、デバイスの 特性は把握しておく •
抽象化されたAPIを提供した り、利用したりするのはもち ろん良いこと • しかし下位のことを忘れてい いわけではない SELECT … WHERE …
10.
「古典」を読みましょう!
11.
新しい技術を取り入れよう
12.
新しい技術はカウンターパンチ • 2000年頃「とりまリレーショナルデータベース」 • 2005年頃「リレーショナルデータベースってスケールし ないんじゃ?」 •
2010年頃「NoSQLならなんぼでもスケールする ぜぇぇ」「Hadoop最高」 • 2015年頃「やっぱSQLいいよね」
13.
One size doesn’t
fit all • Stonebrakerさんのお言葉 • 技術の長所、短所が自分の仕事にどう影響するかはケースバイケース • 本プレゼンで取り上げる例もあくまで1つの側面に過ぎません。それぞれの技 術者は、それぞれの状況に応じたものの見方ができなければなりません • 新たな長所を持つ技術を取り入れることは、多くの場合新たな短所 を受け入れることでもある • 「とりま」が通用しなくなったことこそ本質。
14.
新しい技術をきちんと理解する • なぜその新しい技術が登場したのか • どういった領域をターゲットとして登場したのか •
その新しい技術を取り入れることによるマイナスは何か • こういったことを理解するためにも、基本を抑えておく ことが非常に大切
15.
新しい技術をきちんと理解する • なぜその新しい技術が登場したのか:スケーラビリティ • どういった領域をターゲットとして登場したのか:Web 界隈。比較的単純なデータ構造で、トランザクションへ の要求が低い •
その新しい技術を取り入れることによるマイナスは何か :データの整合性の担保の難しさ。長期的なメンテナン ス性などなど NoSQLの場合
16.
新しい技術をきちんと理解する • なぜその新しい技術が登場したのか:MapReduceが遅 いから。特にI/Oが多いため • どういった領域をターゲットとして登場したのか:イン タラクティブな処理、イテレーティブな処理の高速化 •
その新しい技術を取り入れることによるマイナスは何か :成熟度の低さ、運用の難しさ(メモリまわり) Sparkの場合
17.
(ちょっと宣伝はいります)読書の薦め • まとまった情報に一通り目を通すことは大事です • 自分の現状の技術の観点で即断すると、新しい技術に対して ネガティブになりがち •
背景や要求事項が変化していないか?これまでの世界ではデ メリットに見えることが、変化した世界ではそもそも問題に ならなかったりはしないか? • いったんきっちり、その技術の「ルール」をきちんと受け入 れてみるためにも、まとまった書籍は有効です
18.
デバイスに興味を持とう
19.
Thinking Low-Level, Writing Hight-level •
どんなプログラムでもデバイスの 制約から逃れることはできない • 逆に、新しいデバイスの登場がゲー ムチェンジにつながることは多々 ある • この5年ではメモリ単価の低下と SSDの登場。 • 次の5年はストレージ/メモリ層の 変化?
20.
NoSQLの場合 データ量 複雑さ RDB ファイル
21.
NoSQLの場合 データ量 複雑さ RDB ファイル NoSQL インターネットの普及、「ビッグデータ」ブーム
22.
NoSQLの場合 データ量 複雑さ RDB ファイル NoSQL デバイスの変化(メモリの増大、マルチコア) クラスタリングの一般化
23.
Hadoopエコシステムの例 • もともとはハードディスクの性能問題への対応という面が大きかった • https://youtu.be/vu0n_86GiJo •
大ききな単位でディスクアクセスすることによって、バッチ処理の性能を大 きく向上させた • 後に、大容量のメモリを使うことでランダムアクセス系のデータ処理にも対 応(HBaseなど) • さらに、メモリをうまく活用できる汎用の処理系として出てきたのがSpark • SSDのバイト単価がもっと下がると、また大きな変化が起こるかも
24.
エンジニアの気持ち
25.
地道な成長と一足飛びの成長 成果 時間 地道な改善 一足飛びの改善
26.
地道な成長と一足飛びの成長 成果 時間 地道な改善 周りの人の注目
27.
保守的な成長と一足飛びの成長 このあたりまではサボっ てるように見えたりする この時点では ヒーローっぽい成果 時間
28.
保守的な成長と一足飛びの成長 努力 時間 でも継続的な努力が必要なのは どちらでも一緒
29.
保守的な成長と一足飛びの成長 努力 時間 地味な調査期 成果が 見える 時期 地味な調査期
30.
保守的な成長と一足飛びの成長 努力 時間 地味な調査期 成果が 見える 時期 地味な調査期 やっている本人は(もしかしたら)しんどい時期 周りはやんわり見守ってあげてほしい時期
31.
でも、 新しいことへのチャレンジは楽しいです
32.
まとめ • 基礎をおさえて • 新しいことにも興味をしっかり持って •
地道に努力を続けましょう
33.
ご清聴ありがとうございました。
Download now