SlideShare a Scribd company logo
What is Data
Engineer?
炬識科技股份有限公司
資料科學人才種類
資料來源:經理人月刊137期
2
Data Engineer
資料科學領域
3
Data Engineer
2015年資科工作者約4萬人
4
資料來源:104人力網/iThome
2018年資料工程師需求4.5萬人
5
資料來源:104人力網/iThome
為何需要這麼多資料工程師?
6
資料來源:政府該做的是動手改革高教體系培養資料科學家 /TechOrange
資料工程師應具備的知識領域
7
資料來源:Data Scientist vs Data Engineer / Data Science 101
新手資料工程師應具備的技能
• Hadoop-based technologies (e.g. MapReduce, Hive and Pig)
• SQL-based technologies (e.g. PostgreSQL and MySQL)
• NoSQL technologies (e.g. Cassandra and MongoDB)
• Python, Java
• Data warehousing solutions
• Linux
8
http://www.mastersindatascience.org/careers/data-engineer/
資深資料工程師應具備的技能
• Statistical analysis and modeling
• Database architectures
• Hadoop-based technologies (e.g. MapReduce, Hive and Pig)
• SQL-based technologies (e.g. PostgreSQL and MySQL)
• NoSQL technologies (e.g. Cassandra and MongoDB)
• Data modeling tools (e.g. ERWin, Enterprise Architect and Visio)
• Python, C/C++ Java, Perl
• MatLab, SAS, R
• Data warehousing solutions
• Predictive modeling, NLP and text analysis
• Machine learning
• Data mining
• UNIX, Linux, Solaris and MS Windows
9
http://www.mastersindatascience.org/careers/data-engineer/
Simplicityistheultimatesophistication.----LeonardodaVinci(1452-1519)
info@athemaster.com
10

More Related Content

What's hot

JJUG CCC 2014 fall 「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~
JJUG CCC 2014 fall  「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~JJUG CCC 2014 fall  「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~
JJUG CCC 2014 fall 「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~
Hiroyuki Ohnaka
 
系統安全稽核即刻上手 [2019/08/24] @Monospace
系統安全稽核即刻上手 [2019/08/24] @Monospace系統安全稽核即刻上手 [2019/08/24] @Monospace
系統安全稽核即刻上手 [2019/08/24] @Monospace
Jason Cheng
 
イベント主催者のための60分でできるパネルディスカッションテンプレ
イベント主催者のための60分でできるパネルディスカッションテンプレイベント主催者のための60分でできるパネルディスカッションテンプレ
イベント主催者のための60分でできるパネルディスカッションテンプレ
圭 進藤
 
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
Jason Cheng
 
OpenWorkリクルーティング サービス説明資料
OpenWorkリクルーティング サービス説明資料OpenWorkリクルーティング サービス説明資料
OpenWorkリクルーティング サービス説明資料
ssuser879cf6
 
Developer's summit 2021 [19-D-5]なぜ今、ローコードなのか
Developer's summit 2021 [19-D-5]なぜ今、ローコードなのかDeveloper's summit 2021 [19-D-5]なぜ今、ローコードなのか
Developer's summit 2021 [19-D-5]なぜ今、ローコードなのか
Tetsuo Ajima
 
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
Recruit Technologies
 
DXとプロセスマイニング Part01
DXとプロセスマイニング Part01DXとプロセスマイニング Part01
DXとプロセスマイニング Part01
bpstudy
 
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
 
開源 x 節流:企業導入實例分享 (二) [2015/09/19] 軟體自由日研討會
開源 x 節流:企業導入實例分享 (二)  [2015/09/19] 軟體自由日研討會開源 x 節流:企業導入實例分享 (二)  [2015/09/19] 軟體自由日研討會
開源 x 節流:企業導入實例分享 (二) [2015/09/19] 軟體自由日研討會
Jason Cheng
 
ベンチャーマネージャーのマニュアル①狙いと概要
ベンチャーマネージャーのマニュアル①狙いと概要ベンチャーマネージャーのマニュアル①狙いと概要
ベンチャーマネージャーのマニュアル①狙いと概要
禎庸 長村
 
僕なりのAtlassianの管理メソッド
僕なりのAtlassianの管理メソッド僕なりのAtlassianの管理メソッド
僕なりのAtlassianの管理メソッド
Narichika Kajihara
 
楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten, core skills neede...
楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten,  core skills  neede...楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten,  core skills  neede...
楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten, core skills neede...
Rakuten Group, Inc.
 
商業登記電子証明書のすゝめ
商業登記電子証明書のすゝめ商業登記電子証明書のすゝめ
商業登記電子証明書のすゝめ
Naoto Miyachi
 
図形伝達ゲーム「グラコミ」
図形伝達ゲーム「グラコミ」図形伝達ゲーム「グラコミ」
図形伝達ゲーム「グラコミ」
Jun Chiba
 
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
Jason Cheng
 
Linda rising - the power of an agile mindset
Linda rising  - the power of an agile mindsetLinda rising  - the power of an agile mindset
Linda rising - the power of an agile mindset
Magneta AI
 
ملخص النهائي لضوابط الامن السيبراني
ملخص النهائي لضوابط الامن السيبرانيملخص النهائي لضوابط الامن السيبراني
ملخص النهائي لضوابط الامن السيبراني
NaifAlghamdi31
 
Hyperledger Fabric 概説
Hyperledger Fabric 概説Hyperledger Fabric 概説
Hyperledger Fabric 概説
Hyperleger Tokyo Meetup
 

What's hot (20)

JJUG CCC 2014 fall 「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~
JJUG CCC 2014 fall  「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~JJUG CCC 2014 fall  「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~
JJUG CCC 2014 fall 「私がTDD出来ないのはどう考えてもお前らが悪い!」~エンタープライズJava開発でのTDD適用の勘所~
 
系統安全稽核即刻上手 [2019/08/24] @Monospace
系統安全稽核即刻上手 [2019/08/24] @Monospace系統安全稽核即刻上手 [2019/08/24] @Monospace
系統安全稽核即刻上手 [2019/08/24] @Monospace
 
Resume
ResumeResume
Resume
 
イベント主催者のための60分でできるパネルディスカッションテンプレ
イベント主催者のための60分でできるパネルディスカッションテンプレイベント主催者のための60分でできるパネルディスカッションテンプレ
イベント主催者のための60分でできるパネルディスカッションテンプレ
 
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
加密勒索時代下的資料保存之戰 [2020/11/03] @InfoSec Taiwan 2020
 
OpenWorkリクルーティング サービス説明資料
OpenWorkリクルーティング サービス説明資料OpenWorkリクルーティング サービス説明資料
OpenWorkリクルーティング サービス説明資料
 
Developer's summit 2021 [19-D-5]なぜ今、ローコードなのか
Developer's summit 2021 [19-D-5]なぜ今、ローコードなのかDeveloper's summit 2021 [19-D-5]なぜ今、ローコードなのか
Developer's summit 2021 [19-D-5]なぜ今、ローコードなのか
 
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
 
DXとプロセスマイニング Part01
DXとプロセスマイニング Part01DXとプロセスマイニング Part01
DXとプロセスマイニング Part01
 
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
 
開源 x 節流:企業導入實例分享 (二) [2015/09/19] 軟體自由日研討會
開源 x 節流:企業導入實例分享 (二)  [2015/09/19] 軟體自由日研討會開源 x 節流:企業導入實例分享 (二)  [2015/09/19] 軟體自由日研討會
開源 x 節流:企業導入實例分享 (二) [2015/09/19] 軟體自由日研討會
 
ベンチャーマネージャーのマニュアル①狙いと概要
ベンチャーマネージャーのマニュアル①狙いと概要ベンチャーマネージャーのマニュアル①狙いと概要
ベンチャーマネージャーのマニュアル①狙いと概要
 
僕なりのAtlassianの管理メソッド
僕なりのAtlassianの管理メソッド僕なりのAtlassianの管理メソッド
僕なりのAtlassianの管理メソッド
 
楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten, core skills neede...
楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten,  core skills  neede...楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten,  core skills  neede...
楽天市場で使われている技術、エンジニアに必要なコアスキルとはTechnology used in Rakuten, core skills neede...
 
商業登記電子証明書のすゝめ
商業登記電子証明書のすゝめ商業登記電子証明書のすゝめ
商業登記電子証明書のすゝめ
 
図形伝達ゲーム「グラコミ」
図形伝達ゲーム「グラコミ」図形伝達ゲーム「グラコミ」
図形伝達ゲーム「グラコミ」
 
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
LibreNMS 資安應用經驗分享 [2019/07/11] @國際資訊安全組織臺灣高峰會
 
Linda rising - the power of an agile mindset
Linda rising  - the power of an agile mindsetLinda rising  - the power of an agile mindset
Linda rising - the power of an agile mindset
 
ملخص النهائي لضوابط الامن السيبراني
ملخص النهائي لضوابط الامن السيبرانيملخص النهائي لضوابط الامن السيبراني
ملخص النهائي لضوابط الامن السيبراني
 
Hyperledger Fabric 概説
Hyperledger Fabric 概説Hyperledger Fabric 概説
Hyperledger Fabric 概説
 

Viewers also liked

大數據與資料科學人才現況與趨勢
大數據與資料科學人才現況與趨勢大數據與資料科學人才現況與趨勢
大數據與資料科學人才現況與趨勢
Anna Yen
 
20150702國家發展委員會:「網路政策白皮書與行動計畫」報告
20150702國家發展委員會:「網路政策白皮書與行動計畫」報告20150702國家發展委員會:「網路政策白皮書與行動計畫」報告
20150702國家發展委員會:「網路政策白皮書與行動計畫」報告
R.O.C.Executive Yuan
 
啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道
Etu Solution
 
科技部與國科會執掌差異
科技部與國科會執掌差異科技部與國科會執掌差異
科技部與國科會執掌差異Hsuan-Chih Wang
 
科技會報辦公室:創新創業政策會報_整體工作
科技會報辦公室:創新創業政策會報_整體工作科技會報辦公室:創新創業政策會報_整體工作
科技會報辦公室:創新創業政策會報_整體工作
R.O.C.Executive Yuan
 
Whoscall 的 Realtime Monitoring 經驗分享
Whoscall 的 Realtime Monitoring 經驗分享Whoscall 的 Realtime Monitoring 經驗分享
Whoscall 的 Realtime Monitoring 經驗分享
William Yeh
 
台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖
台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖
台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖
Etu Solution
 
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Etu Solution
 
那些你知道的,但還沒看過的 Big Data 風景
那些你知道的,但還沒看過的 Big Data 風景那些你知道的,但還沒看過的 Big Data 風景
那些你知道的,但還沒看過的 Big Data 風景
Etu Solution
 
使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭
使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭
使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭
台灣資料科學年會
 
資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例
Fred Chiang
 
Summary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team TrainingSummary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team Training
Fred Chiang
 
轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購
Fred Chiang
 
資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野
Fred Chiang
 
Big Data vs. Open Data
Big Data vs. Open DataBig Data vs. Open Data
Big Data vs. Open Data
Fred Chiang
 
Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們
Fred Chiang
 
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
Fred Chiang
 

Viewers also liked (17)

大數據與資料科學人才現況與趨勢
大數據與資料科學人才現況與趨勢大數據與資料科學人才現況與趨勢
大數據與資料科學人才現況與趨勢
 
20150702國家發展委員會:「網路政策白皮書與行動計畫」報告
20150702國家發展委員會:「網路政策白皮書與行動計畫」報告20150702國家發展委員會:「網路政策白皮書與行動計畫」報告
20150702國家發展委員會:「網路政策白皮書與行動計畫」報告
 
啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道
 
科技部與國科會執掌差異
科技部與國科會執掌差異科技部與國科會執掌差異
科技部與國科會執掌差異
 
科技會報辦公室:創新創業政策會報_整體工作
科技會報辦公室:創新創業政策會報_整體工作科技會報辦公室:創新創業政策會報_整體工作
科技會報辦公室:創新創業政策會報_整體工作
 
Whoscall 的 Realtime Monitoring 經驗分享
Whoscall 的 Realtime Monitoring 經驗分享Whoscall 的 Realtime Monitoring 經驗分享
Whoscall 的 Realtime Monitoring 經驗分享
 
台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖
台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖
台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖
 
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動
 
那些你知道的,但還沒看過的 Big Data 風景
那些你知道的,但還沒看過的 Big Data 風景那些你知道的,但還沒看過的 Big Data 風景
那些你知道的,但還沒看過的 Big Data 風景
 
使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭
使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭
使用 Elasticsearch 及 Kibana 進行巨量資料搜尋及視覺化-曾書庭
 
資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例
 
Summary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team TrainingSummary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team Training
 
轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購
 
資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野
 
Big Data vs. Open Data
Big Data vs. Open DataBig Data vs. Open Data
Big Data vs. Open Data
 
Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們
 
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
 

Similar to What is data engineer?資料工程師是什麼?

The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
codefortomorrow
 
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构
Denodo
 
Report 106553012 - copy
Report 106553012 - copyReport 106553012 - copy
Report 106553012 - copy
Jacky Zou
 
資料科學的第一堂課 Data Science Orientation
資料科學的第一堂課 Data Science Orientation資料科學的第一堂課 Data Science Orientation
資料科學的第一堂課 Data Science Orientation
Ryan Chung
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況Jazz Yao-Tsung Wang
 
逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产
Denodo
 
中間件趨勢 與 Red Hat JBoss
中間件趨勢 與 Red Hat JBoss 中間件趨勢 與 Red Hat JBoss
中間件趨勢 與 Red Hat JBoss
Christina Lin
 
Intro to Python - BMI Case Practice
Intro to Python - BMI Case PracticeIntro to Python - BMI Case Practice
Intro to Python - BMI Case Practice
Ryan Chung
 
啟動你的AI工匠魂
啟動你的AI工匠魂啟動你的AI工匠魂
啟動你的AI工匠魂
Erhwen Kuo
 
網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930
Tim Hong
 
行動數位時代與商業發展趨勢
行動數位時代與商業發展趨勢行動數位時代與商業發展趨勢
行動數位時代與商業發展趨勢
jongminshi
 
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During CoronavirusHow Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
Denodo
 
The opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao Mingxing
The opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao MingxingThe opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao Mingxing
The opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao Mingxing
Ceph Community
 
医药企业的数字化转型 - 逻辑数据结构策略
医药企业的数字化转型 - 逻辑数据结构策略医药企业的数字化转型 - 逻辑数据结构策略
医药企业的数字化转型 - 逻辑数据结构策略
Denodo
 
Realtime analytics with Flink and Druid
Realtime analytics with Flink and DruidRealtime analytics with Flink and Druid
Realtime analytics with Flink and Druid
Erhwen Kuo
 
Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學
ckliu
 
第一名 1st Bocoiops
第一名 1st Bocoiops第一名 1st Bocoiops
第一名 1st Bocoiops
Leo Zhou
 
行政院會簡報 經濟部 開放經濟資料運用案例分享(m)
行政院會簡報 經濟部 開放經濟資料運用案例分享(m)行政院會簡報 經濟部 開放經濟資料運用案例分享(m)
行政院會簡報 經濟部 開放經濟資料運用案例分享(m)
releaseey
 
How to run an AI Project @pixnet
How to run an AI Project @pixnetHow to run an AI Project @pixnet
How to run an AI Project @pixnet
晨揚 施
 
DSP 資料科學計畫簡介
DSP 資料科學計畫簡介DSP 資料科學計畫簡介
DSP 資料科學計畫簡介
codefortomorrow
 

Similar to What is data engineer?資料工程師是什麼? (20)

The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
The Data Science Program 讓公共服務變聰明的《資料科學計畫》 (蔣居裕)
 
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构
 
Report 106553012 - copy
Report 106553012 - copyReport 106553012 - copy
Report 106553012 - copy
 
資料科學的第一堂課 Data Science Orientation
資料科學的第一堂課 Data Science Orientation資料科學的第一堂課 Data Science Orientation
資料科學的第一堂課 Data Science Orientation
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
 
逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产逻辑数据编织如何完善IT架构,盘活数据资产
逻辑数据编织如何完善IT架构,盘活数据资产
 
中間件趨勢 與 Red Hat JBoss
中間件趨勢 與 Red Hat JBoss 中間件趨勢 與 Red Hat JBoss
中間件趨勢 與 Red Hat JBoss
 
Intro to Python - BMI Case Practice
Intro to Python - BMI Case PracticeIntro to Python - BMI Case Practice
Intro to Python - BMI Case Practice
 
啟動你的AI工匠魂
啟動你的AI工匠魂啟動你的AI工匠魂
啟動你的AI工匠魂
 
網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930網頁爬蟲入門 Python web crawler at 淡江大學 20170930
網頁爬蟲入門 Python web crawler at 淡江大學 20170930
 
行動數位時代與商業發展趨勢
行動數位時代與商業發展趨勢行動數位時代與商業發展趨勢
行動數位時代與商業發展趨勢
 
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During CoronavirusHow Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
How Enterprises Leverage Data to Overcome Business Challenges During Coronavirus
 
The opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao Mingxing
The opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao MingxingThe opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao Mingxing
The opportunity and challenge of Enterprise Ceph - Jiaju Zhang, Gao Mingxing
 
医药企业的数字化转型 - 逻辑数据结构策略
医药企业的数字化转型 - 逻辑数据结构策略医药企业的数字化转型 - 逻辑数据结构策略
医药企业的数字化转型 - 逻辑数据结构策略
 
Realtime analytics with Flink and Druid
Realtime analytics with Flink and DruidRealtime analytics with Flink and Druid
Realtime analytics with Flink and Druid
 
Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學Data Science: Z > B 的資料科學
Data Science: Z > B 的資料科學
 
第一名 1st Bocoiops
第一名 1st Bocoiops第一名 1st Bocoiops
第一名 1st Bocoiops
 
行政院會簡報 經濟部 開放經濟資料運用案例分享(m)
行政院會簡報 經濟部 開放經濟資料運用案例分享(m)行政院會簡報 經濟部 開放經濟資料運用案例分享(m)
行政院會簡報 經濟部 開放經濟資料運用案例分享(m)
 
How to run an AI Project @pixnet
How to run an AI Project @pixnetHow to run an AI Project @pixnet
How to run an AI Project @pixnet
 
DSP 資料科學計畫簡介
DSP 資料科學計畫簡介DSP 資料科學計畫簡介
DSP 資料科學計畫簡介
 

What is data engineer?資料工程師是什麼?

Editor's Notes

  1. 個人簡介 IT領域15年經歷,不算長 經歷 2家新創產品公司 2家新創服務公司 其中兩家我是Co-funder, 其中一家新創產品公司在A round拿到美國VC 700萬美金的資金
  2. 老牌人力網站104資訊科技(簡稱104)於12月中旬揭露臺灣資料經濟人才需求最新統計結果,截至今年11月底,臺灣從事資料工作者達到40,977人,幾乎是2年前的兩倍,明年資料人才職缺則有17,166個,兩者合計後的資料經濟人才需求規模,明年將達到58 ,143人。104更預測,3年後,全臺資料經濟人才需求規模更會上看10萬人。 104依據2013至2015年旗下人力資料庫的資料經濟求職人數及資料經濟新增工作數為基準,來估算臺灣從事資料經濟人才規模。104公共事務部經理張雅惠說明,104先定義了一組資料工作相關關鍵字,包括如機器學習、資料科學、資料倉儲、資料庫等,凡是個人履歷或職缺說明的職務名稱或工作內容中者,即屬於資料經濟的需求人才。 為了進一步預測未來需求規模,104將自家「資料經濟工作者求職人數」除以104於臺灣人力銀行中的市占來加權,搭配求職率,來推算臺灣2016年的預估資料工作從業人數,再加上明年的資料工作職缺數,作為2016年臺灣全體資料經濟人才需求規模後,再利用趨勢統計模型進一步得出,2018年資料經濟人才需求規模預估達到100,522人。
  3. 軟體工程師和資料工程師是處理海量資料的第一線,因此,需求量最大,而領域專家和資料科學家儘管需求較少,但卻是企業內的關鍵決策者。