Institute for Information Industry, Big Data Analyst Training

1. i-Stock
Create your own cashflow
ZB105 第二組
宋偉誠、廖育堂、詹皓、鄭凱文
簡妙容、袁翊娟、石詠晴

2. Agenda
• 任務分配、時程流程管控
• 專題動機與目的
• 目標客群
• 功能說明
• 專題架構
• 全體架構
• 中後端 - ETL、資料庫、Hadoop
• 前端視覺化 – R、Shiny
• 成果展示
• 結論
• 展望與建議

3. 任務分配
任務編組
主題
發想
文獻資
料蒐集
與研討
演算法
擬定
時程流
程管控
前端 中端 後端
宋偉誠 ● ● ● ● ● ● ●
廖育堂 ● ● ● ● ● ●
詹皓 ● ● ● ● ●
鄭凱文 ● ● ● ● ●
簡妙容 ● ● ●
袁翊娟 ● ● ● ●
石詠晴 ● ● ●

4. 時程流程管控

5. 專題動機與目的
• 股票投資理財風險較高，藉由不同組合投資，在不同期間的持有，篩選其
獲得較佳投資績效的操作模式。並尋得高報酬高效益且低風險的股票來投
資。
• 排除太困難、太複雜的投資組合形成方式，採用一般投資人的基本投資策
略，選大型股或過去績效表現良好的公司當做投資組合。
• 除了市場價格外，觀察具備「未來」成長性及最佳投資績效的投資組合。
• 想透過歷史股價實證來檢驗各項投資方式是否能夠獲利。

6. • 想投資賺錢但無經驗者
• 對投資理財有興趣但沒時間研究者
目標客群

7. • 名人選股法
• 技術面指標選股
• PE & PB Ratio選股法
功能說明

8. 五位股市名人
PE & PB Ratios
功能說明 - 基本派
V.S.

9. 功能說明 - 技術派
MACD
RSI DMI
KD

10. 專題架構
ETL
分析
資料庫
視覺呈現

11. 姓名：廖育堂
工作職掌：流程管控、爬蟲、資料清洗
擅長工具：Python、MySQL
最喜歡的一句話：不讓自己以外的人和你說不行

12. ETL

13. 資料來源
• 兆豐證券系統
• 台股觀測站
• 鉅亨網
• 公開資訊觀測站
• Goodinfo

14. ETL ─E
• 觀察網頁
• for x in range(0,len())
• payload

15. ETL─E
• 爬取動態式的網頁
• 無法用requests直接存取網頁內容
• 使用selenium

16. ETL ─E
• 大量且頻繁的抓取資料(1)
• 發生例外導致腳本程序尚未完成就終止
• 查詢頻繁處理：try except time.sleep()

17. ETL ─ E
• 大量且頻繁的抓取資料(2)
• 被擋IP
• 使用SafeIP

18. ETL ─E
• Session vs Cookie

19. ETL ─T
• 去除特殊符號：
• 以正規表示法找出欄位
• string.replace(',','')
• 將'2014年'變為'2014/12/31'：
• 以正規表示法找出欄位
• string.replace('xa6~','')+'/12/31'

20. 袁 翊 娟
• 本次專題負責資料庫及名人選股部分
• 擅長MySQL、Python
• 最喜歡的一句話：沒有100次的嘗試，就沒有101次
的完美

21. 名人選股法

22. • 資料為股利，財報，股價
Data

23. MySQL
• MySQLdb套件，連接資料庫
• 匯入資料
• 將各名人篩選條件之值計算出來

24. 選股原則-1
負債比率 < 35%
五年平均營業收入成長率 >= 15%
五年平均稅後淨利率 >=5%
當季季底PSR(市值營收比) <=1.5
肯尼斯‧費雪(Kenneth L.Fisher)
名人選股條件

25. 選股原則-2
三年平均營收成長率>15%
三年平均營業利益率>10%
稅後損益/股東權益總額>15%
研發費用佔營業額比率>5%
名人選股條件
麥克‧墨菲(Michael Murphy)

26. 選股原則-3
負債比率 < 20%
五年平均營收成長率 >15%
五年年平均稅後損益/五年平均股東
權益總額 >15%
本益比 < 20
名人選股條件
麥克‧喜偉(Michael Sivy)

27. 選股原則-4
營業收入成長率>15%
過去5年未分配盈餘 > 0
連續2年普通股每股現金股利>0
流動比率>200%
流動資產-長期負債>0
稅後淨利成長率>0.33
收盤價/每股盈餘<=15
近四季EPS<22.5
班傑明‧葛拉漢(Benjamin Graham)
名人選股條件

28. 選股原則-5
稅後淨利/股東權益總額>15%
5年平均稅後淨利/5年平均股東權益總額>15%
營業毛利率 >15%
本益比=股價/每股盈餘<20
(最近一期自由現金流量/5年平均自由現金流量)-1>5%
價格淨值比<2.5
華倫‧巴菲特(Warren E. Buffett)
名人選股條件

29. MySQL
• 遺漏值處理：dictionary
• 存成csv檔
再寫進資料庫

30. 鄭凱文
• 學歷：淡江大學統計學系
• 專題負責部分：中端技術指標與報酬率的運算與連接資料庫。
• 擅長使用工具：R程式、Mysql、統計相關。
• 最喜歡的一句話：尊重任何生命。

31. 技術面指標選股

32. 連接Mysql資料庫
• 使用Rmysql套件內的dbConnect()方法連接Mysql資料庫。
• 使用dbGetQuery() 來連接Mysql的指令輸入
dbGetQuery(conn,"select*from rmysql2 where compno=stock and date>'2014-12-31
00:00:00' and date<'2016-01-01 00:00:00';")
• 在SQL指令輸入原本能用雙引號('' '')的地方
變成只能使用單引號(' ')

33. 技術指標計算
• 以quantmod套件來作指標的計算。
• 四大常用指標：
• 1. MACD：DIF短天數 12日 DIF長天數 26日
MACD天數 9 日
• 2. DMI：14日
• 3. RSI ：短天數 6 日 、長天數 12日
• 4. KD：RSVt 9日、Kt 3日、Dt 3日

34. 指標說明
• MACD指標：用於判斷股票價格變化的強度、方向、能量，以
及趨勢周期。
• DMI指標：判斷波段走勢相當實用的技術分析方法。
• RSI指標：探討市場股價的漲跌，以預測股市的未來趨勢。
• KD指標：是一個用來判斷股價強弱趨勢及尋找轉折點的重要技
術指標。

35. 報酬率計算
• 報酬率公式：((X-Y)/Y)*100%
X：賣出時當天的收盤價
Y：買進時當天的收盤價
• MACD買賣時機：快線(DIF)向上突破慢線(MACD) =>買進訊號
快線(DIF)向下跌破慢線(MACD) =>賣出迅號
• RSI買賣時機 ： 當RSI值<20時 =>買進訊號
RSI值 >80時 =>賣出訊號
• DMI買賣時機 ：+DI線由下向上突破 -DI線時 =>買進訊號
+DI線由上向下跌破 -DI線時 =>賣出訊號
• KD買賣時機 ： K值 由下往上 突破D值時=>買進訊號
K值 由上往下 跌破D值時 =>賣出迅號

36. 姓名：詹皓
工作職掌：爬蟲、資料清洗、Hadoop架設、Pig程式撰寫
擅長工具：Python、SQL、Hadoop、Pig Latin、Linux
加分：遇問題不怕困難，享受透過google或stackoverflow
解決問題的成就感
證照：多益金色證書

37. My name is Hadoop.
Welcome to my zoo.
利用PER與PBR操作股票
買進訊號
賣出訊號

38. 利用Hadoop進行資料分析

39. Cloudera Manager 優點
• 方便好操作的使用者介面
有沒有圖型介面的安裝方式？

40. Cloudera Manager 優點
• 方便好操作的使用者介面
• 健康狀況的即時監控
Which node is sick？

41. Cloudera Manager 優點
• 方便好操作的使用者介面
• 健康狀況的即時監控
• 隨時增加新的功能
一步啟用新功能！

42. Cloudera Manager 優點
• 方便好操作的使用者介面
• 健康狀況的即時監控
• 隨時增加新的功能
• 一目了然的參數設置環境
再也不需要〝 vi 〞 .xml！

43. Hadoop Cluster結構
名稱 規格
作業系統 CentOS6.6
硬碟 30G
記憶體 NN:28G
DN:8G
Master
10.120.28.190
Slave1
10.120.28.191
Slave2
10.120.28.192
Slave3
10.120.28.193
50G

44. Name: Pig
Level: 78
Skill:
Good at
combining data
from multiple files
Summary:
Powerful ETL
tool for
programmers
計算本益比PER
• 目標 : 找出公司過去五年來平均PER高點與低點作為買進與
賣出訊號
• 資料筆數 : 800間上市公司 * 每年開市天數約220天 * 5個年
度約88萬筆
• 本益比 = 股價 / 每股盈餘

45. 使用Pig進行ETL
股價
每股盈餘
股價 每股盈餘
本益比
• 本益比 = 股價 / 每股盈餘
買進訊號 賣出訊號

46. 各種ETL方式的優缺點
Python SQL Pig Latin
優點 資料讀入程式後存成變
數
可輕易以JOIN語法
將不同來源的資料
合併分析
結合前兩者優點，
能隨時將資料處理
的結果寫入檔案，
且對於不同來源的
資料提供JOIN運算。缺點 資料以CURSOR取出，要
合併不同來源的資料的
邏輯較為複雜
所有的資料處理邏
輯須包在〝一個〞
SQL語句當中

47. 將HDFS上的資料倒回MySQL
SQOOP

48. 按照訊號操作股票
結論 描述
結論一 針對50支股票進
行根據訊號的操
作，一年後其中
有7支股票有交易
結論二 這7支股票的平均
逾一年內操作1.4
次，平均報酬率
為18.1%
Summary 以2015年來看，
在幾乎沒有風險
的情況下達到了
18%的高報酬

49. 石詠晴
專題負責事項: 協助前端網頁視覺化呈現與開發
專題使用工具: HTML5、CSS3
證照: TOEIC Gold Certificate

50. 資料視覺化呈現工具

51. 為何選擇互動資料視覺化 Shiny
1. Ideal combination

52. 2. Concise command, but great performance
為何選擇互動資料視覺化 Shiny

53. 為何選擇互動資料視覺化 Shiny
3. Interactive web pages (EX: 常態分布圖)

54. 為何選擇互動資料視覺化 Shiny
4. Dynamic Web Design

55. 為何選擇互動資料視覺化 Shiny
5. The time for developing the webpage is fast

56. 宋偉誠
專題負責事項:
組長、時程流程管控、演算法討論擬定、前中後端整合作業事項、
股票專業知識、基本面分析法、技術面分析法、統計分析、結論撰寫
專題開發使用工具:
R、Shiny、MySQL、HTML5、CSS3、Bootstrap、JS、Gantt chart
學位:
國立電機碩士、國立企管碩士
證照:
Cisco : CCNA、CCDA、CCNP、CCDP、WLAN SE、WLAN FE
CWNP: CWNA、CWSP、CWAP

57. Demo

58. PB

59. PE

60. 結論
名人選股法在取樣期間之報酬率不甚理想。
一年期投資組合報酬率皆低於T50
三年期投資組合平均報酬率最高高於T50約5%
五年期投資組合平均報酬率最高高於T50約2%

61. 結論
由2015年技術指標分析結果來看:
RSI6獲利效果最佳，平均報酬率約 30%。
DMI獲利效果最差，平均報酬率約 -16%。

62. 結論
PB 選股法：
共操作八支股票，平均報酬率約 16%
個股最高報酬率 約 32%
個股最低報酬率 約 6 %

63. 結論
PE 選股法：
共操作七支股票，平均報酬率約 18%
個股最高報酬率 約 57%
個股最低報酬率 約 7 %

64. 展望與建議
• 可嘗試擬定其他不同配置與投資策略，進一步驗證彼此間投資策略。
• 可探討其他期間與黑天鵝期間的股票報酬率。
(EX：金融海嘯期間、SARS期間)
• 可接續探討其它影響股票報酬的因素。
• 可以其他國家股市做為分析對象。

65. Thank you !
Ｑ＆Ａ