這是本學期我在政大圖檔所專題討論課程中介紹的內容,主題是「用Weka實作多變項時間序列預測」。傳統的時間序列分析(time series analysis)著重於以統計為主的ARIMA模型,分析過程著重於模型的選擇與判斷,一般僅以時間變項進行預測。Weka則是從資料探勘中迴歸(regression)的角度來實作時間序列預測(time series forecasting),使用的預測演算法可以是線性迴歸(Linear Regression)、類神經網路預測(MultilayerPerceptron)、或支持向量機迴歸(SMOreg),甚至可以加入疊加變項(overlay),就能實作多變項的時間序列預測。
網頁爬蟲入門 Python web crawler at 淡江大學 20170930Tim Hong
Python crawler, web spider by python
In this tutorial, we will learn how to use basic python language to write a sample script, and 2 sample crawler by using library like "Requests","Beautiful soup" and pandas
淡江大學 基礎爬蟲課程
這是本學期我在政大圖檔所專題討論課程中介紹的內容,主題是「用Weka實作多變項時間序列預測」。傳統的時間序列分析(time series analysis)著重於以統計為主的ARIMA模型,分析過程著重於模型的選擇與判斷,一般僅以時間變項進行預測。Weka則是從資料探勘中迴歸(regression)的角度來實作時間序列預測(time series forecasting),使用的預測演算法可以是線性迴歸(Linear Regression)、類神經網路預測(MultilayerPerceptron)、或支持向量機迴歸(SMOreg),甚至可以加入疊加變項(overlay),就能實作多變項的時間序列預測。
網頁爬蟲入門 Python web crawler at 淡江大學 20170930Tim Hong
Python crawler, web spider by python
In this tutorial, we will learn how to use basic python language to write a sample script, and 2 sample crawler by using library like "Requests","Beautiful soup" and pandas
淡江大學 基礎爬蟲課程
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...Etu Solution
講者:SYSTEX 數據加值應用發展部產品經理 | 陶靖霖
議題簡介:認清現實吧! Big Data 是個熱門詞彙、熱門議題,但是問題的核心仍然圍繞在資料處理的流程、架構與技術,要踏入 Big Data 的領域,使用者會遭遇哪些挑戰? Splunk 被譽為「全球最佳的 Big Data Company」,究竟在資料處理的流程中擁有什麼獨特的技術優勢,能夠幫助使用者克服這些挑戰?又有哪些成功幫助使用者從資料中萃取出價值的應用案例?歡迎來認識 Splunk 以及全球 Big Data 成功案例。
Big data, big challenge- splunk 幫你解決 big data 議題帶來的挑戰Ching-Lin Tao
講者:SYSTEX 數據加值應用發展部產品經理 | 陶靖霖
議題簡介:認清現實吧! Big Data 是個熱門詞彙、熱門議題,但是問題的核心仍然圍繞在資料處理的流程、架構與技術,要踏入 Big Data 的領域,使用者會遭遇哪些挑戰? Splunk 被譽為「全球最佳的 Big Data Company」,究竟在資料處理的流程中擁有什麼獨特的技術優勢,能夠幫助使用者克服這些挑戰?又有哪些成功幫助使用者從資料中萃取出價值的應用案例?歡迎來認識 Splunk 以及全球 Big Data 成功案例。
Impressed Structure In Deep Learning
Multi-task Learning
Domain adaptation
Transfer learning
GAN
AnoGAN, Anomaly GAN
Reinforcement learning
Capsule, Spiking NN
Black-box In Deep Learning
LIME, Local interpretable model-agnostic explanations
LRP, Layer-wise relevance propagation
Advantage of Statistics In Deep Learning
9. SQL, Structure Query Language
9
• SQL:用於資料庫中的標準資料查詢語言
CREATE TABLE new
SELECT t1.id, t1.age, t1.sex, t2.income
FROM old_A as t1, old_B as t2
WHERE t1.id = t2.id
11. SQL, Structure Query Language
11
• SQL 基礎上為 7 個指令,固定的輸入位置和執行順序
順序 位置 意義
1 CREATE 放新表格的名字
6 SELECT 選需要的變數
2 FROM 從那些表格得到資料,會牽涉到 JOIN
3 WHERE 條件式篩選資料,ex. 年紀 > 60
4 GROUP BY 分群計算,ex. 總和
5 HAVING 篩選分群計算的結果,ex. 總和 > 60
7 ORDER BY 排序資料
12. SQL, Structure Query Language
12
• Example: 從舊表格部分的欄位建立新表格
old_A
id area age sex
1 S 5 male
2 N 20 female
3 S 30 male
4 S 10 female
5 N 60 male
6 E 90 female
new
id area
1 S
2 N
3 S
4 S
5 N
6 E
13. SQL, Structure Query Language
13
• Example: 從舊表格部分的欄位建立新表格
• A:
– Note.選擇所有或指定 table 中所有的欄位
CREATE TABLE new
SELECT t1.id, t1.area
FROM old_A as t1
SELECT t1.*
41. Linux & VM, virtual machine
41
• 當聽到 Linux 這個單字時,你或許會想像一個滿臉鬍渣
的軟體工程師對著漆黑的螢幕輸入難解的程式碼
• 但很不幸的是,新技術一開始都只支援 Linux 和 Mac
等可以支援到 Windows,至少一年過去了
• 所以還是學一下 Linux 吧