Download as PDF, PPTX
![# https://github.com/daugaard/linear-regression
# gem install ruby_linear_regression
require 'ruby_linear_regression'
x_data = [ [1,1], [2,2], [3,3], [4,4] ]
y_data = [ 1,2,3,4 ]
linear_regression = RubyLinearRegression.new
linear_regression.load_training_data(x_data, y_data)
linear_regression.train_gradient_descent(0.0005, 1000, true)
prediction_x = [5, 5]
prediction_y = linear_regression.predict(prediction_x)
puts prediction_y](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-47-320.jpg)
![# gem install liblinear-ruby
# https://github.com/kei500/liblinear-ruby
# https://www.practicalai.io/implementing-classification-using-
logistic-regression-in-ruby/
require 'liblinear'
model = Liblinear.train(
{ solver_type: Liblinear::L2R_LR }, # L2-regularized logistic
[-1, -1, 1, 1], # labels
[[-2, -2], [-1, -1], [1, 1], [2, 2]], # training data
)
puts Liblinear.predict(model, [0.5, 0.5])](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-50-320.jpg)
![# https://github.com/igrigorik/decisiontree
# gem install decisiontree
# gem install graphr
require 'decisiontree'
attributes = ['Age', 'Education', 'Income', 'Marital Status']
training = [
['36-55', 'Masters', 'High', 'Single', 1],
['18-35', 'High School', 'Low', 'Single', 0],
['< 18', 'High School', 'Low', 'Married', 1]
]
dec_tree = DecisionTree::ID3Tree.new(attributes, training,
1, :discrete)
dec_tree.train
test = ['< 18', 'High School', 'Low', 'Single', 0]
decision = dec_tree.predict(test)
puts "Predicted: #{decision} ... True decision: #{test.last}";
dec_tree.graph("discrete")](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-54-320.jpg)
![# gem install rb-libsvm
# https://www.practicalai.io/implementing-classification-using-a-svm-
in-ruby/
require 'libsvm'
# This library is namespaced.
problem = Libsvm::Problem.new
parameter = Libsvm::SvmParameter.new
parameter.cache_size = 1 # in megabytes
parameter.eps = 0.001
parameter.c = 10
examples = [ [1,0,1], [-1,0,-1] ].map {|ary|
Libsvm::Node.features(ary) }
labels = [1, -1]
problem.set_examples(labels, examples)
model = Libsvm::Model.train(problem, parameter)
pred = model.predict(Libsvm::Node.features(1, 1, 1))
puts "Example [1, 1, 1] - Predicted #{pred}"](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-56-320.jpg)
![One-Hot-Encoding
• 例例如 { “IE”, “Chrome”, “Safari” } 三个分类
• 转成三种 features
• “IE” => [ 1 0 0 ]
• “Chrome” => [ 0 1 0 ]
• “Safari” => [ 0 0 1 ]
• 如果维度太多，可以考虑进⼀一步做 Feature Hashing](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-67-320.jpg)
![Bag of Words (词袋模型)
(1) John likes to watch movies. Mary likes movies too.
(2) John also likes to watch football games.
[1, 2, 1, 1, 2, 0, 0, 0, 1, 1]
[1, 1, 1, 1, 0, 1, 1, 1, 0, 0]
[
"John",
"likes",
"to",
"watch",
"movies",
"also",
"football",
"games",
"Mary",
"too"
]
https://zh.wikipedia.org/zh-cn/词袋模型](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-69-320.jpg)
![# https://github.com/tangledpath/ruby-fann
require 'ruby-fann'
train = RubyFann::TrainData.new(:inputs=>[[0.3, 0.4, 0.5], [0.1,
0.2, 0.3]], :desired_outputs=>[[0.7], [0.8]])
fann = RubyFann::Standard.new(:num_inputs=>3, :hidden_neurons=>[2,
8, 4, 3, 4], :num_outputs=>1)
fann.train_on_data(train, 1000, 10, 0.1) # 1000 max_epochs, 10
errors between reports and 0.1 desired MSE (mean-squared-error)
puts fann.run([0.3, 0.2, 0.4])](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-110-320.jpg)
![model = Sequential()
model.add(Dense(512, input_shape=(784,)))
model.add(Activation('relu'))
model.add(Dropout(0.2))
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.2))
model.add(Dense(10))
model.add(Activation('softmax'))
model.summary()
model.compile(loss='categorical_crossentropy',
optimizer=RMSprop(),
metrics=['accuracy'])
history = model.fit(X_train, Y_train,
batch_size=batch_size, nb_epoch=nb_epoch,
verbose=1, validation_data=(X_test, Y_test))
score = model.evaluate(X_test, Y_test, verbose=0)
print('Test score:', score[0])
print('Test accuracy:', score[1])](https://image.slidesharecdn.com/ml-in-rails-171014033304/85/A-brief-introduction-to-Machine-Learning-125-320.jpg)
Uploaded byWen-Tien Chang
A brief introduction to Machine Learning
本文件介绍了机器学习的基础知识，包括机器学习的定义、分类、以及如何搭建机器学习系统。文中讨论了各种常见的机器学习算法和流程，从数据收集到模型评估的完整过程。同时还提到了解决过拟合和欠拟合的方法，以及在实际应用中的挑战。
A brief introduction to Machine Learning
- 1. A brief introductionto Machine Learning https://ihower.tw RubyConf China 2017
- 2. 我是谁 • 张⽂文钿 a.k.a.ihower • https://ihower.tw • Ruby on Rails 实战圣经 作者 • 全栈营研究员 • Ruby Developer user since 2006 • 过去两年年业余关注机器学习技术
- 4. Agenda • 什什么是机器学习 • 搭建机器学习系统 •什什么是深度学习 • 如何在 Rails 项⽬目中使⽤用机器学习
- 5.
- 6. 要解决什什么问题? • 如何判断是不是垃圾邮件? • 如何预测⼴广告点击率? • 如何分类客户评论的情绪? • 如何推荐客户想买的东⻄西? • 如何辨识语⾳音? • 如何辨识图片?
- 7.
- 8.
- 9.
- 10.
- 11. 历史数据 年年紀 性別 資產⾏行行業 … 會不會買 21 M 120 … 會 50 F 800 … 不會 41 F 400 … 會 35 M 300 … 會 36 M 500 … 不會 28 M 60 … 不會 55 F 950 … 會
- 12. 转换成训练数据 X1 (Feature 1) X2 (Feature 2) Y (Label答案) 21 120 1 50 800 -1 41 400 1 35 300 1 36 500 -1 28 60 -1 55 950 1
- 13. 感知器(Perceptron) 例例如，在⼆二维(两个 features )的情况： 拿第⼀一个数据来看，希望预测的结果是1 如果是 d 维(d个 features )的情况：
- 14. 怎么求权重 w ? 假设只有两个feature，就会是个⼆二维问题可以做图⽰示意 Credit: 林林軒⽥田老師 http://www.csie.ntu.edu.tw/~htlin/mooc/ 機器學習課程
- 15. Credit: 林林軒⽥田老師 http://www.csie.ntu.edu.tw/~htlin/mooc/機器學習課程 怎么求权重 w ? 假设只有两个 feature，就会是个⼆二维问题可以做图⽰示意
- 16. Perceptron Learning Algorithm (PLA) • 先假设w = 0，然后依序走访所有分错的点 X_n • 让 让下⼀一个 w 朝分错的点偏移 • 最后的 w 就是解 Credit: 林林軒⽥田老師 http://www.csie.ntu.edu.tw/~htlin/mooc/ 機器學習課程
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28. Pocket PLA • 不⼀一定线性可分 • 改成随机找⼀一个错误的点 • 在有限的次数内，找最好的w Credit: 林林軒⽥田老師http://www.csie.ntu.edu.tw/~htlin/mooc/ 機器學習課程
- 29.
- 30. 机器学习的种类 • 监督式学习 (Supervised Learning) • 半监督式学习(Semi-supervised Learning) • 非监督式学习 (Unsupervised Learning) • 强化学习 (Reinforcement Learning)
- 31. 监督式学习 数据中有答案(label) 让算法可以学习 • 分类(Classification) • ⼆二元分类 • 多元分类 • 回归 (Regression) 数值 • 价格 • 下雨机率
- 32.
- 33. 非監督式學習 数据中没答案，需要算法⾃自⼰己找出数据中隐藏的结构或规则 • 分群(Clustering) • K-means算法 • 异常值侦测 • 深度学习 ⽣生成对抗⽹网络(GAN) • ⽤用于模仿图片、视频等 Credit: https://en.wikipedia.org/wiki/Cluster_analysis
- 34.
- 35. 常⻅见的监督式学习算法 • Linear Regression、Linear Classifier • Logistic Regression • Decision Tree、Random forest • Naive Bayes classifiers • Support Vector Machine (SVM) • Artificial Neural Network (ANN)
- 36. 线性回归(Linear Regression) • 优化均⽅方误差 • 有公式解 • 但数据量量⼤大时，会改⽤用 Gradient Descent 梯度下降法
- 37. Gradient Descent 已知 f(w)如何找出最⼩小值 w ? Image Credit: edX BerkeleyX: CS190.1x Scalable Machine Learning
- 46.
- 47. # https://github.com/daugaard/linear-regression # geminstall ruby_linear_regression require 'ruby_linear_regression' x_data = [ [1,1], [2,2], [3,3], [4,4] ] y_data = [ 1,2,3,4 ] linear_regression = RubyLinearRegression.new linear_regression.load_training_data(x_data, y_data) linear_regression.train_gradient_descent(0.0005, 1000, true) prediction_x = [5, 5] prediction_y = linear_regression.predict(prediction_x) puts prediction_y
- 48. Nonlinear Transformation 非线性变换 • 例例如⼆二次⽅方变换，把 扩展成 Credit:林林軒⽥田老師 http://www.csie.ntu.edu.tw/~htlin/mooc/ 機器學習課程
- 49. Logistic Regression • 输出 0~1的值 • ⽤用于机率预测、⻛风险、可能性，⼜又叫 "soft" binary classification
- 50. # gem installliblinear-ruby # https://github.com/kei500/liblinear-ruby # https://www.practicalai.io/implementing-classification-using- logistic-regression-in-ruby/ require 'liblinear' model = Liblinear.train( { solver_type: Liblinear::L2R_LR }, # L2-regularized logistic [-1, -1, 1, 1], # labels [[-2, -2], [-1, -1], [1, 1], [2, 2]], # training data ) puts Liblinear.predict(model, [0.5, 0.5])
- 51. Binary 推⼴广到 Mutilclass • OVA(One-Versus-All) 或叫做 One-vs-Rest (OvR) • 有多少类别就各做⼀一次 binary classification • 选分类机率最⼤大的
- 52.
- 53.
- 54. # https://github.com/igrigorik/decisiontree # geminstall decisiontree # gem install graphr require 'decisiontree' attributes = ['Age', 'Education', 'Income', 'Marital Status'] training = [ ['36-55', 'Masters', 'High', 'Single', 1], ['18-35', 'High School', 'Low', 'Single', 0], ['< 18', 'High School', 'Low', 'Married', 1] ] dec_tree = DecisionTree::ID3Tree.new(attributes, training, 1, :discrete) dec_tree.train test = ['< 18', 'High School', 'Low', 'Single', 0] decision = dec_tree.predict(test) puts "Predicted: #{decision} ... True decision: #{test.last}"; dec_tree.graph("discrete")
- 55. ⽀支持向量量機 SVM (Support VectorMachine) • 如何让分类器更更能抵抗杂讯？找⼀一条最胖(margin)的线 • 离边界最近的点就决定线 (这些点就叫做 support vector candidate)，其他点不影响结果 • 优点：精确度好、但计算很花时间，不适合巨量量数据 Credit: 林林軒⽥田老師 http://www.csie.ntu.edu.tw/~htlin/mooc/ 機器學習課程
- 56. # gem installrb-libsvm # https://www.practicalai.io/implementing-classification-using-a-svm- in-ruby/ require 'libsvm' # This library is namespaced. problem = Libsvm::Problem.new parameter = Libsvm::SvmParameter.new parameter.cache_size = 1 # in megabytes parameter.eps = 0.001 parameter.c = 10 examples = [ [1,0,1], [-1,0,-1] ].map {|ary| Libsvm::Node.features(ary) } labels = [1, -1] problem.set_examples(labels, examples) model = Libsvm::Model.train(problem, parameter) pred = model.predict(Libsvm::Node.features(1, 1, 1)) puts "Example [1, 1, 1] - Predicted #{pred}"
- 57.
- 58.
- 59.
- 60.
- 61.
- 62. • 数据如何收集? • 会不会有缺漏或错误?数据需要清理理 • Features 如何决定? 把所有 Features 全部丢进算法可以吗? • 计算需要数字，可是很多数据是字符串串啊 • 原始数据怎么处理理？例例如图片、影像、声⾳音 • 有的 feature 数字很⼤大、有的 feature 数字很⼩小怎么办? • 如何挑选和评估模型? • 如何整合进应⽤用中? • 数据量量超级⼤大怎么办?
- 63.
- 64. 机器学习的完整流程 • 数据收集、撷取 • 数据探索(Exploratory data analysis)、视觉化 • 数据清理理、预处理理 • 数据切分 (Train data, Test data) • 选择算法、建立模型、评估模型 • 整合进应⽤用程序 (或进⾏行行发表)
- 65. 数据撷取、收集 • 爬⾍虫 (HTML) • 结构化的数据 • 数据库 • 非结构化的数据 • 图片、声⾳音、⽂文字
- 66. 预处理理 • 缺失值处理理: 删除或补全 • 标准化数值 • 让平均是0、标准差是 1 • 让不同 features 的数值能够公平，消除数量量级的影响 • 类别 (categorical) 资料编码 • 有顺序的，可⽤用数字 • 没顺序的，⽤用 one-hot encoding
- 67. One-Hot-Encoding • 例例如 {“IE”, “Chrome”, “Safari” } 三个分类 • 转成三种 features • “IE” => [ 1 0 0 ] • “Chrome” => [ 0 1 0 ] • “Safari” => [ 0 0 1 ] • 如果维度太多，可以考虑进⼀一步做 Feature Hashing
- 68. Feature Extraction (特征萃取) • 将数据中有利利于分类的特征撷取出来， 可能需要将数据视觉化，帮助 我们理理解数据进⾏行行挑选 • 需要 Domain Knowledge，引入額外特徵 • 已知⽤用⼾戶 Geolocation，增加該地點的⼈人⼝口統計數據(平均收入、⼈人 ⼝口密度等等) • 家庭⽤用電隨著溫度升⾼高，因此預測⽤用電量量時，應該把溫度加入特徵 • 原始数据若若是非数字的，需要想办法撷取出数字特征 • 例例如：图片/声⾳音/⾃自然语⾔言⽂文字
- 69. Bag of Words(词袋模型) (1) John likes to watch movies. Mary likes movies too. (2) John also likes to watch football games. [1, 2, 1, 1, 2, 0, 0, 0, 1, 1] [1, 1, 1, 1, 0, 1, 1, 1, 0, 0] [ "John", "likes", "to", "watch", "movies", "also", "football", "games", "Mary", "too" ] https://zh.wikipedia.org/zh-cn/词袋模型
- 70.
- 71. Overfitting 过拟合现象 Image Credit:edX BerkeleyX: CS190.1x Scalable Machine Learning
- 72. Overfitting 过拟合现象 Credit: 林林軒⽥田老師http://www.csie.ntu.edu.tw/~htlin/mooc/ 機器學習課程
- 73.
- 74.
- 75.
- 76. Overfitting 怎么解? • 当 features太多，或模型太厉害的时候 • Overfitting 怎么解 • 减少 features，挑选真正有⽤用的 • 减少模型复杂度，例例如增加 regularization 正则化、剪枝、 Early Stop…etc 在计算过程中去惩罚复杂模型
- 77. Underfitting 怎么解? • 当 Trainingdataset 和 Validation dataset 准确率都不⾼高时 • 增加 features、增加⾼高次⽅方变项 • 模型不够复杂，换更更厉害的算法 • 数据太少，想办法增加数据
- 78. 数据切分和模型评估 如何得知⽬目前是⽋欠拟合还是过拟合？需要仪表板 • 切分 TrainingDataset 和 Testing Dataset，通常约 7:3 • 当 Training dataset 跟 Validation dataset 准确率都不好 => Underfitting • 当 Training dataset 准确率提⾼高，但是 Validation dataset 准确率 却下降时 => Overfitting • 如何挑选和评估模型? • 需要换不同 model 进⾏行行实验 • 如果⽤用 Gradient Descent 梯度下降法：需要调整超参数
- 79.
- 80. 现成的 Ruby ML⼯工具 • ⽤用法都不同 • 缺乏 预处理理功能 • 缺乏 Cross-Validation 功能 • 缺乏维护.... • 很像是 Toy Project…
- 81. Sorry… Ruby 没办法做个流程 ⽬目前主流是 Python和 R 语⾔言 😵
- 83. Python ⼯工具介紹 • Scikit-learn:Python 的 Machine Learning 框架 • Pandas: 提供 Data frames 數據分析 • Matplotlib 視覺化⼯工具 • Jupyter notebook 實驗簿 • PySpark ⼤大數據處理理
- 84. Scikit-learn • Scikit-learn 提供⼀一致的數據格式 •提供各種機器學習和預處理理算法，可以在相同的介⾯面下進 ⾏行行快速實驗 • 已是⾏行行業標準
- 85.
- 86.
- 89.
- 103.
- 104.
- 105.
- 106.
- 107.
- 108.
- 109. MNIST 数据集：⼿手写数字辨识 • 28*28=784 pixel • 假設有⼀一層Hidden layer 有 100 個 Neuron • 784*100+100*10 = 约八万个权重值 • 学习过程要很久，但是预测很快 http://yann.lecun.com/exdb/mnist/
- 110. # https://github.com/tangledpath/ruby-fann require 'ruby-fann' train= RubyFann::TrainData.new(:inputs=>[[0.3, 0.4, 0.5], [0.1, 0.2, 0.3]], :desired_outputs=>[[0.7], [0.8]]) fann = RubyFann::Standard.new(:num_inputs=>3, :hidden_neurons=>[2, 8, 4, 3, 4], :num_outputs=>1) fann.train_on_data(train, 1000, 10, 0.1) # 1000 max_epochs, 10 errors between reports and 0.1 desired MSE (mean-squared-error) puts fann.run([0.3, 0.2, 0.4])
- 111.
- 113.
- 114.
- 118. 卷积神经⽹网络 • Convolutional NeuralNetwork (CNN) • ANN 做圖片辨識做不好，計算量量太⼤大 • CNN 針對圖片的特性做調整 • Convolution Layer • Max pooling Credit: 李宏毅 深度學習課程
- 119.
- 120.
- 121.
- 122. 深度学习⼯工具 • Google 的Tensorflow • Facebook 的 Caffe • 微軟的 CNTK • MXNet (Amazon官⽅方推薦) • PyTorch • Theano
- 123. 硬件战场 • Nvidia GPU(CUDA 架構) • Google TPU • Intel Movidius • Apple “Neural Engine” chip (iPhone X)
- 124. Keras • https://keras.io • ⼀一个⾼高阶的API，底层可以跑 TensorFlow、CNTK 或 Theano
- 125. model = Sequential() model.add(Dense(512,input_shape=(784,))) model.add(Activation('relu')) model.add(Dropout(0.2)) model.add(Dense(512)) model.add(Activation('relu')) model.add(Dropout(0.2)) model.add(Dense(10)) model.add(Activation('softmax')) model.summary() model.compile(loss='categorical_crossentropy', optimizer=RMSprop(), metrics=['accuracy']) history = model.fit(X_train, Y_train, batch_size=batch_size, nb_epoch=nb_epoch, verbose=1, validation_data=(X_test, Y_test)) score = model.evaluate(X_test, Y_test, verbose=0) print('Test score:', score[0]) print('Test accuracy:', score[1])
- 127.
- 128. 训练部分 • 继续⽤用 Ruby (areyou serious?) • ⽤用 Python 或 R ⽅方案 • ⼤大数据：⽤用 Apache Spark
- 129. 预测部分 • 汇出 model参数，⽤用 Ruby 实作预测 • But…. How about feature engineering part? • 调⽤用 Python 程序 • Web API ⽅方案: ⽤用 flask • RPC ⽅方案 grpc • pycall 直接調⽤用 python function • 第三⽅方 API (GCP,AWS,Azure)
- 130.
- 131. Cloud Solution • AmazonWeb Service • Google Cloud Platform • Microsoft Azure
- 133. Google Cloud • ⽤用⾃自⼰己的资料做训练 • Cloud Machine Learning Engine • Machine Learning as API ⽤用现成的模型 • Cloud Vision • Cloud Speech • Cloud Natural Language • Cloud Translation API • Cloud Video Intelligence
- 139. # gem installgoogle-cloud-vision # export GOOGLE_CLOUD_PROJECT=“<project-id>“ # export GOOGLE_CLOUD_KEYFILE=“<json-key-file>“ require "google/cloud/vision" vision = Google::Cloud::Vision.new image = vision.image "demo-image.jpg" puts image.labels https://cloud.google.com/vision/
- 142.
- 143. ⼀一些想法 • 数据科学家(Data Scientist) v.s.数据⼯工程师(Data Engineer) • 不⼀一定要成为数据科学家才能利利⽤用机器学习 • A.I. is a feature，we will just use it as a gem • ⼯工程师及早参与，最后才能成功进入产品，⽽而不是只是数据 科学报告
- 144. 如何学机器学习 • Top-down 或 bottom-up学习法? • 机器学习开发者的现代化路路径：不需要从统计学微积分 开始 http://www.csdn.net/article/2015-08-27/2825551 https://machinelearningmastery.com/dont-implement- machine-learning-algorithms/ • Coursera 的机器学习课程则偏理理论
- 145. 参考资料 • 台灣⼤大學 林林軒⽥田/ 機器學習基⽯石、機器學習技術 http://www.csie.ntu.edu.tw/~htlin/mooc/ • 台灣⼤大學 李宏毅 / ⼀一天搞懂深度學習 https://www.slideshare.net/tw_dsconf/ss-62245351 • edX BerkeleyX: CS190.1x Scalable Machine Learning • SciRuby Machine Learning Current Status and Future https://speakerdeck.com/mrkn/sciruby-machine-learning-current-status-and-future • 李俊良 / Feature Engineering in Machine Learning https://www.slideshare.net/tw_dsconf/feature-engineering-in-machine-learning • Python Machine Learning, Packt Publishing • Data Science from Scratch, O’Reilly