Introducao a machine learning na educacao

Uma introdução aMachine Learning Guilherme Silveira http://www.caelum.com.br

a idéia

a idéiaproblemasperguntas

a idéiaproblemas soluçõesperguntas respostas

quem sou eu

casa ==> caelum

decidi ir de carro

decidi ir de carro <== piada

pego o carro...

assisto o trânsito de camarote

decidi ir de metrô

quem conhece são paulo?

quem conhece são paulo?quem conhece o metrô em são paulo?

Problema?

Problema? vista interna

além do trânsito

além do trânsitominha vida pessoal

mudança

o preço dos imóveis Tamanho Preço 100 750000 200 860000está caro? 150 977000 140 81900 160 984000 180 1127000 130 638000 80 647000 40 346000

p: qual um preço justo para esse imóvel?

está caro?

regressão linear f(x) = ax + b

planilha

planilhapreço = 5053x + 57758

regressão linear f(x) = ax + b

regressão linear f(x) = ax + bpolinômios f(x) = a + bx + cx^2 + ... + dx^n

regressão linear f(x) = ax + b polinômios f(x) = a + bx + cx^2 + ... + dx^npreço = a + ... + dx^n

p: como estimar o valor de algo? possível resposta: regressão

p: como estimar o valor de algo? possível resposta: regressão p: qual a nota que o aluno vai tirar na prova ﬁnal?

p: como estimar o valor de algo? possível resposta: regressão p: qual a nota que o aluno vai tirar na prova ﬁnal?p: qual será a nota do hipólito na próxima olimpíada?

p: como estimar o valor de algo? possível resposta: regressão p: qual a nota que o aluno vai tirar na prova ﬁnal?p: qual será a nota do hipólito na próxima olimpíada? p: quanto tempo os alunos precisarão para essa prova?

simplicidade++ bizarro--

função Brad Pitt

função Brad Pitt (a função perfeita?)

e o número de dormitórios?Tamanho Preço 100 750000 200 860000 150 977000 140 81900 160 984000 180 1127000 130 638000 80 647000 40 346000

e o número de dormitórios?Tamanho Dormitório Preço 100 2 750000 200 3 860000 150 4 977000 140 3 81900 160 3 984000 180 4 1127000 130 3 638000 80 3 647000 40 1 346000

bibliotecashttp://commons.apache.org/math/http://math.nist.gov/javanumerics/jama/http://mahout.apache.org/google: language + regression

chego no trabalho

abro os emails

p: classiﬁcação

p: classiﬁcação É spamzis!

p: classiﬁcação É spamzis! Não é!

p: classiﬁcação É spamzis! 1 Não é!

p: classiﬁcação É spamzis! 1 Não é! 0

treino!

valido!

p: ele é 1?

p: ele é 1? acredito que sim, com chance de 78%

lista com 1000 itens

lista com 1000 itensclassiﬁcação humana

lista com 1000 itensclassiﬁcação treino da humana máquina

lista com 800 itens lista com 1000 itensclassiﬁcação treino da humana máquina

lista com 800 itens lista com 1000 itensclassiﬁcação treino da valida a humana máquina qualidade

lista com 800 itens lista com 1000 itens lista com 200 itensclassiﬁcação treino da valida a humana máquina qualidade

99% de acerto lista com 800 itens lista com 1000 itens lista com 200 itensclassiﬁcação treino da valida a humana máquina qualidade

p: ele é 1?r: regressão logística

p: ele é 1?r: regressão logística chance de x%

p: o email é spam?

p: o email é spam?p: o aluno está com diﬁculdade?

p: o email é spam?p: o aluno está com diﬁculdade?p: o aluno domina o conteúdo?

p: o email é spam?p: o aluno está com diﬁculdade?p: o aluno domina o conteúdo?p: qual a chance do aluno acertar esse exercício?

p: o email é spam?p: o aluno está com diﬁculdade?p: o aluno domina o conteúdo?p: qual a chance do aluno acertar esse exercício?p: qual a chance de essa imagem ser o número 3? ou 8?

p: o email é spam?p: o aluno está com diﬁculdade?p: o aluno domina o conteúdo?p: qual a chance do aluno acertar esse exercício?p: qual a chance de essa imagem ser o número 3? ou 8?p: qual a chance de essa imagem ser um cancêr?

nota: simpliﬁcações desses problemas

e o cartão de credito?

você gastou 50 dia 30 loja 15

dia valor loja30 30 1530 35 1730 100 81 37 930 2500 7

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1 treina

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1 valida

dia valor loja label30 30 15 030 35 17 0 37% de acerto30 100 8 01 37 9 030 2500 7 1 valida

dia valor loja label30 30 15 030 35 17 0 37% de acerto30 100 8 01 37 9 030 2500 7 1 eu continuo roubando valida

regressão logística é, em geral, linear ou lerdíssima

regressão logística é, em geral, linear ou lerdíssima regularização

regressão logística é, em geral, linear ou lerdíssima regularização polinômios

regressão logística é, em geral, linear ou lerdíssima regularização polinômios outras

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1

dia valor loja label30 30 15 0 treina30 35 17 030 100 8 01 37 9 030 2500 7 1

dia valor loja label30 30 15 0 treina30 35 17 030 100 8 01 37 9 030 2500 7 1 treina

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1 treinadia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1 treina

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 0 treina30 2500 7 1 treinadia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1 treina

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 0 treina30 2500 7 1 treinadia valor loja label treina30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1 treina

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 0 treina30 2500 7 1 treinadia valor loja label treina30 30 15 030 35 17 030 100 8 01 37 9 030 2500 7 1 treina treina

dia valor loja label 30 30 15 0 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 dia treina valor loja label 30 30 15 0treina 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 treina dia valor loja label 30 30 15 0 30 35 17 0 30 100 8 0treina 1 37 9 0 30 2500 7 1 treina

dia valor loja label 30 30 15 0 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 dia treina valor loja label 30 30 15 0treina 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 treina treina dia valor loja label 30 30 15 0 30 35 17 0 30 100 8 0treina 1 37 9 0 30 2500 7 1 treina

dia valor loja label treina 30 30 15 0 30 35 17 0 30 100 8 0treina 1 37 9 0 30 2500 7 1 treina treinatreina treina

87% de acerto dia valor loja label treina 30 30 15 0 30 35 17 0 30 100 8 0treina 1 37 9 0 30 2500 7 1 treina treinatreina treina

87% de acerto dia valor loja label treina 30 30 15 0 30 35 17 0 30 100 8 0 treina 1 37 9 0 30 2500 7 1 treina treina treinao seu telefone toca treina

p: o email é spam?http://neuroph.sourceforge.net/

p: o email é spam?p: essa movimentação é uma fraude? http://neuroph.sourceforge.net/

p: o email é spam?p: essa movimentação é uma fraude?p: qualquer pergunta sim/não como antes? http://neuroph.sourceforge.net/

acesso o“banco.caelum.com.br”

dia valor loja30 30 MAX PAD30 35 MUNI TR30 149 CAELUM1 499 FACULDADE30 5 BUTECO

dia valor loja o que é isso?30 30 MAX PAD30 35 MUNI TR30 149 CAELUM1 499 FACULDADE30 5 BUTECO

o que é isso?dia valor loja o que é isso?30 30 MAX PAD30 35 MUNI TR30 149 CAELUM1 499 FACULDADE30 5 BUTECO

o que é isso?dia valor loja o que é isso?30 30 MAX PAD30 35 MUNI TR30 149 CAELUM1 499 FACULDADE alimentação30 5 BUTECO

o que é isso?dia valor loja o que é isso?30 30 MAX PAD30 35 MUNI TR proﬁssional30 149 CAELUM1 499 FACULDADE alimentação30 5 BUTECO

o que é isso?dia valor loja o que é isso?30 30 MAX PAD proﬁssional30 35 MUNI TR proﬁssional30 149 CAELUM1 499 FACULDADE alimentação30 5 BUTECO

p: a movimentação 15 é?

p: a movimentação 15 éentretenimento ou não? (0 ou 1)

p: a movimentação 15 éentretenimento ou não? (0 ou 1) p: a movimentação 15 é alimentação ou não? (0 ou 1)

p: a movimentação 15 éentretenimento ou não? (0 ou 1) p: a movimentação 15 é alimentação ou não? (0 ou 1) p: a movimentação 15 é proﬁssional ou não? (0 ou 1)

dia valor loja categoria30 30 MAX PAD alimentação30 35 MUNI TR transporte30 149 CAELUM proﬁssional1 499 FACULDADE proﬁssional30 5 BUTECO alimentação

dia valor loja categoria30 30 MAX PAD alimentação30 35 MUNI TR transporte onde estão os30 149 CAELUM 0 e 1? proﬁssional1 499 FACULDADE proﬁssional30 5 BUTECO alimentação

dia valor loja categoria30 30 MAX PAD 030 35 MUNI TR 130 149 CAELUM 21 499 FACULDADE 230 5 BUTECO 0

dia valor loja categoria30 30 MAX PAD 030 35 MUNI TR 1 é 0, 1 ou 2?30 149 CAELUM 21 499 FACULDADE 230 5 BUTECO 0

dia valor loja categoria30 30 MAX PAD é30 35 MUNI TR resto30 149 CAELUM resto1 499 FACULDADE é30 5 BUTECO resto

dia valor loja categoria30 30 MAX PAD é30 35 MUNI TR resto é 0 ou o resto?30 149 CAELUM 77% resto1 499 FACULDADE é30 5 BUTECO resto

dia valor loja categoria30 30 MAX PAD resto30 35 MUNI TR é30 149 CAELUM resto1 499 FACULDADE resto30 5 BUTECO é

dia valor loja categoria30 30 MAX PAD resto30 35 MUNI TR é é 1 ou o resto?30 149 CAELUM 53% resto1 499 FACULDADE resto30 5 BUTECO é

dia valor loja categoria30 30 MAX PAD resto30 35 MUNI TR resto30 149 CAELUM é1 499 FACULDADE é30 5 BUTECO resto

dia valor loja categoria30 30 MAX PAD resto30 35 MUNI TR resto é 2 ou o resto?30 149 CAELUM 64% é1 499 FACULDADE é30 5 BUTECO resto

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 130 2500 7 0dia valor loja label30 30 15 130 35 17 030 100 8 01 37 9 030 2500 7 1dia valor loja label30 30 15 030 35 17 130 100 8 11 37 9 030 2500 7 0

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 130 2500 7 0 entretenimentodia valor loja label30 30 15 130 35 17 030 100 8 01 37 9 030 2500 7 1dia valor loja label30 30 15 030 35 17 130 100 8 11 37 9 030 2500 7 0

dia valor loja label30 30 15 030 35 17 030 100 8 01 37 9 130 2500 7 0 entretenimentodia valor loja label30 30 15 130 35 17 030 100 8 01 37 9 030 2500 7 1 alimentaçãodia valor loja label30 30 15 030 35 17 130 100 8 11 37 9 030 2500 7 0

dia valor loja label 30 30 15 0 30 35 17 0 30 100 8 0 1 37 9 1 30 2500 7 0entretenimento dia valor loja label 30 30 15 1 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 alimentação dia valor loja label 30 30 15 0 30 35 17 1 30 100 8 1 1 37 9 0 30 2500 7 0 proﬁssional

dia valor loja label 30 30 15 0 30 35 17 077% 30 100 8 0 1 37 9 1 30 2500 7 0 entretenimento dia valor loja label 30 30 15 1 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 alimentação dia valor loja label 30 30 15 0 30 35 17 1 30 100 8 1 1 37 9 0 30 2500 7 0 proﬁssional

dia valor loja label 30 30 15 0 30 35 17 077% 30 100 8 0 1 37 9 1 30 2500 7 0 entretenimento dia valor loja label 30 30 15 153% 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 alimentação dia valor loja label 30 30 15 0 30 35 17 1 30 100 8 1 1 37 9 0 30 2500 7 0 proﬁssional

dia valor loja label 30 30 15 0 30 35 17 077% 30 100 8 0 1 37 9 1 30 2500 7 0 entretenimento dia valor loja label 30 30 15 153% 30 35 17 0 30 100 8 0 1 37 9 0 30 2500 7 1 alimentação dia valor loja label 30 30 15 064% 30 35 17 1 30 100 8 1 1 37 9 0 30 2500 7 0 proﬁssional

77% entretenimento53% treina alimentação64% proﬁssional

entretenimento treina alimentação proﬁssional

entretenimentoentretenimento treina alimentação proﬁssional

entretenimentoentretenimento treina alimentação você ﬁcou esperando o outro robô aparecer né? proﬁssional

One vs All

p: dentre as categorias A,B,C a qual categoria ele pertence?

p: dentre as categorias A,B,C a qual categoria ele pertence? p: o aluno está motivado, desanimado, desiludido, decepcionado, contente ou malandrão?

o aluno não terminou :(

será que eu poderia ter ajudado ele?

qto tempo em cada exercício?

qto tempo em cada exercício? alunos = [] alunos << [12, 150, 3, 15] alunos << [4, 170, 32, 25] alunos << [1, 10, 3, 25] alunos << [12, 20, 31, 15]

se ele termina o curso em 3 meses ou não

se ele termina o curso em 3 meses ou nãoalunos = []alunos << [12, 150, 3, 15]alunos << [4, 170, 32, 25]alunos << [1, 10, 3, 25]alunos << [12, 20, 31, 15]

se ele termina o curso em 3 meses ou nãoalunos = []alunos << [12, 150, 3, 15]alunos << [4, 170, 32, 25]alunos << [1, 10, 3, 25]alunos << [12, 20, 31, 15] labels = [1, 1, 0, 0]

treina

e o guilherme?

e o guilherme?guilherme = [6, 140, 25, 10]

e o guilherme?guilherme = [6, 140, 25, 10]model.predict(Node.features(guilherme))

adivinhe!

dados fake

dados fakealunos = []alunos << [12, 150, 3, 15]alunos << [4, 170, 32, 25]alunos << [1, 10, 3, 25]alunos << [12, 20, 31, 15]

dados fakealunos = []alunos << [12, 150, 3, 15]alunos << [4, 170, 32, 25]alunos << [1, 10, 3, 25]alunos << [12, 20, 31, 15] labels = [1, 1, 0, 0]

dados reais

dados reaisC utilizado ACERTOS NO TREINO PREVISOES COM AC0.08! 93.18%! 85.71%

dados reaisC utilizado ACERTOS NO TREINO PREVISOES COM AC0.08! 93.18%! 85.71%C utilizado! ! ACERTOS NO TREINO!PREVISOES0.001! ! ! 70.45454545454545!61.904761904761900.04! ! ! 88.63636363636364!71.428571428571430.08! ! ! 93.18181818181819!85.714285714285710.2! ! ! 100.0! ! ! 100.0

SVM para classiﬁcar (0,1, ...)

p: dentre as categorias A,B,C a qual categoria ele pertence?

p: dentre as categorias A,B,C a qual categoria ele pertence?p: o aluno vai desistir do curso? p: essa pessoa tem perﬁl de terrorista?

grupos de alunos

user id 15 ?? user id 17

user id 15 ?? user id 17user id 15 ?==? user id 17

user id 15 ?? user id 17 user id 15 ?==? user id 17333784321236738126783 ?==? 1238793923832178612397

user id 15 ?? user id 17 user id 15 ?==? user id 17333784321236738126783 ?==? 1238793923832178612397 diﬁculdade != facilidade

características em comum

características em comum altura???

características em comumnúmero de respostas erradas altura???

características em comumnúmero de respostas erradas altura??? tempo gasto

características em comumnúmero de respostas erradas altura??? tempo gasto número de exercícios feitos

características em comumnúmero de respostas erradas altura??? tempo gasto número de exercícios feitos feedbacks dados

características em comumnúmero de respostas erradas altura??? tempo gasto número de exercícios feitos feedbacks dados notas de feedback recebidos

características em comumnúmero de respostas erradas altura??? tempo gasto número de exercícios feitos feedbacks dados notas de feedback recebidos likes

características em comumnúmero de respostas erradas altura??? tempo gasto número de exercícios feitos feedbacks dados notas de feedback recebidos likes cursos

características em comumnúmero de respostas erradas altura??? tempo gasto número de exercícios feitos feedbacks dados notas de feedback recebidos likes cursos quantidade de caracteres

joga no plano

olha eles aqui!

chuta um pontoX X

genialX X

melhoraX X

melhoraX X X

melhoraX X X X

e melhora...

e melhora...e melhora...

e melhora...e melhora...e melhora...

e melhora...e melhora...e melhora...e melhora...

e melhora...e melhora...e melhora...e melhora...e melhora...

e melhora...e melhora...e melhora...e melhora...e melhora...e melhora...

e melhora...e melhora...e melhora...e melhora...e melhora...e melhora...e melhora...

esses são os grupos

grupos esperados:muitas perguntas, poucos erros, muitos erros poucas perguntas poucos erros, poucas perguntas, ajuda bastante

grupos esperados:Xmuitas perguntas, poucos erros, muitos erros poucas perguntas poucos erros, poucas perguntas, ajuda bastante

grupos esperados:X Xmuitas perguntas, poucos erros, muitos erros poucas perguntas poucos erros, poucas perguntas, ajuda bastante

grupos esperados:X Xmuitas perguntas, poucos erros, muitos erros poucas perguntas X poucos erros, poucas perguntas, ajuda bastante

grupos encontrados:

grupos encontrados:muitas perguntas, poucos erros

grupos encontrados:muitas perguntas, muitos erros, poucos erros poucas perguntas

grupos encontrados:muitas perguntas, muitos erros, poucos erros poucas perguntas muitos erros, poucas perguntas, ajuda bastante

grupos encontrados:muitas perguntas, muitos erros, poucos erros poucas perguntas muitos erros, poucas perguntas, ajuda bastante entre outros

p: como meus _____ se agrupam?

p: como meus _____ se agrupam? p: como os alunos se comportam?

p: como meus _____ se agrupam? p: como os alunos se comportam?p: como os instrutores se comportam?

p: como meus _____ se agrupam? p: como os alunos se comportam?p: como os instrutores se comportam?p: como os exercícios se comportam?

p: como meus clientes se agrupam?

p: como meus clientes se agrupam?p: como meus produtos se agrupam?

p: como meus clientes se agrupam?p: como meus produtos se agrupam?p: como minhas features se agrupam?

p: como meus clientes se agrupam?p: como meus produtos se agrupam?p: como minhas features se agrupam?p: como os clientes usam o sistema?

resumindo

machine learning

machine learningregressão linear

machine learningregressão linear classiﬁcadores

machine learningregressão linear classiﬁcadores redes neurais

machine learningregressão linear classiﬁcadores redes neurais logistic

machine learningregressão linear classiﬁcadores redes neurais logistic k-cluster

a média de bugs de umaequipe é X

a média de bugs de umaequipe é X“nessa equipe está Y”metricminer.org.br

se usar o computador

se usar o computador não dirija

se beber não dirija

se ler, não dirija

se falar, não dirija

“carros” automáticos

detectando...

detectando... margem de erro

o que você quer saber sobre um cliente?

o que você quer saber sobre um cliente?o que o cliente quer saber sobre ele mesmo?

o que você quer saber sobre um cliente? o que o cliente quer saber sobre ele mesmo?como os clientes se agrupam?

o que você quer saber sobre um cliente? o que o cliente quer saber sobre ele mesmo?como os clientes se agrupam?como seus itens se agrupam?

o que você quer saber sobre um cliente? o que o cliente quer saber sobre ele mesmo?como os clientes se agrupam?como seus itens se agrupam? quando o cliente fará algo?

nós respondemos 2

nós respondemos 2 levante as suas

obrigado 1guilherme.silveira@caelum.com.br@guilhermecaelumhttp://caelum.com.br/online

Introducao a machine learning na educacao

by Guilherme Silveira on Aug 07, 2012

Accessibility

Categories

Upload Details

Usage Rights

2 Embeds 3

Statistics

Introducao a machine learning na educacao Presentation Transcript

https://si0.twimg.com	2
https://twimg0-a.akamaihd.net	1