Apache Hadoop în conjuncţie cu Mahout<br />Budăi Steliana:steliana.budai@infoiasi.ro                                      ...
poate rula in trei moduri diferite, depinzand de modul de distributie al proceselor:
modul implicit: totul e rulat de un proces java
pseudo distribuit ruleaza pe o singura masina cu diferiti demoni Handoop rulati ca procese java diferite
distribuit complet sau modul cluster  o masina din cluster este NameNod(are grija de namespace, ) ul si alta este JobTrake...
implementează paradigma map reduce, care se bazeaza pe faptul ca aplicaţia este divizată în mici fragmente fiecare din ele...
Map: ofera functionalitate pentru procesare datelor de tip cheie valoare pentru a genera perechi de tip cheie valoare pent...
Reduce: include functionalitate pentru colecatrea output ului de la map - uri de procesare paralele si crearea otputului d...
 ofera un sistem de fisiere distribuit care stochează datele pe noduri. Atat map/reduce cat şi fişierele de sistem distrib...
se foloseste de variabile de predictie care pot fi numerice sau de alt tip
este echivalentul discriminator pentru Bayes naiv. Nu modelează probabilitatea datei de input cum face acesta, deci nu poa...
Upcoming SlideShare
Loading in …5
×

Hadoop Mahout Budai Steliana

1,351 views
1,271 views

Published on

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,351
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
28
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Hadoop Mahout Budai Steliana

  1. 1. Apache Hadoop în conjuncţie cu Mahout<br />Budăi Steliana:steliana.budai@infoiasi.ro <br />Odata cu cresterea masivă, atat a datelor structurate cat si a celor nestructurate, apare nevoia de a sti ce se află in aceste date. Invatarea automată este folosita pentru a afla ce este în aceste date cu un input uman minim. Construit peste Apache Handoop, Mahout rezolvă o serie de probleme de învăţare automată folosind terabytes de date pe mii de calculatoare<br />Keywords: Mahout, Hadoop, clasificare, Bayes, SVM<br />Ce este Handoop?<br />Căutarea informaţiilor pe web folosind Google sau Yahoo se face foarte repede deoarece se foloseste algoritmul Map Reduce. Acesta este o tehnologie porprietară. Apache vine cu un framework map reduce propriu numit Hadoop<br />Apache Hadoop este un framework java ce ofera posibilitatea aplicaţiilor să lucreze cu mii de noduri si cantitaţi mari de date. Handoop este un proiect Apache fiind folosit şi construit de o comunitate formată din persoane din intreaga lume. Yahoo are cea mai mare contributie la acest proiect, folosind Handoop la cautări si publicitate. Alti contribuitori sunt Google si IBM, care il folosesc pentru cursuri universitare si programare distribuită.<br />Trăsaturi Handoop<br /><ul><li>este un framework pentru rularea aplicaţiilor pe clustere, oferind aplicaţiilor siguranţa şi posobilitatea de a migra datele
  2. 2. poate rula in trei moduri diferite, depinzand de modul de distributie al proceselor:
  3. 3. modul implicit: totul e rulat de un proces java
  4. 4. pseudo distribuit ruleaza pe o singura masina cu diferiti demoni Handoop rulati ca procese java diferite
  5. 5. distribuit complet sau modul cluster o masina din cluster este NameNod(are grija de namespace, ) ul si alta este JobTraker - ul
  6. 6. implementează paradigma map reduce, care se bazeaza pe faptul ca aplicaţia este divizată în mici fragmente fiecare din ele putand fi executată sau reexecutată pe fiecare nod din cluster. Map Reduce este o combinatie a funcţiilor map() şi reduce()
  7. 7. Map: ofera functionalitate pentru procesare datelor de tip cheie valoare pentru a genera perechi de tip cheie valoare pentru output
  8. 8. Reduce: include functionalitate pentru colecatrea output ului de la map - uri de procesare paralele si crearea otputului din datele colectate.
  9. 9. ofera un sistem de fisiere distribuit care stochează datele pe noduri. Atat map/reduce cat şi fişierele de sistem distribuite sunt create astfel încat eşecurile din noduri sunt tratate de framework</li></ul>Exemplu Map Reduce pentru transformarea textului cu spaţii în text fără spaţii<br />public static class Map extends MapReduceBase<br />implements Mapper<LongWritable, Text, Text, Text> {<br />private Text initialText = new Text();<br />private Text textTransformed = new Text();<br />public void map(LongWritable key, Text inputs,<br />OutputCollector<Text,Text>output, Reporter reporter) throws IOException {<br />String input = inputs.toString();<br />intş length = input.length();<br /> String transformed = new String();<br />for(int i=length-1; i>=0; i--){<br />if(input.get(i)!=” ”)<br />transformed+= input.charAt(i));<br />}<br />initialText.set(inputString);<br />textTransformed.set(transformed);<br />output.collect(inputText,reverseText);<br />}<br />}<br />public static class Reduce extends MapReduceBase<br />implements Reducer<Text, Text, Text, Text> {<br />public void reduce(Text key, Iterator<Text> values,<br />OutputCollector<Text, Text> output,Reporter reporter) throws IOException {<br />while (values.hasNext()) {<br />output.collect(key, values.next());<br />}<br />}<br />}<br />Mahout<br />Ce este Mahout?<br />Subproiect Hadoop pentru dezvoltarea algoritmilor de învatare automată scalabili, comerciali. Numele a fost ales in respect fata de Handoop, al cărui logo este un elefant. Mahout inseamna om care conduce un elefant.<br />La momentul actual Mahout oferă support pentru următoarele: <br />recomandare : învată din comportamentul user-ului şi încearcă să găsească ce i-ar place user-ului;<br />clustering: se grupează documente text si se pun în grupuri de documente înrudite;<br />clasificare: se învată din documentele existente cum arată un document de un anumit tip, fiind capabil ulterior sa eticheteze un anumit document intr-o anumită categorie.<br />Exemple practice<br />separarea informatiei importante de spam;<br />Fig 1: proiect Apahe ce încearcă să identifice spamul<br /> gruparea stirilor in funcţie de tema;<br /> gasirea programatorilor cu interese similare;<br /> descoperirea grupurilor cu rezultate de cautare inrudite;<br />sortarea dupa relevanţă.<br />Ce este Clasificarea?<br />Clasificarea: se învată din categoriile de documente existente cum arată documentele de o anumita categorie; dat fiind un nou document acesta va fi asignat cu uşrinţă unei categorii.<br />Exemplu de folosire al clasificarii<br />avem: un motor de cautare se vrea: indexarea paginiolor pe o anumita temă<br />recomandarea clipurilor video<br />Fig 2: rezultat al căutării pe You Tube al cuvantului Scrubs<br />RSS (imput:canale RSS, output: adu – mi pe cel mai nou si mai bun)<br />Fig3: imaginea preluată de la adresa http://cwiki.apache.org/MAHOUT/bookstutorialstalks.data/froscon.pdf<br />recomandare de ziare noi(input: ziare preferate si lista de noi aparitii, output: recomandare de ziare noi )<br />Fig 4: imagine preluată de la adresa http://cwiki.apache.org/MAHOUT/bookstutorialstalks.data/froscon.pdf<br />oferirea de suport pentru debug<br />poate face cautarea de job – uri mai uşoara(gasirea de job – uri postate pe internet şi extragerea automată a locului, titlului, datei)<br />Fig 5: imagine preluată de la adresa http://cwiki.apache.org/MAHOUT/bookstutorialstalks.data/froscon.pdf<br />agregarea informatiei(input: date gasite pe site uri sociale si motoare de cautare obisnuite, output: informatii despre o persoana sau firma)<br />convertirea de text scris de mană în text pe calculator<br />Algoritmi pentru clasificare<br />Regresie Logistică<br /><ul><li>se bazeaza pe predicţia probabilitatii de indeplinire a unui eveniment
  10. 10. se foloseste de variabile de predictie care pot fi numerice sau de alt tip
  11. 11. este echivalentul discriminator pentru Bayes naiv. Nu modelează probabilitatea datei de input cum face acesta, deci nu poate face presupuneri false despre ditribuţia datelor de input</li></ul>Naive Bayes<br /><ul><li>Naive Bayes este rapid si usor de implementat, faţa de alţi algoritmi care sunt mai putin eronaţi, dar mult mai lenţi.</li></ul>Este cel mai des intalnit la filtrele de spam. In ciuda simplităţii şi a presupunerilor naïve, s – a dovedit a fi foarte bun in practică. Pentru a fi clasificate obiectele sunt reprezentate prin caracteristici numerice:<br />Exemplu :<br />la email spam: fiecare caracteristica indică daca un anumit cuvant este prezent sau nu in mail.<br />Algoritmul are doua parti invatare si aplicare.<br />Inainte de a se putea rula trainer – ul trebuie efectuată o muncă de pregătire pentru a seta o serie de documente pentru training şi un set de documente pentru testare. <br />WikipediaDatasetCreatorDriver, inclus in sursele Mahout împarte documentele în funcţie categorii de interes. Categoria de interes poate fi orice categorie Wikipedia validă. <br />Fie domeniile de interes moda, stiinţa, sport. Orice categorie Wikipedia care are o categorie din acestea trei va fi pus într – un grup împreună cu alte documente din aceeaşi categorie. Fiecare document este normalizat si ii este eliminată punctuaţia si alte elemente de care nu este nevoie pentru a face clasificarea. Documentele de test şi training nu trebuie sa fie aceleaşi.<br />Dupa ce datele de test şi de training sunt setate se poat rula TrainClassifier, care va încerca să clasifice documentele. Va rezulta o cantitate mare de loguri atat de la Mahout cat şi de la Hadoop. Output ul testului este un set de date numit matrice de confuzie. Aceasta descrie cate rezultate au fost correct clasificate şi cate incorrect pentru fiecare categorie.<br />Se observa că aproximati 75% din date sunt corecte , ceea ce e mult mai bine decat ghicire random.<br />In timpul invatarii, algoritmului ii este atasat un set de vectori, fiecare dintre ei fiind clasificat clasei careuia ii apartine obiectul. Din aceasta este dedusa combinatia de caracteristici ce apare in mod fecvent in spam – uri. Avand aceasta informati este uşor de dedus daca un mesaj este spam sau nu.<br />Acest algoritm face numeroase presupuneri neadevarate despre date: un exemplu: se consider că toate caracteristicile obiectului sunt independente(contraexemplu: fie data fraza “Statuia Libertatii" aceasta nu influenteaza probabilitatea de vedea grupul de cuvinte”New York”)<br />Naive Bayes Complementar<br />încearcă să corecteze unele dintre problemele clasificatorului Bayes Naiv, dar în acelaşi timp încearcă să menţină simplicitatea şi viteza<br />SVM<br /><ul><li>Fiecare obiect este considerta un punct intr - un spatiu n - dimensional, n fiind numarul de atribute
  12. 12. folosite pentru descirerea obiectelor;
  13. 13. fiecarui punct ii este asignat un label, exemplu true sau false.
  14. 14. în timpul invatarii se incearca sa se gaseasca un hiperplan ce separa elementele true de cele false.
  15. 15. cum uneori este imposibil să se facă acest lucru, se va găsi hiperplanul care cauzeaza cele mai putine erori</li></ul>Perceptron şi Winnow<br />ambii algoritmi sunt clasificatori simpli comparabili . Fiind date informaţii de antrenament într un spatiu n-dimensional ce e adnotat cu etichete binare, ei garantează gasirea unui hiperplan separator dacă există<br />In contrast cu Perceptron, Winnow lucrează doar pe vectori binari <br />Desi algoritmii sunt simpli merg foarte bine pentru clasificare de text si sunt rapid de antrenat chiar pentru dat seturi uriase. Spre deosebire de Naive Bayes nu se bazeaza pe presupunerea ca toate atributele sunt independente<br />Retele neuronale<br />sunt folosite pentru clasificarea obiectelor multi dimensionale;acestea sunt capabile sa invete nu numai hiperplane separatoare liniare ci si legaturi de decizie arbitrare<br />Random Forests<br /> este nevoie de cross validare sau un test separat pt a estima erorile, acestea fiind estimate intern in timpul rulării<br />pasii algoritmului:<br />adunarea paginilor web<br />asignarea de etichete: “in tema” sau “in afara temei”<br />generarea de vectori de proprietati a paginilor web(parsarea textului si imbunatatirea vectorilor cu ajutorul cuvintelor gasite)<br />antrenarea unor algoritmi <br />aplicarea algoritmilor antrenati unor date noi <br />zXyFiecare pagina web este un punct intr – un spatiu multi dimensional<br />Figura 1: spaţiul multidimensional al paginilor web<br />Pros si Cons Mahout<br />Pros<br />Mahout scaleaza sesiunile de training cu implementarea handoop <br />Mahout este Open Source<br />Cons:<br />nu scaleaza conform asteptarilor<br />scalabilitatea este obtinuta folosind o panta<br />panta standard pe recomandare nu este foarte exactă(exemple: Netflix test: succes -3%  (0.98RMSE)), <br />comparat cu alti algoritmi ce nu sunt inclusi in Mahout Factorizarea Matricilor (Netflix test: suces: 8.4% (0.87 RMSE))<br />implementare ineficienta<br />consum de memorie si resurse enorm<br />doar filtrare colaborativa<br />doar algoritmi standard<br />Referinte<br />http://en.wikipedia.org/wiki/Hadoop <br />http://jeffeastman.blogspot.com/2008/03/what-is-mahout.html <br />http://isabel-drost.de/hadoop/slides/google.pdf <br />http://ml-site.grantingersoll.com/index.php?title=Incubator_proposal <br />http://people.csail.mit.edu/jrennie/papers/icml03-nb.pdf <br />http://denizoktar.wordpress.com/2009/08/03/mahout-review-by-iletken/ <br />http://cwiki.apache.org/MAHOUT/bookstutorialstalks.data/froscon.pdf <br />http://www.eu.apachecon.com/page_attachments/0000/0179/PG_20090313.pdf <br />http://lucene.apache.org/mahout <br />http://www.ibm.com/developerworks/java/library/j-mahout/index.html<br />http://www.javaworld.com/javaworld/jw-09-2008/jw-09-hadoop.html?page=4<br />

×