Adatbányászat Készítette: Molnár Csaba Matolcsi Zoltán Megfulladunk az információban miközben tudásra éhezünk

Mi az adatbányászat? Matematikai, statisztikai módszerek együttese, melynek célja, hogy adatbázisokban, adattárakban információkat tárjon fel. Data Mining Új távlatokat nyit meg ott, ahol a hagyományos módszerek nem elég jók Egyesíti az adatbázis-kezelés, a statisztika és a mesterséges intelligencia kutatások eredményeit.

Matematikai, statisztikai módszerek együttese, melynek célja, hogy adatbázisokban, adattárakban információkat tárjon fel.

Miért fontos az adatbányászat? A vállalatok léte múlhat az információ gyors és pontos begyűjtésén, elemzésén. “ a menedzsment kiszolgálása a hatalmas, halott vállalati adattömegben rejlő másodlagos információkkal, s a világhálózaton elhelyezett kétségbeejtő mennyiségű szemét részben automatikus átvizsgálása.” Dobay Péter Adatbányászat Az elemzők speciális eszközök nélkül , - amelyek a nagytömegű adatok feldolgozását végzik el- nem képesek értelmes döntéseket hozni.

A vállalatok léte múlhat az információ gyors és pontos begyűjtésén, elemzésén.

Az adatbányászat szükségessége Meg lehet-e jósolni a legbiztonságosabb eladást/vásárlást a következő időszakban? Eleget tesz-e az ügyfél a kölcsönnek vagy határidőre visszafizeti-e azt? Mi az orvosi diagnózisa a betegnek? Milyen nagy telefon vagy energia csúcsok következnek be? Mi az oka annak, hogy hirtelen rossz terméket gyártunk? A modern adatbányászati rendszerek a kutatott rendszer előző adatai alapján önmaguktól “tanulnak”. Amikor a tömör és értékelhető tudást feltártuk, beépíthetjük döntéstámogatási rendszerünkbe, és ennek alapján okosabb és informáltabb döntést hozhatunk.

Meg lehet-e jósolni a legbiztonságosabb eladást/vásárlást a következő időszakban?

Eleget tesz-e az ügyfél a kölcsönnek vagy határidőre visszafizeti-e azt?

Mi az orvosi diagnózisa a betegnek?

Milyen nagy telefon vagy energia csúcsok következnek be?

Mi az oka annak, hogy hirtelen rossz terméket gyártunk?

Az adatbányászat rövid története Az utóbbi 10 évben igen jelentős változásokon ment keresztül az adatelemzési “iparág”. Az elmúlt évtized közepéig a piackutatás jelentette az egyetlen megbízható forrást. A technológia fejlődése azonban lehetővé tette az adatbázisok (adattárházak) létrejöttét, ahol rendkívül nagy mennyiségű információ kerül tárolásra. Hatalmas adattemetők jöttek létre. Egyre nagyobb mértékben nőtt az adatok professzionális kielemzésének igénye. Ennek pedig alapfeltétele volt egy meglévő nagy adatbázis. Így született meg az adatbányászat

Miről szól az adatbányászat? I. Adatok elektronikus tárolása Nagy mennyiségű adat halmozódik fel. Adatbázisok A tárolt adatoknak a nagy része önmagában nem hasznos Adatokból kinyert információra van szükség Szükséglet egy új eszközre; ez pedig az adatbányászat

Miről szól az adatbányászat? II. Az adatbázisból való tudásfeltárás során adatbányászati algoritmusokat alkalmaznak. Knowledge Discovery in Databases Az algoritmusok elvégzése során “ mintákat ” fedezünk fel az adatokban. Minél több minta kinyerése, minél több adatból kinyert, minél több lekérdezés eredményeként jön létre. Ha ezt emberek végzik, akkor a folyamat lassú, drága; vagyis gazdaságtalan . Számítógép segítségével gyors és pontos eredményt:“ kincset ” állítanak elő az adatbázis adataiból

A tudásfeltárás Alkalmazási terület feltárása Adott szektor kiválasztása Adattisztítás Adatintegráció Adattér csökkentés Algoritmus típusának kiválasztása Algoritmus meghatározása Algoritmus alkalmazása Kinyert információ értelmezése A tudás megerősítése

Alkalmazási terület feltárása

Adott szektor kiválasztása

Adattisztítás

Adatintegráció

Adattér csökkentés

Algoritmus típusának kiválasztása

Algoritmus meghatározása

Algoritmus alkalmazása

Kinyert információ értelmezése

A tudás megerősítése

Megszerzett tudással szembeni elvárások Legyen: Könnyen érthető Érvényes Hasznos Újszerű A megszerzett tudás megjelenítése legalább annyira fontos, mint az összefüggések meghatározása. Akiknek szolgáltatjuk a kinyert tudást, azokat sokkal jobban megragadja egy jól elkészített ábra, mint egy matematikai struktúra.

Legyen:

Könnyen érthető

Érvényes

Hasznos

Újszerű

Az adatbányászatra vonatkozó szabványok Az adatbányászat elterjedésével, létrejött egy igény, Ezt a folyamatot valamilyen szabvány keretein belül lehessen megvalósítani CRISP-DM (Cross Industry Standard Process for Data Mining), amely leírja, hogy miként kell kinéznie egy adatbányászati projektnek, valamint ismerteti annak lépéseit. PMML (adatbányászati eredmények szabványos leírása), OLE DB for data mining (a Microsoft adatbányászati szabványa), SQL/MM (az adatbányászat ISO szabványa), JDMAPI (java szabvány).

Az adatbányászati rendszer felépítése Adatbázis, adattárház Szerver Tudás bázis Adatbányász motor Minta kiértékelő modul Grafikus felhasználói felület

Adatbázis, adattárház

Szerver

Tudás bázis

Adatbányász motor

Minta kiértékelő modul

Grafikus felhasználói felület

Az adatbányászat feladatai Gyakori minták kinyerése Attribútumok közötti kapcsolat Klaszterezés Sorozatelemzés Eltéréselemzés Webes adatbányászat

Gyakori minták kinyerése

Attribútumok közötti kapcsolat

Klaszterezés

Sorozatelemzés

Eltéréselemzés

Webes adatbányászat

Az adatbányászat feltételei Az adatbányász és a terület szakértőjének szoros együttműködése Nagy mennyiségű adat Sok attribútum Tiszta adat Torzítatlan adat Alkalmazási terület akcióképessége A befektetés megtérülésének mérhetősége

Az adatbányász és a terület szakértőjének szoros együttműködése

Nagy mennyiségű adat

Sok attribútum

Tiszta adat

Torzítatlan adat

Alkalmazási terület akcióképessége

A befektetés megtérülésének mérhetősége

Az adatbányászat felhasználási területei Bank Genom elemzés (emberi genetika) Vásárlás Akciók szervezése Online áruházak Webportálok Csillagászat Utazások Vírusölő programok Stb. Stb. Stb. Stb.

Adatbányász szoftverek I. WEKA The Waikato Environment for Knowledge Analysis Kifejezetten szövegbányászati célokra lett kifejlesztve. A WEKA egy gépi-tanulási algoritmus gyűjtemény adatbányászat céljára. Az algoritmus megjelenhet közvetlenül adathalmaz formájában, vagy előhívható a saját Java kódról. A Weka eszközöket tartalmaz az adatok könnyebb rendszerezésére, visszaalakítására, klaszterálására, emellett társítási szabályokat és megjelenítést is magába foglal. Valamint alkalmas az új gépi tanulási sémák fejlesztésére is. A programot egyébkén az Új Zélandi Waikato egyetem fejlesztette ki. Hátránya, hogy nem túlságosan felhasználóbarát. Kép __1__

Adatbányász szoftverek II. Enterprise Miner A SAS rendszer adatbányászati eszköze az Enterprise Miner. Hatékony adatbányászati megoldás, mely képes arra, hogy nagy mennyiségű adatból kivonja a tudást. Egyaránt használhatják statisztikai elemzők és üzleti specialisták. Webes bányászatra is használható. A WEB Enterprise Minerrel történő elemzésével megismerhetővé válik a felhasználók Internet használati szokásai, feltárható, milyen szabályrendszer szerint válik a látogatóból vásárló. A szoftver előnyei: Az adatbányászati folyamatot eszközkészletek segítik. A nyers adathalmazból kiindulva eljut a pontos, üzletfolyamat-központú adatbányászati modellig. Folyamatdiagramja feleslegessé teszi a kézi kódolást, s nagymértékben csökkenti a modellek létrehozását. Kép 1 2 3

Adatbányász szoftverek III. Intelligent Miner Az IBM fejlesztette adatbányászati szoftver. A szoftver segítségével elemzés céljából megjeleníthető az adatmodellezés eredménye. Az ábrázoló alkalmazások PMML formátumú bányászati modelleket tudnak feldolgozni. A PMML az adatbányászati modellek szabványos formátuma. Az XML-alapú PMML szabvány lehetővé teszi, hogy a különböző gyártók által forgalmazott alkalmazások fel tudják dolgozni egymás adatbányászati modelljeit. Kép 1 2 3

Az IBM fejlesztette adatbányászati szoftver. A szoftver segítségével elemzés céljából megjeleníthető az adatmodellezés eredménye. Az ábrázoló alkalmazások PMML formátumú bányászati modelleket tudnak feldolgozni.

A PMML az adatbányászati modellek szabványos formátuma. Az XML-alapú PMML szabvány lehetővé teszi, hogy a különböző gyártók által forgalmazott alkalmazások fel tudják dolgozni egymás adatbányászati modelljeit.

Adatbányász szoftverek IV. Clementine A Clementine adatbányászati szoftver segítségével lehetővé válik az üzleti tapasztalatokon alapuló előrejelző modellek gyors kifejlesztése, s ezeket be tudjuk illeszteni üzleti és a döntési folyamatokba is. A Clementine lehetővé teszi a meglévő befektetések megőrzését és felhasználását, valamint az elemzés beépítését az üzleti munkafolyamatba. Ezzel szemben, a konkurens adatbányászati eszközök, nem támogatják az elemzések üzleti felhasználásának folyamatát. A Clementine grafikus, interaktív folyamatmodellező felhasználói felülete lehetővé teszi az értékes modellek gyorsabb átültetését az üzleti alkalmazásba. A Clementine a leghatékonyabb adatbányászati eszköz, amely elérhető a piacon. Rugalmas modell - felhasználás jellemzi.

A Clementine adatbányászati szoftver segítségével lehetővé válik az üzleti tapasztalatokon alapuló előrejelző modellek gyors kifejlesztése, s ezeket be tudjuk illeszteni üzleti és a döntési folyamatokba is. A Clementine lehetővé teszi a meglévő befektetések megőrzését és felhasználását, valamint az elemzés beépítését az üzleti munkafolyamatba. Ezzel szemben, a konkurens adatbányászati eszközök, nem támogatják az elemzések üzleti felhasználásának folyamatát. A Clementine grafikus, interaktív folyamatmodellező felhasználói felülete lehetővé teszi az értékes modellek gyorsabb átültetését az üzleti alkalmazásba. A Clementine a leghatékonyabb adatbányászati eszköz, amely elérhető a piacon. Rugalmas modell - felhasználás jellemzi.

Adatbányászat a könyvtárakban I. A könyvtáraknak túl kell lépniük a dokumentum- és adatszolgáltatáson , hogy különböző irányú értéknövelt szolgáltatást kínálhassanak. Ennek egyik útja az adatbányászat 2 nagy adathalmaz: dokumentumok adatai és a használattal összefüggő adatbázis . Az integrált könyvtári rendszerek még nem rendelkeznek döntéstámogató modullal Egyes könyvtárak állománymenedzsment gyakorlata, a könyvtári döntéshozók vagy a könyvkiadók számára egyaránt értékes forrást jelentenek Adatbányászat (beillesztés az IKR-be)

Adatbányászat a könyvtárakban II. Tehát: érveket adhatunk a könyvtár kezébe, illetve segíthetjük az erős és gyenge pontjaik felderítésében is Bibliomining A könyvtárak számára végzett adatbányászat a könyvtári szolgáltatások adatiból előállított adatbányászati és bibliometriai alkalmazás

A könyvtári adatbányászat folyamata A cél meghatározása, a döntés előkészítése Az adatforrások meghatározása Elemzési módszer kiválasztása Minták azonosítása Az eredmények elemzése és alkalmazása Mintha ismerős lenne?!

A cél meghatározása, a döntés előkészítése

Az adatforrások meghatározása

Elemzési módszer kiválasztása

Minták azonosítása

Az eredmények elemzése és alkalmazása

Szövegbányászat “ Eddig a dokumentumokat kézzel kellett kategorizálni, de ez már a múlté…”

Szövegbányászat Adatbányászat esetében jól strukturált számszerű adatok kal dolgozunk. A szövegbányászatban strukturálatlan szöveges állományok képezik a kiindulási alapot. Ezek a módszerek nem működnek a strukturálatlan szöveges adatokon. Ezért a strukturálatlan szöveges adathalmazok hasonló célú feldolgozása más megoldásokat tesz szükségessé. Textmining Dokumentumokon végzett feldolgozási és elemzési tevékenység, melynek célja a dokumentumokban rejtetten meglévő új információk feltárása. Olyan különböző dokumentumforrásokból származó szöveges ismeretek és információk gépi intelligenciával történő kigyűjtése és reprezentációja, amely a feldolgozás előtt rejtve és feltáratlanul maradt az elemző előtt

Szövegbányászat Célja az emberi nyelvi tudás ötvözése a számítógép nagy sebességével és pontosságával A szövegbányászat az összegzéskészítő módszereket kínálja megoldásként, amelyek automatikusan összefoglalják a dokumentum tartalmát, aminek alapján a felhasználó már könnyebben tájékozódhat

A szövegbányászat folyamata Szöveg előfeldolgozása Osztályozás Szövegklaszterezés Kivonatolás

Szövegbányászati feladatok Információkinyerés Témakövetés Szöveges információk vizualizálása

Webes bányászat “ Intuícióm azt sugallja, hogy az Internet több kárt okoz, mint amennyi hasznot hajt” Stanislaw Lem Webmining

Webes bányászat “ Elmentünk az Internetre, előfizettünk az adtabázisokra, már összeszedtünk egy nagy halom adatot, rendben, de mit csináljunk vele?” A webmining az adatbányászat egyik speciális esete. A webes adatbányászat tulajdonképpen egy Internetes információkinyerő alkalmazás Ennek bemutatása több figyelmet érdemelne, mint amelyet ez az írás megengedhet magának

Weboldalak rangsorolása A weboldalak látogatottságáról napló (web-log) készül. Ezek olyan statisztikákat készítenek, melyek tájékoztatnak arról, hogy mennyi ideig tartott a látogatás, hányszor töltötték le stb. Ezeket a web-logokat elemzés alá lehet vetni, mégpedig az adatbányászat segítségével A látogatottság mérésére nem használnak adatbányászati szoftvert ilyen célból, viszont összefüggések és üzleti szabályszerűségek kinyerésére igen Miben áll a weboldal “fontossága”? Erre nem tudunk objektív választ adni

Page Rank Az 1998- óta működő Google is ezt használja és eredményesen. Az algoritmus előnye, hogy gyors és könnyen programozható. A lényeg, hogy az emberek, milyen úton jutnak el arra a weboldalra. Ezt a linkeken tudjuk mérni A következtetés átültethető egy algoritmusba is, ami a linkstruktúra alapján felállítja nekünk a sorrendet. Ez az algoritmus a Page Rank Page Rank

Hibák Zsákutca probléma A “zsákutca” esetünkben egy olyan weblap, amelyről nincs hivatkozás semmilyen irányba. Ha az algoritmus ideér leáll. Megáll a tudomány; nincs tovább.

Hibák Pókháló probléma “ Pókháló” az a rendszer, amelyben minden link az ugyanabban a rendszerben lévő lapra mutat. Röviden: több lap- egy rendszer. Egymásra hivatkoznak a lapok; visszahivatkozás. Ennek így se, füle se farka, az algoritmus nem áll le, de hamis adatot fog adni.

Reklám

Köszönjük a figyelmet!