Your SlideShare is downloading. ×
0
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Gegevensbanken 2010 les12
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Gegevensbanken 2010 les12

483

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
483
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
30
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide
  • http://seanm.ca/mosaic/mosaic.gif
  • http://www.brimediation.ch/graphics/Zeigefinger.jpg
  • http://www.familienbande-genealogie.de/vorlagen/images/fb_person_index_rtf_005T.png
  • Mbt = met betrekking tot; ivm = in verband met; verhouding = relation; t.o.v. = ten opzichte van verhouding van # records dat gebruikt wordt door een toepassing t.o.v. totaal # records van het bestand Het totaal nummer
  • Dünn (ijle lucht)
  • Das sollten sie selbst ableiten können
  • Hier ist die Animationsreihenfolge gut!
  • Transcript

    • 1. Gegevensbanken 2010 Indexstructuren Bettina Berendt www.cs.kuleuven.be/~berendt
    • 2. Indexstructuren: Motivatie & Samenvatting
    • 3. Waar zijn we? Fysisch model / vragen Les Nr. wie wat 1 ED intro, ER 2 ED EER 3 ED relational model 4 ED mapping EER2relational 5 KV relational algebra, relational calculus 6 KV SQL 7 KV vervolg SQL 8 KV demo Access, QBE, JDBC 9 KV functional dependencies and normalisation 10 KV functional dependencies and normalisation 11 BB file structures and hashing 12 BB indexing I 13 BB indexing II and higher-dimensional structures 14 BB query processing 15 BB transaction 16 BB query security 17 BB Data warehousing and mining 18 ED XML, oodb, multimedia db
    • 4. Herhaling: Bestandsorganisatie <ul><li>Vraag : Waar/hoe gegevens plaatsen? </li></ul><ul><li>Antwoord : Zo plaatsen dat de kost van operaties geminimaliseerd wordt (zoeken, invoegen, verwijderen, ...) </li></ul><ul><li>Randvoorwaarde: fysica - alles moet ergens zijn, en alles is op een plaats. </li></ul> Door de juiste bestandsorganisatie wordt effici ë nt zoeken volgens de „primaire“, fysische structuur mogelijk
    • 5. Dit was ook een goed idee voor het Web <ul><li>... maar nu willen we toch een beetje anders zoeken ... </li></ul>zoeken 1994: lineair of binair
    • 6. Hoe werkt dat? Indexstructuren (hier: volledig geïnverteerde bestanden)  Door indexstructuren wordt effici ë nt zoeken ook volgens andere criteria (velden) mogelijk
    • 7. Gegevens zijn als … een goed boek (1) Primaire index Bestandsorganisatie
    • 8. Gegevens zijn als een goed boek (2) Secundaire index 1 Secundaire index 2
    • 9. Gegevens zijn als een goed boek (3) Multi-niveau index
    • 10. PS: Dit is ook een index (of: we moeten nog dingen van de vorige les vervolledigen) * als bruin: bucket 1 * als groen: bucket 2
    • 11. [Nog iets over les #11] Herhaling: Belangrijke parameters m.b.t. bestandsverwerking <ul><li>Bestandsactiviteit (file activity) </li></ul><ul><li># records dat gebruikt wordt door een toepassing / totaal # records van het bestand </li></ul><ul><li>Bestandsveranderingsgraad (file volatility) </li></ul><ul><li># records dat in een bepaalde periode een verandering ondergaat / totaal # records van het bestand </li></ul><ul><li>Bestandsverloop of vervangingsgraad (file turnover) </li></ul><ul><li># records dat in een bepaalde periode vervangen wordt door nieuwe records / totaal # records van het bestand </li></ul><ul><li>Bestandsgroei (file growth) </li></ul><ul><li>toename van # records gedurende een bepaalde periode / het oorspronkelijk totaal # records </li></ul>
    • 12. Oefening: Vervolledig de tabel! hoge bestands... Bestands- organisatie activiteit veranderings- graad vervangings- graad groei ongeordend geordend direct
    • 13. Agenda Indexen: definitie Soorten indexen Indexen met meerdere niveaus Boomstructuren als indexen Indexen op meerdere velden
    • 14. Agenda Indexen: definitie Soorten indexen Indexen met meerdere niveaus Boomstructuren als indexen Indexen op meerdere velden
    • 15. Indexstructuren <ul><li>Definitie: </li></ul><ul><ul><li>een index op een bestand </li></ul></ul><ul><li>= een gegevensstructuur die de toegang op dat bestand via een bepaald veld (of een groep velden) efficiënter maakt </li></ul><ul><ul><ul><li>d.w.z.: laat efficiënt zoeken naar een bepaalde waarde van dat veld toe </li></ul></ul></ul><ul><ul><ul><li>vgl.: woordenlijst achteraan boek, fichebak in bibliotheek, ... </li></ul></ul></ul><ul><li>Index kan opgeslagen zijn: </li></ul><ul><ul><li>in centraal geheugen (enkel redelijk kleine indexen) </li></ul></ul><ul><ul><li>in een bestand in het externe geheugen </li></ul></ul>
    • 16. Vb.: Op welke velden zouden het nuttig zijn om een index te plaatsen?
    • 17. Agenda Indexen: definitie Soorten indexen Indexen met meerdere niveaus Boomstructuren als indexen Indexen op meerdere velden
    • 18. <ul><li>primaire index : index op veld dat </li></ul><ul><ul><li>de ordening van het bestand bepaalt </li></ul></ul><ul><ul><li>records uniek ge ï dentificeerd (d.w.z. elke waarde voor het veld is uniek) </li></ul></ul><ul><li>clusterindex : index op veld dat </li></ul><ul><ul><li>de ordening van het bestand bepaalt </li></ul></ul><ul><ul><li>niet noodzakelijk unieke waarden </li></ul></ul><ul><li>secundaire index : index op een ander veld dan dat wat de ordening bepaalt </li></ul>Soorten indexen Sluiten elkaar uit
    • 19. Primaire indexen: voorbeeld } 1 blok
    • 20. Primaire indexen <ul><li>Primaire index: </li></ul><ul><ul><li>bestand </li></ul></ul><ul><ul><ul><li>met vaste lengte records </li></ul></ul></ul><ul><ul><ul><li>fysisch geordend volgens de sleutelwaarden </li></ul></ul></ul><ul><ul><li>index: bevat 1 record per blok in het gegevensbestand: </li></ul></ul><ul><ul><ul><li>sleutel van &quot;ankerrecord&quot; van het blok (= eerste of laatste record in het blok) </li></ul></ul></ul><ul><ul><ul><li>adres van het blok </li></ul></ul></ul><ul><ul><li>Gegeven een sleutelwaarde, kan adres van blok waar overeenkomstig record zit, gevonden worden door zoeken in index i.p.v. gegevensbestand </li></ul></ul><ul><ul><ul><li>d.i. dankzij de ordening in het bestand </li></ul></ul></ul>
    • 21. Eigenschappen en voordelen <ul><li>index bevat kleinere records dan gegevensbestand </li></ul><ul><ul><li>enkel sleutel + adres, geen andere info </li></ul></ul><ul><li>index bevat meestal minder records dan gegevensbestand </li></ul><ul><ul><li>is een niet-dichte of ijle (nondense, sparse) index </li></ul></ul><ul><li> index is kleiner dan gegevensbestand </li></ul><ul><li> doorlopen van index gaat sneller dan doorlopen van gegevensbestand </li></ul><ul><li> veel minder toegang tot schijf nodig </li></ul>+
    • 22. Probleem en oplossing <ul><li>Toevoegen / weglaten van gegevens: nu ingewikkelder! </li></ul><ul><ul><li>Naast gegevensbestand ook index aanpassen </li></ul></ul><ul><ul><ul><li>ankerrecords kunnen veranderen </li></ul></ul></ul><ul><ul><li>Oplossing: </li></ul></ul><ul><ul><ul><li>voor toevoegen: overloopgebieden </li></ul></ul></ul><ul><ul><ul><li>voor weglaten: markeren van weggelaten records </li></ul></ul></ul><ul><ul><ul><li>na een tijdje: reorganisatie </li></ul></ul></ul>-
    • 23. Berekening van performantie van indexen <ul><li>Berekening van tijdswinst door index </li></ul><ul><ul><li>Toegang tot hoeveel blokken is nodig? </li></ul></ul><ul><li>Gegevensbestand gekenmerkt door </li></ul><ul><ul><li># records r </li></ul></ul><ul><ul><li># blokken b =  (r / bfr)  </li></ul></ul><ul><ul><li>recordlengte R </li></ul></ul><ul><ul><li>bloklengte B </li></ul></ul><ul><ul><li>blocking factor bfr =  B / R  (hoeveel records in één blok?) </li></ul></ul><ul><li>Indexbestand : analoog r i , b i , R i , B i , bfr i </li></ul><ul><ul><li>meestal B i = B </li></ul></ul><ul><ul><li>met ankerrecords: r i = b </li></ul></ul><ul><ul><li>dichte index: r i = r </li></ul></ul>
    • 24. Voorbeeld 1 (1): de gegevens <ul><li>Geordend gegevensbestand: </li></ul><ul><ul><li>r = 30 000 </li></ul></ul><ul><ul><li>R = 100 bytes, B = 1 024 bytes </li></ul></ul><ul><li> bfr =  1024 / 100  = 10 </li></ul><ul><ul><li>b =  r / bfr  =  30 000 / 10  = 3 000 </li></ul></ul><ul><li>Binair zoeken op gegevensbestand: </li></ul><ul><ul><li># schijftoegangen =  log 2 b  =  log 2 3 000  = 12 </li></ul></ul>
    • 25. Voorbeeld 1 (2): primaire index <ul><li>Indexbestand: </li></ul><ul><ul><li>vb. sleutel = 9 bytes, blokadres = 6 bytes </li></ul></ul><ul><ul><li>R i = 9 + 6 = 15 bytes </li></ul></ul><ul><li> bfr i =  1024 / 15  = 68 </li></ul><ul><ul><li>r i = b = 3 000 </li></ul></ul><ul><li> b i =  r i / bfr i  =  3 000 / 68  = 45 </li></ul><ul><li>binair zoeken op indexbestand: </li></ul><ul><ul><li># schijftoegangen =  log 2 b i  =  log 2 45  = 6 </li></ul></ul><ul><li>Uiteindelijk ook nog blok met gegevens inlezen: </li></ul><ul><ul><li>1 extra blok  7 in totaal (i.p.v. 12) </li></ul></ul>
    • 26. Clusterindex <ul><li>Gegevensbestand </li></ul><ul><ul><li>fysisch geordend volgens veld dat niet uniek is </li></ul></ul><ul><ul><ul><li>dat veld is dus geen sleutel </li></ul></ul></ul><ul><ul><ul><li>wel &quot;clusterveld&quot; genoemd </li></ul></ul></ul><ul><ul><ul><li>(records met zelfde waarde voor dat veld zitten gegroepeerd) </li></ul></ul></ul><ul><li>Clusterindex: </li></ul><ul><ul><li>per waarde van clusterveld 1 wijzer naar blok waar eerste record met die waarde voorkomt </li></ul></ul><ul><li> ijle index </li></ul>
    • 27. Clusterindexen: voorbeeld
    • 28. Probleem en oplossing <ul><li>Toevoegen </li></ul><ul><ul><li>records schuiven op  verandering blokadressen in index </li></ul></ul><ul><ul><li>kan opgelost worden door aparte blokken te gebruiken voor de verschillende waarden </li></ul></ul>
    • 29. Secundaire index <ul><li>Index op een ander veld dan het veld dat de ordening bepaalt </li></ul><ul><ul><li>index zelf is wel geordend volgens dat veld </li></ul></ul><ul><ul><li>veld kan al dan niet een sleutel zijn </li></ul></ul><ul><li>Indien dit een secundair-sleutel-veld is: </li></ul><ul><ul><li>1 record in index per record in gegevensbestand </li></ul></ul><ul><ul><ul><li>geen ordening  enkel ankerrecords is onvoldoende </li></ul></ul></ul><ul><li> dichte index </li></ul><ul><ul><li>nog steeds kleiner dan gegevensbestand omdat records zelf kleiner zijn (maar minder spectaculair) </li></ul></ul>+
    • 30. Secundaire index op sleutelveld: voorbeeld
    • 31. Voordelen <ul><li>Hoewel index zeer groot kan zijn: toch grote tijdswinst </li></ul><ul><ul><li>index is geordend  binair zoeken mogelijk </li></ul></ul><ul><ul><li>vs. gegevensbestand: lineair zoeken nodig! </li></ul></ul><ul><li>Eens blok gevonden: enkel nog lineair zoeken binnen blok </li></ul><ul><ul><li>in intern geheugen  gaat snel </li></ul></ul><ul><ul><li>bfr meestal relatief klein </li></ul></ul><ul><li> verwaarloosbaar vs. inlezen van blokken </li></ul>+ +
    • 32. Voorbeeld 1 (3): dichte secundaire index <ul><li>Uit het vorige voorbeeld: </li></ul><ul><ul><li>r = 30 000, R = 100 bytes, B = 1 024 bytes, b = 3 000 </li></ul></ul><ul><li>Lineair zoeken in dit bestand: </li></ul><ul><ul><li>gemiddeld b / 2 = 1 500 blokken inlezen </li></ul></ul><ul><li>Met (dichte) secundaire index: </li></ul><ul><ul><li>stel veld 9 bytes, adres 6 bytes  R i =15 </li></ul></ul><ul><ul><li>r i = r = 30 000, </li></ul></ul><ul><ul><li>bfr i = 68  b i = 30 000 / 68 = 442 </li></ul></ul><ul><ul><li>binair zoeken :  log 2 b i  =  log 2 442  = 9 blokken </li></ul></ul><ul><ul><ul><li>opmerking: controle of record voorkomt, bij dichte index, kan zonder gegevens zelf in te lezen </li></ul></ul></ul><ul><ul><li>+ 1 voor gegevens zelf : 10 blokken lezen (i.p.v.1500) </li></ul></ul>
    • 33. Secundaire index op niet-sleutel veld <ul><li>dichte index </li></ul><ul><ul><li>elke waarde komt even vaak in index voor als in gegevensbestand </li></ul></ul><ul><li>index met variabele lengte records </li></ul><ul><ul><li>per waarde een lijst wijzers naar blokken </li></ul></ul><ul><li>index met verwijzingen naar blok recordwijzers </li></ul><ul><ul><li>m.a.w. 1 adres per waarde </li></ul></ul><ul><ul><li>adres wijst naar blok (evt. lijst van blokken) met wijzers naar blokken in gegevensbestand </li></ul></ul><ul><li> 1 indirectie meer </li></ul>
    • 34. Secundaire index op niet- sleutelveld: voorbeeld
    • 35. Voor- en nadelen van 2-niveau indexen <ul><li>toevoegen / weglaten is veel gemakkelijker </li></ul><ul><li>1 extra blok te lezen </li></ul>+ -
    • 36. Overzicht indexen Indexveld is Indextype (op veldtype ) # index records dicht of ijl Blokanker op Gege- vensbestand (GB) ? ordenend veld primair (sleutel) # blokken in GB ijl ja clustering (niet-sleutel) # verschillende indexveld-waarden ijl ja / neen niet- ordenend veld secundair (sleutel) # records in GB dicht neen secundair (niet-sleutel) # records in GB of # verschillende indexveld-waarden dicht of ijl neen Anker : blok hangt vast aan sleutel (bemoeilijkt toevoegen / weglaten)
    • 37. Agenda Indexen: definitie Soorten indexen Indexen met meerdere niveaus Boomstructuren als indexen Indexen op meerdere velden
    • 38. Indexen met meerdere niveaus <ul><li>Principe: </li></ul><ul><ul><li>Gewone index op gegevensbestand kan nog steeds groot zijn </li></ul></ul><ul><ul><li> opnieuw een index bouwen bovenop deze index </li></ul></ul><ul><ul><ul><li>laat toe waarden sneller terug te vinden in deze index </li></ul></ul></ul><ul><ul><ul><li>= niveau 2 index </li></ul></ul></ul><ul><ul><li>eventueel hierbovenop nog een index, enz. </li></ul></ul><ul><ul><li>tot top-index maar 1 blok groot is </li></ul></ul><ul><li>Blocking factor bfr i even groot voor alle indexen </li></ul><ul><ul><li>= &quot;fan-out&quot; (fo) </li></ul></ul>
    • 39.  
    • 40. Hoeveel blokken op welk niveau? <ul><ul><li>1 e niveau: </li></ul></ul><ul><ul><ul><li>r 1 = r records   r 1 / fo  blokken </li></ul></ul></ul><ul><ul><li>2 e niveau: </li></ul></ul><ul><ul><ul><li>r 2 =  r 1 / fo  records   r 2 / fo    r 1 / fo 2  blokken </li></ul></ul></ul><ul><ul><li>k e niveau: </li></ul></ul><ul><ul><ul><li>r k   r 1 / fo k  blokken </li></ul></ul></ul><ul><ul><li>hoogste niveau </li></ul></ul><ul><ul><ul><li>1 blok </li></ul></ul></ul><ul><ul><li> aantal niveaus t   log fo (r 1 )  </li></ul></ul><ul><ul><ul><li>vgl. met  log 2 (r 1 )  voor binair zoeken </li></ul></ul></ul><ul><ul><ul><li>hoe groter fo, hoe minder blokken te lezen </li></ul></ul></ul>
    • 41. Voorbeeld 1 (4): als multi-niveau index <ul><li>Stel dat de dichte secundaire index uit voorbeeld 2 nu een multi-niveau index is </li></ul><ul><ul><li>fo = bfr i = 68 </li></ul></ul><ul><ul><li>1 e niveau: </li></ul></ul><ul><ul><ul><li>442 blokken (zie eerder) </li></ul></ul></ul><ul><ul><li>2 e niveau: </li></ul></ul><ul><ul><ul><li> b 1 / fo  =  442 / 68  = 7 blokken </li></ul></ul></ul><ul><ul><li>3 e niveau: </li></ul></ul><ul><ul><ul><li> 7 / 68  = 1 blok  topniveau </li></ul></ul></ul><ul><ul><li>Controleren of een waarde voorkomt: </li></ul></ul><ul><ul><ul><li>3 blokken lezen </li></ul></ul></ul><ul><ul><li>Ophalen van gegevens zelf: </li></ul></ul><ul><ul><ul><li>4 blokken (vgl. 10 met binair zoeken, 1 500 zonder index) </li></ul></ul></ul>
    • 42. Algoritme voor zoeken in ijle primaire multi-niveau-index naar record met sleutel K p := adres van top-blok van index; voor j := t tot 1: lees blok met adres p (op niveau j in index); zoek in p een record i zodat K j (i) <= K <= K j (i+1); p := p j (i); lees het blok gegevens met adres p; zoek in p naar het record met sleutel K
    • 43. Praktijkvoorbeeld: ISAM <ul><li>IBM's ISAM = &quot;Indexed Sequential Access Method&quot; </li></ul><ul><li>is een speciaal geval van een multi-niveau indexstructuur </li></ul><ul><li>2-niveau indexstructuur: </li></ul><ul><ul><li>1e niveau: cilinderindex </li></ul></ul><ul><ul><ul><li>sleutel van ankerrecord voor die cilinder + wijzer naar spoorindex van die cilinder </li></ul></ul></ul><ul><ul><li>2e niveau: spoorindex </li></ul></ul><ul><ul><ul><li>sleutel van ankerrecord voor spoor + wijzer naar spoor </li></ul></ul></ul><ul><ul><ul><li>(nu vervangen door VSAM, “virtual storage access method”) </li></ul></ul></ul>
    • 44. Operaties in multi-niveau indexen <ul><li>Weglaten: </li></ul><ul><ul><li>door te markeren </li></ul></ul><ul><li>Toevoegen: </li></ul><ul><ul><li>m.b.v. overloopgebieden </li></ul></ul><ul><li>Na een tijdje: reorganisatie </li></ul><ul><ul><li>heel het bestand wordt sequentieel doorlopen en herschreven naar nieuw bestand </li></ul></ul><ul><ul><li>overloop en markeringen worden opgeruimd </li></ul></ul><ul><ul><li>nieuwe index wordt gebouwd op nieuw bestand </li></ul></ul><ul><li>Voordelen: </li></ul><ul><ul><li>snelle toegang tot bestand, toevoegingen en weglatingen tamelijk efficiënt </li></ul></ul><ul><li>Nadelen: </li></ul><ul><ul><li>overloop werkt vertragend, verkwisting van ruimte, geregelde reorganisatie vraagt tijd </li></ul></ul>+ -
    • 45. Statische en dynamische structuren <ul><li>Problemen met toevoegen / weglaten van records </li></ul><ul><ul><li>doordat elk niveau van de indexboom fysisch geordend is </li></ul></ul><ul><ul><li>hele boom van indexen moet aangepast worden </li></ul></ul><ul><li>Meer dynamische structuren kunnen oplossing bieden: B-bomen, B + -bomen </li></ul>
    • 46. Agenda Indexen: definitie Soorten indexen Indexen met meerdere niveaus Boomstructuren als indexen Indexen op meerdere velden
    • 47. Boomstructuren als indexen <ul><li>Binaire zoekboom is geordend: </li></ul><ul><ul><li>1 waarde in knoop </li></ul></ul><ul><ul><li>in linkerdeelboom enkel kleinere waarden </li></ul></ul><ul><ul><li>in rechterdeelboom enkel grotere waarden </li></ul></ul><ul><li>Opzoeken van waarde vraagt tijd evenredig met hoogte h van boom </li></ul><ul><ul><li>&quot;gewoonlijk&quot; : </li></ul></ul><ul><ul><ul><li>h  log 2 n </li></ul></ul></ul><ul><ul><ul><li>met n = # waarden in de boom </li></ul></ul></ul><ul><ul><li>dus: zoeken is efficiënt </li></ul></ul>+
    • 48. ... maar ...
    • 49. Evenwichtigheid <ul><li>Aanpassen van boom (toevoegen, weglaten): ook tijdscomplexiteit evenredig met h </li></ul><ul><ul><li>gemiddeld dus ook efficiënt </li></ul></ul><ul><li>MAAR: aanname van &quot;evenwichtigheid&quot; van bomen wordt gemaakt! </li></ul><ul><ul><li>Niet onmogelijk dat h  n i.p.v. log 2 n </li></ul></ul><ul><ul><li>vb. bij eenvoudig toevoeg-algoritme dat waarden reeds in volgorde krijgt </li></ul></ul><ul><li> concept van evenwichtige zoekbomen </li></ul><ul><ul><li>toevoegen, weglaten worden zo geïmplementeerd dat evenwicht steeds bewaard blijft </li></ul></ul>
    • 50. Zoekbomen <ul><li>Een zoekboom (niet noodzakelijk binaire) </li></ul><ul><ul><li>heeft in elke knoop een aantal waarden </li></ul></ul><ul><ul><ul><li>v 1 < v 2 < ... < v m - 1 (m kan variëren van knoop tot knoop) </li></ul></ul></ul><ul><ul><li>heeft in een knoop met m - 1 waarden </li></ul></ul><ul><ul><ul><li>m kinderen b 1 , ..., b m </li></ul></ul></ul><ul><ul><li>voor alle waarden v die voorkomen in b i geldt: </li></ul></ul><ul><ul><ul><li>v i - 1 < v < v i (v 0 = -  , v m = +  ) </li></ul></ul></ul><ul><li>Consistent met binaire zoekbomen (overal m = 2) </li></ul>
    • 51. Zoekbomen: abstract
    • 52. Zoekbomen: voorbeeld ( een zoekboom van orde 3)
    • 53. B-bomen <ul><li>B-boom van orde m (m > 2) is zoekboom waarvoor : </li></ul><ul><ul><li>elke inwendige knoop heeft hoogstens m kinderen </li></ul></ul><ul><ul><li>de wortel heeft minstens 2 kinderen, elke andere knoop minstens  m / 2  </li></ul></ul><ul><ul><li>alle bladeren zitten even diep </li></ul></ul><ul><ul><li>&quot;waarde&quot; in B-boom = sleutel + adres </li></ul></ul><ul><ul><li>speciale gevallen: 2 - 3 bomen, 3 - 5 bomen, ... </li></ul></ul><ul><ul><li>beperkingen i.v.m. min en max aantal kinderen garanderen </li></ul></ul><ul><ul><ul><li>redelijke gebalanceerdheid </li></ul></ul></ul><ul><ul><ul><li>beperkte verspilling van geheugen </li></ul></ul></ul>
    • 54. Adressen in knopen van B-bomen <ul><li>Adres is een blokadres of recordadres </li></ul><ul><ul><li>recordadres = blokadres + positie van record in blok </li></ul></ul><ul><li>voor niet-sleutelveld: </li></ul><ul><ul><li>adres van blok met wijzers naar adressen (cfr. eerdere voorbeelden)  extra indirectie </li></ul></ul>
    • 55. Maximale hoogte van B-bomen <ul><li>orde p  minstens d =  p / 2  deelbomen per knoop </li></ul><ul><li>op niveau 1 (onder wortel) </li></ul><ul><ul><li>minstens 2 knopen, </li></ul></ul><ul><li>op niveau i </li></ul><ul><ul><li>minstens 2 d i-1 knopen  2 d i-1 (d-1) waarden </li></ul></ul><ul><li> h  log d ( (n + 1) / 2 ) </li></ul>
    • 56. B-bomen: abstract en voorbeeld
    • 57. Voorbeeld 2 (1): Berekening orde B-boom <ul><li>Stel: </li></ul><ul><ul><li>grootte van veld waarop gezocht wordt V = 9 bytes </li></ul></ul><ul><ul><li>B = 512 bytes </li></ul></ul><ul><ul><li>recordadres P r = 7 bytes, blokadres P = 6 bytes </li></ul></ul><ul><li>1 knoop van B-boom moet in 1 blok passen </li></ul><ul><ul><li> max aantal deelbomen p van een knoop: </li></ul></ul><ul><ul><ul><li>p * P + (p - 1) * (Pr + V)  B </li></ul></ul></ul><ul><ul><ul><li>6 p + 16 (p - 1)  512 </li></ul></ul></ul><ul><ul><ul><li>p  24 </li></ul></ul></ul><ul><ul><ul><li>meestal nog wat extra (administratieve) info in blok  kies p = 23 </li></ul></ul></ul>
    • 58. Voorbeeld 2 (2): Aantal blokken en diepte <ul><ul><li>empirisch onderzoek toont: B-boom gemiddeld 69% vol </li></ul></ul><ul><li>dus: </li></ul><ul><ul><li>Gemiddeld 0.69p = 0.69 x 23 = 16 wijzers </li></ul></ul><ul><ul><ul><li>gemiddelde fan-out fo = 16 </li></ul></ul></ul><ul><ul><ul><li>gemiddeld aantal waarden per knoop = 15 </li></ul></ul></ul><ul><ul><li>wortel : 15 sleutels </li></ul></ul><ul><ul><li>1 niveau onder wortel : </li></ul></ul><ul><ul><ul><li>16 knopen  16 * 15 = 240 sleutels </li></ul></ul></ul><ul><ul><li>2 niveaus diep: </li></ul></ul><ul><ul><ul><li>16 2 = 256 knopen, 3 840 sleutels </li></ul></ul></ul><ul><ul><li>3 niveaus diep: </li></ul></ul><ul><ul><ul><li>16 3 = 4 096 knopen, 61 440 sleutels </li></ul></ul></ul><ul><ul><li>totaal voor 3 niveaus: </li></ul></ul><ul><ul><ul><li>61 440 + 3 840 + 240 + 15 = 65 535 </li></ul></ul></ul>
    • 59. Wanneer B-bomen gebruiken? <ul><li>Gebruik van B-bomen als primaire bestandsorganisatie </li></ul><ul><ul><li>dus niet voor index op bestand, maar bestand zelf </li></ul></ul><ul><ul><li>1 waarde in knoop = sleutel + het hele record </li></ul></ul><ul><li>Enkel goed bruikbaar indien </li></ul><ul><ul><li>klein aantal records </li></ul></ul><ul><ul><li>kleine recordgrootte </li></ul></ul><ul><li>Anders fo te klein </li></ul><ul><li> # niveaus van boom te groot </li></ul><ul><li> inefficiënt </li></ul>-
    • 60. Operaties en hun kost/efficiëntie <ul><li>Opzoeken : O (log d n) </li></ul><ul><li>Toevoegen, weglaten: </li></ul><ul><ul><li>eerst positie opzoeken </li></ul></ul><ul><ul><li>wijziging aanbrengen en doorvoeren </li></ul></ul><ul><ul><li>alles in O (log d n) tijd </li></ul></ul><ul><li>Sequentiele verwerking: </li></ul><ul><ul><li>boom doorlopen in in-orde (links, knoop, rechts) </li></ul></ul><ul><ul><li>interne knopen vaak opnieuw gelezen, tenzij ze in centraal geheugen onthouden worden </li></ul></ul><ul><ul><li>kan beter : met B + -bomen </li></ul></ul>+ + -
    • 61. B + -bomen <ul><li>Bij B-bomen: </li></ul><ul><ul><li>sommige record-wijzers in interne knopen, andere in bladeren </li></ul></ul><ul><li>Bij B + -bomen: </li></ul><ul><ul><li>interne knopen bevatten enkel sleutels, geen adressen van records </li></ul></ul><ul><ul><ul><li>recordadressen enkel in de bladeren </li></ul></ul></ul><ul><ul><ul><li>interne knopen bevatten enkel &quot;wegwijzers&quot; </li></ul></ul></ul><ul><ul><ul><li>orde p i van interne knopen is nu groter  betere prestaties; orde p b van bladeren ongeveer even groot </li></ul></ul></ul><ul><li>extra: </li></ul><ul><ul><li>aan het eind van een blad wijzer naar volgend blad </li></ul></ul><ul><ul><ul><li>maakt sequentieel doorlopen eenvoudiger </li></ul></ul></ul>
    • 62. B + -bomen: abstract
    • 63. Voorbeeld 3 (1): Berekening orde B + -boom <ul><li>Gegeven: </li></ul><ul><ul><li>V = 9 bytes, B = 512 bytes, Pr = 7 bytes, P = 6 bytes </li></ul></ul><ul><li>orde van interne knopen: </li></ul><ul><ul><li>p i * P + (p i - 1) * V  B </li></ul></ul><ul><ul><li>6 p i + 9 (p i - 1)  512 </li></ul></ul><ul><ul><li> p i = 34 (cfr. 23 voor B-boom) </li></ul></ul><ul><li>orde van bladeren: </li></ul><ul><ul><li>p b * (Pr + V) + P  B </li></ul></ul><ul><ul><li>p b * ( 7 + 9 ) + P  B </li></ul></ul><ul><ul><li>16 p b + 6  512 </li></ul></ul><ul><ul><li> p b = 31 </li></ul></ul>
    • 64. Voorbeeld 3 (2): Aantal sleutels en diepte <ul><ul><li>Stel 69% vol </li></ul></ul><ul><ul><li>dan: </li></ul></ul><ul><ul><ul><li>0.69 * 34 = 23 wijzers per knoop (22 waarden) </li></ul></ul></ul><ul><ul><ul><li>in blad: 0.69 * p b = 0.69 * 31 = 21 recordwijzers </li></ul></ul></ul><ul><ul><li>gemiddeld aantal sleutels op elk niveau: </li></ul></ul><ul><ul><ul><li>wortel: 1 knoop, 22 sleutels </li></ul></ul></ul><ul><ul><ul><li>niveau 1: 23 knopen, 506 sleutels </li></ul></ul></ul><ul><ul><ul><li>niveau 2: 529 knopen, 11 638 sleutels </li></ul></ul></ul><ul><ul><ul><li>bladeren: 12 167 knopen, 255 507 recordwijzers </li></ul></ul></ul><ul><ul><li>Vgl. met 65 536 recordwijzers voor B-boom </li></ul></ul>
    • 65. Algoritmes <ul><li>Algoritmes voor </li></ul><ul><ul><li>zoeken in B + -boom en </li></ul></ul><ul><ul><li>voor aanpassing van B + -boom bij toevoegen / weglaten van gegevens </li></ul></ul><ul><ul><li>Gedetailleerde algoritmes in boek </li></ul></ul>
    • 66. B + -boom: Opzoeken van een sleutelwaarde { K = gezochte sleutel } n := blok dat wortel van B + -boom bevat; lees blok n; zolang n geen blad is: q := #deelbomen van n; v 0 =-  , v 1 ..v q-1 waarden in knoop, v q =+  kies i zo dat v i < K <= v i+1 ; n := b i ; lees blok n; zoek in n een koppel (v i , Pr i ) met v i =K; indien gevonden: lees record met adres Pr i anders : meld 'niet gevonden'
    • 67. B + -boom: Toevoegen van een record met sleutel K <ul><li>zoek blad waar sleutel hoort </li></ul><ul><li>indien niet vol: voeg sleutel gewoon toe </li></ul><ul><li>indien blad al vol: splits blad </li></ul><ul><ul><li>1e helft blijft, 2e helft naar nieuw blad </li></ul></ul><ul><ul><li>voeg sleutel toe aan juiste blad </li></ul></ul><ul><ul><li>pas ook bladwijzers aan </li></ul></ul><ul><ul><li>voeg laatste waarde van blad 1 in ouderknoop toe </li></ul></ul><ul><li>herhaal zolang ouderknoop overvol is: </li></ul><ul><ul><li>splits knoop : helft van waarden naar nieuwe knoop; verhuis laatste waarde van 1e knoop naar ouder </li></ul></ul>
    • 68. Oefening: toevoegen van ... <ul><li>8, 5, 1, 7, 3, 12, 9, 6 </li></ul>
    • 69.  
    • 70.  
    • 71. Alternatieve oplossing
    • 72. B + -boom: Verwijderen van een sleutel K uit gegevens <ul><li>zoek blad met sleutel, verwijder sleutel daaruit </li></ul><ul><li>indien sleutel ergens in interne knopen voorkomt: </li></ul><ul><ul><li>vervang door waarde net links ervan </li></ul></ul><ul><li>indien onderloop (te weinig waarden in blad): </li></ul><ul><ul><li>steel enkele waarden van naburig blad (en pas bovenliggende knoop aan) </li></ul></ul><ul><ul><li>indien nog niet voldoende: voeg 2 bladeren samen </li></ul></ul><ul><ul><li>verwijder 1 wegwijzer uit bovenliggende knoop </li></ul></ul><ul><li>indien onderloop in interne knoop: </li></ul><ul><ul><li>herverdeel of voeg samen (met evt. verwijdering van 1 waarde uit bovenliggende knoop...) </li></ul></ul>
    • 73. Oefening: verwijderen van ... <ul><li>5, 12, 9 </li></ul>
    • 74.  
    • 75.  
    • 76. B * -bomen <ul><li>elke knoop tenminste 2/3 gevuld (i.p.v. ½) </li></ul><ul><li>splits slechts wanneer 2 naburige knopen vol zijn </li></ul>
    • 77. 2 manieren om in te voegen <ul><li>Zuiver top-down invoegen: </li></ul><ul><ul><li>Vorig algoritme: </li></ul></ul><ul><ul><ul><li>top-down positie zoeken, </li></ul></ul></ul><ul><ul><ul><li>sleutel invoegen, </li></ul></ul></ul><ul><ul><ul><li>bottom-up herstructureren </li></ul></ul></ul><ul><ul><li>Alternatief: </li></ul></ul><ul><ul><ul><li>tijdens top-down zoeken al knopen splitsen die bijna vol zijn </li></ul></ul></ul><ul><ul><ul><li>geen &quot;2e ronde&quot; nodig </li></ul></ul></ul><ul><ul><ul><li>probleem indien toevoeging niet kan doorgaan </li></ul></ul></ul>
    • 78. Omgevingen met meerdere gebruikers (1) <ul><li>B / B + -bomen in omgeving met meerdere gebruikers </li></ul><ul><ul><li>eerst boom top-down doorlopen, dan bottom-up herstructureren </li></ul></ul><ul><ul><li>wat als iemand anders intussen wijzigingen aanbrengt in index? kan fout lopen! </li></ul></ul><ul><ul><li>oplossing: locking (zie ook later) </li></ul></ul><ul><li>Bij opzoeken: </li></ul><ul><ul><li>plaats grendel op knoop K </li></ul></ul><ul><ul><li>zoek gepaste kindknoop K i , plaats grendel op K i </li></ul></ul><ul><ul><li>verwijder grendel op knoop K </li></ul></ul><ul><ul><li> max. 2 knopen tegelijk gereserveerd door proces </li></ul></ul>
    • 79. Omgevingen met meerdere gebruikers (2) <ul><li>Bij aanpassen: </li></ul><ul><ul><li>leesgrendels zetten tijdens top-down procedure </li></ul></ul><ul><ul><ul><li>ander proces kan knoop lezen, maar niet veranderen en kan er geen grendel op zetten </li></ul></ul></ul><ul><ul><li>bij bereiken van blad: </li></ul></ul><ul><ul><ul><li>indien geen aanpassing nodig blijkt: </li></ul></ul></ul><ul><ul><ul><ul><li>geef alle grendels vrij </li></ul></ul></ul></ul><ul><ul><ul><li>indien wel aanpassingen nodig: </li></ul></ul></ul><ul><ul><ul><ul><li>plaats grendels, </li></ul></ul></ul></ul><ul><ul><ul><ul><li>maak alle aanpassingen, </li></ul></ul></ul></ul><ul><ul><ul><ul><li>geef grendels vrij </li></ul></ul></ul></ul>
    • 80. Omgevingen met meerdere gebruikers (3) <ul><li>Indien heel pad wortel  blad gereserveerd: hele index bezet! </li></ul><ul><ul><li>sterke beperkingen op andere gebruikers </li></ul></ul><ul><ul><li>beter: enkel op lagere niveaus gendels plaatsen </li></ul></ul><ul><ul><ul><li>hogere niveaus blijven meestal toch ongewijzigd </li></ul></ul></ul><ul><ul><li>indien dit onvoldoende blijkt: volledig herbeginnen en nu wel hogerop al leesgrendels plaatsen </li></ul></ul><ul><li>Alternatief: volledig top-down algoritme </li></ul><ul><ul><li>geen 2e ronde  grendels sneller vrijgegeven </li></ul></ul>
    • 81. Praktijkvoorbeeld: VSAM <ul><li>VSAM = Virtual Storage Access Method (IBM) </li></ul><ul><ul><li>Gebaseerd op B + -bomen </li></ul></ul><ul><ul><li>Ontworpen om aan meerdere criteria te voldoen: </li></ul></ul><ul><ul><ul><li>sequentiële toegang </li></ul></ul></ul><ul><ul><ul><li>toevoegen, weglaten, opzoeken : O (log n) </li></ul></ul></ul><ul><ul><ul><li>geen reorganisatie nodig </li></ul></ul></ul><ul><ul><li>Blokken met gegevens die bij 1 blad horen, allemaal op 1 cilinder  tijdwinst </li></ul></ul><ul><ul><li>Andere aanpassingen om efficiëntie verder te verhogen (index apart plaatsen, sleutelcompressie, ...) </li></ul></ul>
    • 82. Agenda Indexen: definitie Soorten indexen Indexen met meerdere niveaus Boomstructuren als indexen Indexen op meerdere velden
    • 83. Indexen op meerdere velden <ul><li>vb. index op combinatie van leeftijd en departement </li></ul><ul><ul><li>&quot;geef alle werknemers van dept. 5 met leeftijd 60&quot; </li></ul></ul><ul><ul><li>met aparte indexen: eerst verz. werknemers van dept. 5 (A), dan verz. met leeftijd 60 (B), vervolgens doorsnede nemen  niet zo efficiënt </li></ul></ul><ul><ul><ul><li>resultaat waarschijnlijk veel kleinere verzameling dan A en B </li></ul></ul></ul><ul><ul><li>Samengestelde index veel efficiënter: </li></ul></ul><ul><ul><ul><li>levert direct het goede resultaat </li></ul></ul></ul><ul><li>Hoe indexeren op meerdere velden? </li></ul>
    • 84. Hoe de velden combineren? (1) <ul><li>Meerdere velden samen als 1 veld beschouwen </li></ul><ul><ul><li>Samengestelde waarden: ordening? </li></ul></ul><ul><ul><ul><li>lexicografisch : cf. alfabetische ordening </li></ul></ul></ul><ul><ul><ul><li>(p 1 , q 1 ) < (p 2 , q 2 )  p 1 < p 2 OF (p 1 = p 2 en q 1 < q 2 ) </li></ul></ul></ul><ul><ul><ul><li>enz. voor meer componenten </li></ul></ul></ul><ul><li>Hashing op samengestelde velden: &quot;partitioned hashing&quot; </li></ul><ul><ul><li>resultaat hashfunctie is combinatie van resultaten van aparte hashfuncties op componenten </li></ul></ul><ul><ul><li>bv. </li></ul></ul><ul><ul><ul><li>5  101; </li></ul></ul></ul><ul><ul><ul><li>60  10110 </li></ul></ul></ul><ul><ul><ul><li> (5, 60)  10110110 </li></ul></ul></ul><ul><ul><li>geen aparte toegangsstructuren voor componenten nodig (maar: enkel voor &quot;=&quot;-tests) </li></ul></ul>
    • 85. Hoe de velden combineren? (2) <ul><li>i.p.v. rij met adressen : matrix met adressen </li></ul><ul><ul><li>indices voor matrix = waarden van componenten </li></ul></ul><ul><ul><ul><li>evt. code voor interval van waarden </li></ul></ul></ul><ul><ul><li>vb. matrix M: M 5,5 bevat wijzer naar cel met wijzers naar records waarvoor dept = 5 en leeftijd > 50 </li></ul></ul>
    • 86. Fysische en logische indexen <ul><li>Naast bomen ook hashing of andere datastructuren mogelijk voor index </li></ul><ul><li>In onze bespreking: fysische indexen </li></ul><ul><ul><li>steeds fysische adressen gebruikt </li></ul></ul><ul><ul><li>indien deze veel wijzigen: probleem </li></ul></ul><ul><ul><li>logische index verhelpt dit: </li></ul></ul><ul><ul><ul><li>i.p.v. fysisch adres, wordt sleutel voor primaire bestandsorganisatie teruggegeven </li></ul></ul></ul><ul><ul><ul><li>dan zoeken volgens primaire structuur </li></ul></ul></ul><ul><ul><li>nadeel van logische index: 1 extra indirectie </li></ul></ul>
    • 87. Indexen: samenvatting <ul><li>Grootste voordeel van indexen: </li></ul><ul><ul><li>kunnen in principe gebruikt worden met eender welke primaire bestandsorganisatie </li></ul></ul><ul><ul><li>bemerk dat primaire organisatie enkel efficiënt zoeken op 1 veld mogelijk maakt </li></ul></ul><ul><li>Indexen o.a. handig voor opleggen van uniciteit van velden (naast efficiënt opzoeken van waarden) </li></ul><ul><li>Bestand met secundaire index op elk veld = &quot;volledig geïnverteerd bestand&quot; (fully inverted file) </li></ul>
    • 88. Vooruitblik Indexen: definitie Soorten indexen Indexen met meerdere niveaus Boomstructuren als indexen Indexen op meerdere velden Meerdimensionale structuren
    • 89. Bronnen <ul><li>Deze slides zijn gebaseerd op Henk Olivié‘s slides voor Gegevensbanken 2009 en op Elmasri & Navathe, Fundamentals of Database Systems, Addison Wesley / Pearson, 5e editie 2007. </li></ul><ul><li>Alle kopie ën zonder bronspecificatie: Elmasri & Navathe, Fundamentals of Database Systems, Addison Wesley / Pearson, 5e editie 2007. </li></ul><ul><li>Verdere figuren: bronnen zie “Powerpoint comments field” </li></ul><ul><li>Bedankt iedereen! </li></ul>

    ×