Starten met Infobright

365
-1

Published on

Hoe start je met infobright columnbased database?
Het laden van hele grote files naar infobright met behulp van pentaho data-integration.

Daan Blinde, november 2009

Published in: Self Improvement
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
365
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Starten met Infobright

  1. 1. Starten met Infobright (open source versie 3.2)<br />Daan Blinde, 7 november 2009<br />
  2. 2. OPEN SOURCE DOWNLOADS :<br />http://www.infobright.org/Download/ICE/<br />Mijn installatie Infobright<br />MIJN DOWNLOADS :<br />Link naar MySQL tools<br />
  3. 3. Configuratie / Instellingen<br />Laptop Acer Aspire 7720<br />3 GB intern<br />Core 2 Duo processor T5550 1,83 GHz<br />BRIGHTHOUSE.INI<br />ServerMainHeapSize= 900<br /># ServerMainHeapSize - Size of the main memory heap in the server process, in MB<br />ServerCompressedHeapSize= 300<br /># ServerCompressedHeapSize - Size of the compressed memory heap in the server process, in MB.<br />LoaderMainHeapSize= 340<br /># LoaderMainHeapSize - Size of the memory heap in the loader process, in MB.<br />
  4. 4. 1. Maak extract uit Datawarehouse<br />Maak met Pentaho Data Integration een nieuwe Transformatie<br />Met Header werkte het laadscript niet bij mij.<br />5 jaren : <br /><ul><li>12,3 GB
  5. 5. 30 miljoen rijen
  6. 6. 40 kolommen</li></li></ul><li>2a. Laad tekst files in Infobright<br />Infobright is een storage engine op MySQL <br />
  7. 7. 2b. Laad tekst files in Infobright<br />load data infile &apos;c:/data/dwh/f_verrichtingen_2009.txt&apos; into table if_verrichtingen fields terminated by &apos;;&apos; enclosed by &apos;&quot;&apos;;<br />LET OP: belangrijk om de engine INFOBRIGHT te kiezen !<br />Ik heb hier gebruik gemaakt van SQL scripts en niet van de bulk loader in Pentaho<br />
  8. 8. 3. Laadtijd <br />Laadtijd : 2 uur 15 min. <br />Laden in de open source versie blijkt veel meer tijd te vergen dan de commerciele versie. Zie ook: http://www.infobright.org/Forums/viewthread/566/ <br />Laadtijd tekstbestanden naar mysql : 8 uur !<br />Ter vergelijking heb ik alleen het jaar 2009 geladen in een ‘normale’ mysql tabel (engine=myisam). Dit kostte 1 uur en 15 min. Dus voor de 5 jaren zou ik totaal op ongeveer 8 uur uitkomen !<br />
  9. 9. 4. Compressie<br />Grootte = 777 MB<br />Compressie : <br />De bestandscompressie die wordt toegepast is enorm.<br />Van 12,3 GB naar 777 MB (nog maar 6% van oorspronkelijke omvang !)<br />Compressie standaard mysql opslag<br />Voor alleen 2009= 9 MB<br />Totaal zou dit neerkomen op 6 GB<br />(dit is 50% van oorspronkelijke omvang)<br />
  10. 10. 5. Query performance<br />Wordt vervolgd !<br />
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×