Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Starten met Infobright

503 views

Published on

Hoe start je met infobright columnbased database?
Het laden van hele grote files naar infobright met behulp van pentaho data-integration.

Daan Blinde, november 2009

Published in: Self Improvement
  • Be the first to comment

  • Be the first to like this

Starten met Infobright

  1. 1. Starten met Infobright (open source versie 3.2)<br />Daan Blinde, 7 november 2009<br />
  2. 2. OPEN SOURCE DOWNLOADS :<br />http://www.infobright.org/Download/ICE/<br />Mijn installatie Infobright<br />MIJN DOWNLOADS :<br />Link naar MySQL tools<br />
  3. 3. Configuratie / Instellingen<br />Laptop Acer Aspire 7720<br />3 GB intern<br />Core 2 Duo processor T5550 1,83 GHz<br />BRIGHTHOUSE.INI<br />ServerMainHeapSize= 900<br /># ServerMainHeapSize - Size of the main memory heap in the server process, in MB<br />ServerCompressedHeapSize= 300<br /># ServerCompressedHeapSize - Size of the compressed memory heap in the server process, in MB.<br />LoaderMainHeapSize= 340<br /># LoaderMainHeapSize - Size of the memory heap in the loader process, in MB.<br />
  4. 4. 1. Maak extract uit Datawarehouse<br />Maak met Pentaho Data Integration een nieuwe Transformatie<br />Met Header werkte het laadscript niet bij mij.<br />5 jaren : <br /><ul><li>12,3 GB
  5. 5. 30 miljoen rijen
  6. 6. 40 kolommen</li></li></ul><li>2a. Laad tekst files in Infobright<br />Infobright is een storage engine op MySQL <br />
  7. 7. 2b. Laad tekst files in Infobright<br />load data infile &apos;c:/data/dwh/f_verrichtingen_2009.txt&apos; into table if_verrichtingen fields terminated by &apos;;&apos; enclosed by &apos;&quot;&apos;;<br />LET OP: belangrijk om de engine INFOBRIGHT te kiezen !<br />Ik heb hier gebruik gemaakt van SQL scripts en niet van de bulk loader in Pentaho<br />
  8. 8. 3. Laadtijd <br />Laadtijd : 2 uur 15 min. <br />Laden in de open source versie blijkt veel meer tijd te vergen dan de commerciele versie. Zie ook: http://www.infobright.org/Forums/viewthread/566/ <br />Laadtijd tekstbestanden naar mysql : 8 uur !<br />Ter vergelijking heb ik alleen het jaar 2009 geladen in een ‘normale’ mysql tabel (engine=myisam). Dit kostte 1 uur en 15 min. Dus voor de 5 jaren zou ik totaal op ongeveer 8 uur uitkomen !<br />
  9. 9. 4. Compressie<br />Grootte = 777 MB<br />Compressie : <br />De bestandscompressie die wordt toegepast is enorm.<br />Van 12,3 GB naar 777 MB (nog maar 6% van oorspronkelijke omvang !)<br />Compressie standaard mysql opslag<br />Voor alleen 2009= 9 MB<br />Totaal zou dit neerkomen op 6 GB<br />(dit is 50% van oorspronkelijke omvang)<br />
  10. 10. 5. Query performance<br />Wordt vervolgd !<br />

×