Forms2Future in action for SaaS provider ConnexysLucas Jellema
This article describes the history of the NextGen project at Dutch SaaS provider Connexys (www.connexys.eu). It outlines common challenges for SaaS applications - such as customization and cross-cloud-integration - and describes how these were addressed. The article brushes upon the technology used (Oracle Database, SQL/PLSQL, Oracle ADF (ADF BC, JSF/ADF Faces, JDeveloper, JHeadstart).
Nederlandse Spoorwegen - Real time analyticsBigDataExpo
Het (real time) beschikbaar hebben van IoT data uit treinen en overige systemen biedt de NS vele mogelijkheden om de vervoerprestaties te verbeteren.
Aan de hand van use-cases delen we graag de behaalde resultaten én de leasons learned bij het implementatieproces van data gedreven toepassingen in de operatie.
Met de centralisatie van de opslag maken steeds meer en verschillende applicaties en systemen hiervan gebruik met ieder hun eigen karakateristieken in IO. Bij aanschaf en inrichting wordt echter vaak, om het beheer te vereenvoudigen gekozen voor een 'one-size-fits-all' oplossing. Niet zelden gaat dit echter wringen waardoor er prestatie problemen in de service ontstaan. Met het doorlichten van de centrale opslag kunnen deze bottleneck snel inzichtelijk gemaakt worden en verbeteringen aangebracht zodat reeds gemaakte investeringen beter en langer renderen.
Data-science, een kwestie van goed samenwerkenJulia Lebedeva
User-System Interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Data-science, een kwestie van goed samenwerkenMirabeau
User-system interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Article (in Dutch) in the AG Connect about automating your IT organization across the entire IT value chain. Most IT organization typically lack a sophisticated plan and approach of how to automated IT activities across the service life cycle from plan, code, build, test, deploy, monitor, etc. Use the IT4IT Reference Architecture from The Open Group to guide this transformation journey.
“Ik dacht dat het af was! Nu moet ik nóg €20.000 investeren om het netjes te maken?”
Wie bovenstaande uitspraak herkent, kan misschien wel een lesje ‘verwachtingsmanagement’ gebruiken. Blijkbaar was het voor de opdrachtgever niet helemaal duidelijk wat hij als eindproduct zou krijgen. Bovendien valt het eindproduct tegen, want hij moet flink extra investeren. De Definition of Done (D.o.D.) kan helpen om de transparantie in een ontwikkelproces te bevorderen. Hoe dat werkt en hoe je een D.o.D. opstelt, vertel ik in deze blog.
Big Data heeft ruimte nodig, meer ruimte dan je gewend bent in je 'normale' BI-omgeving. Met ruimte bedoel ik eerder ademruimte dan opslagruimte. Het gaat bij Big data niet om hoe groot jouw Hadoop-cluster wel niet is ten opzichte van je concurrenten, maar om de manier waarop je met die Big data omgaat. Let me explain.
More Related Content
Similar to BI Tooltip: Qlikview in high-performance omgevingen
Forms2Future in action for SaaS provider ConnexysLucas Jellema
This article describes the history of the NextGen project at Dutch SaaS provider Connexys (www.connexys.eu). It outlines common challenges for SaaS applications - such as customization and cross-cloud-integration - and describes how these were addressed. The article brushes upon the technology used (Oracle Database, SQL/PLSQL, Oracle ADF (ADF BC, JSF/ADF Faces, JDeveloper, JHeadstart).
Nederlandse Spoorwegen - Real time analyticsBigDataExpo
Het (real time) beschikbaar hebben van IoT data uit treinen en overige systemen biedt de NS vele mogelijkheden om de vervoerprestaties te verbeteren.
Aan de hand van use-cases delen we graag de behaalde resultaten én de leasons learned bij het implementatieproces van data gedreven toepassingen in de operatie.
Met de centralisatie van de opslag maken steeds meer en verschillende applicaties en systemen hiervan gebruik met ieder hun eigen karakateristieken in IO. Bij aanschaf en inrichting wordt echter vaak, om het beheer te vereenvoudigen gekozen voor een 'one-size-fits-all' oplossing. Niet zelden gaat dit echter wringen waardoor er prestatie problemen in de service ontstaan. Met het doorlichten van de centrale opslag kunnen deze bottleneck snel inzichtelijk gemaakt worden en verbeteringen aangebracht zodat reeds gemaakte investeringen beter en langer renderen.
Data-science, een kwestie van goed samenwerkenJulia Lebedeva
User-System Interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Data-science, een kwestie van goed samenwerkenMirabeau
User-system interaction designers and Software technology PDEngs from Eindhoven University of Technology helped Océ in the development of predictive maintenance software.
Article (in Dutch) in the AG Connect about automating your IT organization across the entire IT value chain. Most IT organization typically lack a sophisticated plan and approach of how to automated IT activities across the service life cycle from plan, code, build, test, deploy, monitor, etc. Use the IT4IT Reference Architecture from The Open Group to guide this transformation journey.
“Ik dacht dat het af was! Nu moet ik nóg €20.000 investeren om het netjes te maken?”
Wie bovenstaande uitspraak herkent, kan misschien wel een lesje ‘verwachtingsmanagement’ gebruiken. Blijkbaar was het voor de opdrachtgever niet helemaal duidelijk wat hij als eindproduct zou krijgen. Bovendien valt het eindproduct tegen, want hij moet flink extra investeren. De Definition of Done (D.o.D.) kan helpen om de transparantie in een ontwikkelproces te bevorderen. Hoe dat werkt en hoe je een D.o.D. opstelt, vertel ik in deze blog.
Big Data heeft ruimte nodig, meer ruimte dan je gewend bent in je 'normale' BI-omgeving. Met ruimte bedoel ik eerder ademruimte dan opslagruimte. Het gaat bij Big data niet om hoe groot jouw Hadoop-cluster wel niet is ten opzichte van je concurrenten, maar om de manier waarop je met die Big data omgaat. Let me explain.
In vervolg op mijn blog van afgelopen week duiken we nog wat dieper in de strijd die lijkt op te laaien tussen aanhangers van Big Data en aanhangers van data warehouses. Als je dat nog niet gedaan hebt, is het raadzaam om het eerste deel van deze blog eerst even te lezen voordat je aan dit tweede deel begint.
In twee eerdere blogs (“Wat is Big Data?”) zijn we ingegaan op de vraag wat Big Data is en of je er als manager al iets mee zou moeten. Als je besluit om ook in jouw bedrijf iets te gaan doen met Big Data, dan kom je gelijk bij de vraag: “Moet ik dan ook iets met Data Science?”. Daarom ga ik in deze blog iets dieper in op de relatie tussen Big Data en Data Science.
In een eerdere blog (“Wat is Big Data?”) stond ik uitgebreid stil bij de term Big Data, zijn oorsprong en huidige interpretatie. Rond de vraag “of we er iets mee moeten” is inmiddels flink wat rijpingstijd verstreken, waardoor een update nodig is.
Er is nog geen uitsluitsel binnen de architectuur gemeenschap over het gebruik van de termen Business Architecture (Bedrijfsarchitectuur) en Enterprise Architecture. Is dit hetzelfde? Is het één onderdeel van het ander?d
Big Data is nog steeds een big issue. Ik heb er dan ook redelijk wat aandacht aan besteed in eerdere blogs (bijvoorbeeld: welke data kan interessant zijn en Big Data voor het MKB). Toch is er in de essentie van de zinvolheid van Big Data een zekere verschuiving te onderkennen. Het lijkt me goed om daar in deze blog wat dieper op in te gaan.
Ik ben achter de tekentafel gaan zitten om een plaat te maken die de plekken van samenwerking tussen de ‘drukke, rumoerige’ research kant en de ‘rustig zoemende’ dataproductie kant weergeeft. Deze afbeelding wordt in deze blog nader toegelicht.
Er zijn tegenwoordig al aardig wat Marketing Automation tools (MA-tools) op de markt. In deze blog ga ik de MA-tools voor de ‘niet multinationals’ bekijken.
In vorige blogs heb ik nader toegelicht wat data science is en hoe het voor marketing waardevol kan zijn. Ook heb ik de rol van de data scientist, het proces van data science en de databronnen voor data science wat nader beschreven.
Wat voor activiteiten gaat de data scientist - zoals ik die vorige week heb beschreven - nu eigenlijk uitvoeren? Welke proces wordt er typisch binnen data science uitgevoerd?
Als vervolg op de introductie blog over Data Science binnen Marketing heb ik het deze keer over de functie van data scientist. Wat typeert een data scientist binnen het vakgebied marketing? Welke kwaliteiten heeft hij?
Moderne marketing heeft steeds snellere ICT nodig. Maar dat geldt gelukkig niet voor alle processen. Vaak maak ik hiervoor onderscheid tussen de real-time marketing cyclus en de periodieke cyclus. In deze blog ga ik dieper in op deze twee cycli en hun functies.
Marketing en data science worden steeds vaker in één adem genoemd. Daarom lijkt het mij goed om het onderwerp data science - bekeken vanuit de marketing-discipline - eens wat nader te beschrijven in deze no-nonsense blogreeks over Marketing Intelligence. Ik begin daarom maar met een introductie van het begrip zelf.
In deze blog ga ik wat dieper in op de status van de Big Data inspanningen van de multinationals, wat daar de voor- en nadelen van zijn en wat je daar als MKB-bedrijf van kunt leren.
Klantgegevens zijn waardevol voor Marketing. Des te meer kennis je krijgt over jouw klanten en prospects, des te beter kun je hun wensen en gedrag voorspellen. Maar klantgegevens zijn ook vluchtig, moeilijk te vangen. In dit blog meer uitleg hierover.
Moderne marketing, met kenmerken als ‘customer-centric’, ‘inbound’, ‘content’ en ‘multi-channel’, lijkt vaak direct gekoppeld te worden aan Big Data. Maar is dat wel zo?
Het implementeren van de technologie voor Inbound Marketing lijkt een ‘mer à boire’ met snel uit de hand lopende kosten. Zeker voor kleine en middelgrote bedrijven (typisch tussen de 20 en 2.500 medewerkers). Dat hoeft echter niet zo te zijn. Met de huidige mogelijkheden in de cloud (software as a service, SaaS) zijn ook voor het MKB goed functionerende en goed schaalbare oplossingen beschikbaar. In deze blog ga ik hier wat verder op in en laat wat voorbeelden zien.
Duidelijkheid over wat er aan de processen en verantwoordelijkheden binnen de marketingfunctie moet veranderen, voorkomt desinvesteringen door het falen van aangekochte moderne en soms dure marketingsoftware. Daarom starten we deze blogreeks aan de basis, met het meest heikele punt: de organisatie.
Een modern bedrijf speelt in op de ‘customer journey’ door rekening te houden met het bezoekersgedrag. Maar dat kan Marketing niet alleen. Er moet een goede samenwerking tussen Kanalen, Verkoop en Marketing tot stand komen. Niet alleen technisch, maar ook organisatorisch. In deze blog geef ik de hoofdlijnen voor de technische samenwerking. In een volgend blog zal ik de organisatorische samenwerking bespreken.
2. BI-Tooltip: Qlikview in high-performance omgevingen
Pg, 2
“Op termijn moet QlikView onderdeel worden van een bredere oplossing”.
Deze blog is onderdeel van de themareeks ‘BI-tooltips’. Deze themareeks is bedoeld om
interessante nieuwsfeiten en gebruikstips voor specifieke BI-Tools te publiceren. Deze tooltip
behandelt het gebruik van QlikView in high-performance omgevingen.
QlikView is één van de BI-tools die ook een data-logistiek component bevat. Hierdoor kunnen
meerdere databronnen en grotere volumes worden gebruikt. Toch kent een dergelijk combi-
scenario ook een eind en komt een functioneel breder, separate ETL-tool in beeld.
Inleiding
Er zijn verschillende manieren om van gegevens uit één of meerdere bronnen tot een dashboard te
komen. Je kunt aparte tools gebruiken voor enerzijds de ontsluiting van de gegevens (back-end
functies) en anderzijds het presenteren van informatie (front-end functies). De BI-tool QlikView
heeft naast front-end functies ook back-end functies zodat je in principe het hele proces van zowel
data-ontsluiting, als informatiepresentatie met QlikView kunt uitvoeren. Mede hierdoor is QlikView
breder inzetbaar en flexibeler dan BI-tools met alleen font-end functies.
Met behulp van de back-end ETL-component van QlikView is het ontsluiten en combineren van
meerdere bronnen (databases) goed te realiseren. Uitgaande van een goed gestructureerde
3. BI-Tooltip: Qlikview in high-performance omgevingen
Pg, 3
omgeving (zie ook de blog “BI-Tooltip: Hoe beheer je een self-service BI-tool, zoals QlikView?”) kun
je hiermee ook meer complexe BI-vraagstukken beantwoorden.
Maar wat nu als er meerdere tools van die gestructureerde data gebruik moeten maken? Of als er
wensen zijn om eindgebruikers gegevens te kunnen laten wijzigen die vervolgens teruggeschreven
moeten worden naar de bronsystemen? In hoeverre is QlikView dan toereikend en wat kun je doen
om aan alle eisen en wensen te voldoen?
Laten we eens kijken naar een praktijkvoorbeeld.
Een forecasting applicatie
Als praktijkvoorbeeld nemen we een organisatie op het gebied van chain supply. In het
distributiecentrum komen vele items aan die vervolgens naar locaties in heel Europa worden
verscheept. Veel van deze items kennen een seizoensgebonden vraag en de meeste items hebben
een afgebakende levensduur.
De te verwachten vraag (forecast) naar een item wordt aan de hand van de historische vraag
berekend in QlikView. Hiermee kunnen inkopers bepalen hoeveel items ze moeten bestellen. Te
veel voorraad met het risico dat items niet meer besteld worden leidt tot extra kosten. Te weinig
voorraad leidt tot het niet voldoen aan verplichtingen en klantontevredenheid.
4. BI-Tooltip: Qlikview in high-performance omgevingen
Pg, 4
De benodigde (historische) gegevens over de voorraad en de orders komen uit verschillende
systemen en worden ontsloten met QlikView.
Zoals in de grafiek te zien is, wordt historische informatie over de berekende vraag en de
gerealiseerde vraag gebruikt om inzicht te krijgen in de te voorspellen toekomstige vraag. Maar dit
is niet voldoende. De toekomstige vraag hangt af van meerdere factoren die niet allemaal af te
leiden zijn uit de historische vraag. Inkopers willen dan ook maximaal invloed hebben op de
berekening van de forecast door zelf allerlei parameters in te voeren.
Voor deze forecasting applicatie koos de betrokken organisatie voor een totaaloplossing in QlikView
(met een extensie), waarbij de door de inkopers gewijzigde parameters werden opgeslagen in een
database en dagelijks verwerkt in de bronsystemen. QlikView fungeert hier dus ook als ETL
mechanisme, schrijft wijzigingen in een database en is een doorgeefluik terug naar de bronnen.
5. BI-Tooltip: Qlikview in high-performance omgevingen
Pg, 5
De inkopers vonden echter dat het tunen van parameters
door deze dagelijkse herberekeningsmethode te lang
duurde en verlangden een snellere oplossing.
Een snellere oplossing betekent een snellere verwerking van
gewijzigde parameters in de brongegevens. Daarmee wordt
het systeem bijzonder performance-gevoelig en komen we
in een situatie waar we het gebruik van front-end BI-tools
(met een ETL-component) als totaaloplossing moeten
herzien.
High-performance systems
Als middel om bijvoorbeeld tijdens agile ontwikkelen aan te tonen dat een dergelijk systeem qua
logica werkt is QlikView een prima instrument om te prototypen met een beperkte set gegevens
(bijv. 100.000 orders). Maar als de hoeveelheden productiegegevens groeien (in ons voorbeeld zijn
er miljoenen orders en stock items), het aantal gegevensstromen meer afhankelijk van elkaar
worden, de complexiteit van logica hoog is en eventuele feedback-loops nodig zijn, komen we bij de
gebruiksgrenzen van BI-tools als totaaloplossing en is het tijd om even pas op de plaats te maken.
Het moment is daar om na te gaan of het ingezette instrument nog wel voldoet als ETL
mechanisme en of dit voldoende toekomstbestendig is. Ook de mogelijkheid tot wijzigen van
gegevens vraagt dan om een robuustere, gebruiksvriendelijkere oplossing.
6. BI-Tooltip: Qlikview in high-performance omgevingen
Pg, 6
Ondanks het feit dat het mogelijk is om op beperkte schaal gegevens te wijzigen met behulp van
QlikView (in combinatie met een extensie), is deze BI-tool niet het meest geschikt bij performance
gevoelige oplossingen met hoge volumes aan gegevens. In zo’n geval geeft een robuust, op maat
gemaakte data-invoerapplicatie meer mogelijkheden, stabiliteit en gebruiksvriendelijkheid.
In elke organisatie zal het omslagpunt naar performance-gevoeligheid anders zijn; factoren als het
aantal bronnen, hun volumes en complexiteit, de bedrijfskritische aard van de applicatie, de
responsetijden voor eindgebruikers en de beschikbare middelen spelen allemaal een rol in de
beslissing om op de ingeslagen weg door te gaan of te kiezen voor een meer structurele oplossing.
Het wordt dan tijd om een splitsing te maken in de tooling voor de back-end functies en de front-
end functies. Volwassen data-logistieke tools kunnen veel grotere hoeveelheden data verwerken en
sneller complexere data-bewerkingsfuncties uitvoeren. Ook bevatten zij mogelijkheden om data,
zoals parameters, in te voeren. De complexiteit van de forecasting-logica op basis van de
verstrekte parameters verplaatst zich dan compleet naar de back-end component. Terwijl de front-
end BI-tools zich beperken tot het presenteren van de berekende voorspellingen.
Functionele architectuur
Zodra je je realiseert dat de omgeving een high-performance karakter heeft, is het verstandig om
bij de start van het project een functionele architectuur op te stellen. Deze wordt gestuurd door het
forecasting business proces dat de inkopers uitvoeren. Vanuit die architectuur kan bewust worden
7. BI-Tooltip: Qlikview in high-performance omgevingen
Pg, 7
gekozen voor geschikte tools. Zeker bij performance gevoelige systemen is het van groot belang
om al in de eerste stadia performancetesten uit te voeren. Start direct met het samenstellen van
performance testsets en het beschikbaar krijgen van een representatief testplatform, zodat je het
runnen van een performance test snel en zo automatisch mogelijk kunt uitvoeren bij elke
oplevering. Dit geeft je veel eerder inzicht of de gekozen oplossing robuust en snel genoeg is en
blijft voor de business.
Geen enkele individuele BI-tool is een totaaloplossing voor alle BI-omgevingen, ook al biedt de tool
je nog zoveel mogelijkheden. Typische front-end BI-tools, zoals Tableau, QlikView en
MicroStrategy, moeten bij high-performance omgevingen vaak beperkt blijven tot hun toepassing in
het presenteren van informatie met eventueel lichte berekeningen. Zelfs als deze tools een extra
back-end component bevatten, blijkt dat deze functies onvoldoende presteren bij high-performance
oplossingen.
Samenvattend
In een high-performance omgeving kun je zeker gebruik maken van de mogelijkheden van een
complete BI-tool als QlikView om snel aan te kunnen tonen dat de gevraagde logica werkt op
(beperkte) datasets. Voor de productieomgeving is het verstandig om vooral de kracht te benutten
van separate tools voor de diverse onderdelen van jouw oplossing om tot een optimaal resultaat te
komen.
8. BI-Tooltip: Qlikview in high-performance omgevingen
Pg, 8
Als je een BI-omgeving gaat inplannen, kun je ook gebruik maken van onze BI-Introscan die op
basis van een tweetal vragenlijsten grofweg voor je berekent welke BI-Architectuur daarbij past. Go
check it out. Wil je weten wanneer de volgende blog verschijnt binnen het thema BI-
Tooltips? Abonneer je hier dan op deze themareeks.