Intelligence Factory

Agile design thinking met een ML-ops sausje

Het idee achter de  Intelligence Factory is al best wel oud, maar eigenlijk recent weer heel actueel. Nu iedereen data science en AI ziet als mainstream, komt de vraag weer terug: “Maar wat doen we er dan mee?” “Wat levert dat dan op?” Het belangrijkste doel van de inspanningen op het gebied van data science en AI is het creëren van waarde uit je data, dus om er daadwerkelijk geld mee te verdienen. Dit komt neer op dingen slimmer, sneller, of anders doen dan dat je deed.  Je laat je overtuigen door data…

De experimenteerfabriek zorgt ervoor dat nieuwe inzichten uit je data op een fabrieksmatige manier in je organisatie kunnen worden ingezet. Weet je van tevoren of een experiment waarde gaat opleveren? Nee, dat zul je moeten gaan onderzoeken! Het is dus zaak dat je met een heleboel slimme ideeën komt die je snel kunt toetsen. 

Waar CRISP-DM een beproefde methode is om een datascience project op zichzelf vorm te geven, heb je met de Experimenteer Fabriek een raamwerk in handen om op een gestroomlijnde manier datascience experimenten te realiseren, evalueren en implementeren.

Een belangrijke valkuil bij datascience projecten is het feit dat maar een heel klein deel van de initiatieven die we starten de eindstreep halen. Veel projecten blijven hangen in schoonheid of lopen vast in het moeras van (vermeende) data kwaliteit problemen. De kunst is om je te blijven richten op de business case, ook hier geldt het Pareto principe. 80% van de waarde kun je ophalen met 20% van de data. Als je je blijft richten op die 80% dan accepteer je een model dat misschien niet het beste model is dat je zou kunnen maken. En ook accepteer je dat er met een betere datakwaliteit vast mooiere resultaten zouden kunnen worden behaald. De focus blijft op het realiseren van de waarde die wel voor het oprapen ligt… En als blijkt dat je de businesscase toch niet haalt dan parkeer je dit experiment en start je met de volgende case op de backlog!

DIKW Reference Models NL.jpg

Agile design thinking met een ML-ops sausje. 

Design Thinking : het genereren van fantastische ideen!

De backlog van mogelijk interessante ideeën en usecases wordt vorm gegeven aan de hand van design thinking. 

De vijf stadia van design thinking zijn:

  • Inleven: onderzoek de behoeften van je gebruikers.
  • Definiëren: stel de behoeften en problemen van je gebruikers vast.
  • Ideate: daag aannames uit en creëer ideeën.
  • Prototype: begin met het creëren van oplossingen.
  • Test: probeer uw oplossingen uit.


 If you fail, fail fast. 80% van de waarde in je data kun je met 20% inspanning uitnutten, de laatste 20% is vaak heel veel (te veel?) meerwerk. 

Wij proberen altijd eerst aan te tonen dat de usecase überhaupt interessant is alvorens er meer tijd in te stoppen.  Bij ons geldt de regel : 13 > 9 > 7 > 2 … 

Deze regel is ontstaan bij de eerste implementatie van de Experimenteerfabriek (in 2017), de exacte aantallen zijn niet relevant maar hopelijk snap je het idee er achter:

Je begint aan 13 experimenten , daarvan lijken na een eerste evaluatie 9 een positieve businesscase te hebben. Deze 9 usecases ga je daadwerkelijk live zetten in de organisatie. Na periode x (meestal 1 of 2 kwartalen afhankelijk van de case en omvang van de organisatie) blijken er daadwerkelijk 7 aantoonbaar positief waarvan er uiteindelijk 1 of 2 echte ‘golden nuggets’ zijn. De echte diamanten!

Dus je weet dat je veel experimenten moet doen om die paar waardevolle cases voor je organisatie te vinden!

DIKW Reference Models NL (1).jpg

Van ML Ops naar Data Ops

Als je dit leest, en je al een tijdje meeloopt in het vakgebied (zoals wij bij DIKW) dan weet je dat het daadwerkelijk implementeren van experimenten geen sinecure is. De “devil is in the detail”, zeker als het erop aankomt je algoritme te voeden met de data zoals je het model getraind hebt , inclusief alle preprocessing stappen, filters en bewerkingen uit je experiment. Daarnaast staat de klant of je proces nooit stil dus  monitoren van je resultaten, data drift en kwaliteit blijft essentieel. En natuurlijk komt datakwaliteit je weer in de staart bijten. Juist in deze fase is het belangrijk issues te gebruiken in je voordeel in plaats van als excuus. Governance en eigenaarschap zijn key enablers voor de experimenteer fabriek en juist op het raakvlak van experiment naar business-as-usual liggen kansen voor structurele verbetering van je data kwaliteitsprocessen zodat je je organisatie naar een hoger analytisch volwassenheidsniveau kunt tillen!


Deze aanpak blijkt in de praktijk te werken! 

We hebben de experimenteer fabriek een aantal keer succesvol neergezet. Bij een grote telecomprovider in 2017 de eerste keer succesvol geïmplementeerd, in 2021 nog gevalideerd en nog steeds in gebruik met een jaarlijkse recurring revenue van 10 miljoen per jaar. 

In de logistieke markt, de haven van Rotterdam, vanaf het aannemen en opleiden van mensen via een detavast-overeenkomst tot en met het internationaal uitrollen in een multidisciplinair team, van 2018 tot het moment van schrijven (2023) zijn we daar een betrokken strategisch partner. En het meest recente succesverhaal is de AI hub als ecosysteem voor de  woningcorporatiemarkt waarin 8 corporaties hun krachten bundelen om data science & AI proposities te ontwikkelen en de kennis en vaardigheden met elkaar te delen. Waarom het wiel alleen uitvinden als je gezamenlijk veel slagvaardiger bent? De experimenteer fabriek als ecosysteem voor gezamenlijke innovatie, hoe cool is dat?


Is de experimenteerfabriek ook iets voor jouw organisatie?

Neem dan contact op met Hugo Koopmans

Blogs

Datagedreven werken Deel 3 door Nick van de Venn — last modified 03-10-2023
Welke data heeft eigenlijk waarde voor uw organisatie?
Differential Privacy door Nick van de Venn — last modified 18-09-2023
Gevoelige gegevens verwerken zonder dat de gevoelige informatie kan uitlekken
Datagedreven werken Deel 2 door Nick van de Venn — last modified 03-10-2023
Welke data heeft eigenlijk waarde voor uw organisatie?

Data Science Nieuws & Evenementen

Data science opleidingen gaan weer van start! door marco — last modified 08-02-2022
Vanaf 21 september start ons succesnummer weer! Twaalf weken data science in R, we hebben er weer zin in
Aedes data science workshop 2 van 3 door marco — last modified 07-02-2022
Voor Aedes organiseert DIKW drie workshops data science
DIKW in top 50 beste data science bedrijven door marco — last modified 22-10-2021
DIKW is één van snelst groeiende bedrijven volgens MKB Data Science rapport

Data Science recente blogs

ChatGPT for Business Intelligence door Nick van de Venn — last modified 18-09-2023
Chatten met je datawarehouse, utopie of werkelijkheid?
Intelligence Factory door Nick van de Venn — last modified 05-07-2023
Agile design thinking met een ML-ops sausje
Bayesiaanse Statistiek door Marc Jacobs — last modified 25-07-2022
Wiskundig raamwerk voor ouderwets leren