Data-integratie laten bouwen
Wat is data-integratie?
Zonder data-integratie ben je vooral bezig met vergelijken. Welk klantbestand klopt? Waarom staat de omzet in twee overzichten anders? Welke lijst hebben we vorige maand ook alweer gebruikt? Daar gaat per maand zo een dag of twee in zitten, en aan het eind weet je het nog steeds niet zeker.
Het gaat er niet om alles aan alles te knopen. Het gaat om de vijf of zes stromen gegevens die je echt gebruikt. Per stroom maken we drie afspraken: waar komt het vandaan, hoe vaak wordt het ververst, en welk systeem wint als twee bronnen iets anders beweren.
Wat data-integratie je oplevert
Aan data-integratie heb je het snelst iets als een simpele vraag nu nog een halve middag kost. Daar valt dit het eerst op.
Eén antwoord op één vraag: Hoeveel klanten hebben we? Wat is de omzet per productgroep? Waar kwamen de aanvragen van vorige maand vandaan? Dat is straks één getal, in plaats van drie bestanden die iemand zelf naast elkaar legt.
Overzichten die zichzelf maken: Het maandoverzicht dat nu twee dagen kost, staat er 's ochtends gewoon. Die tijd gaat naar het lezen van de cijfers in plaats van naar het bij elkaar sprokkelen ervan.
Klantgegevens die kloppen: Dubbele klanten, drie schrijfwijzen van dezelfde straat, adressen van jaren geleden. Dat komt boven zodra je twee bronnen naast elkaar legt. Bij data-integratie ruimen we het op, en daarna blijft het opgeruimd.
De volgende tool sluit sneller aan: Lopen alle stromen eenmaal via één punt, dan kost een nieuw pakket aansluiten dagen in plaats van weken. Je hoeft niet meer met elk systeem apart te gaan koppelen.
Voor wie is dit
Aan data-integratie begin je meestal zodra je meer dan drie systemen hebt en niemand nog precies weet welk getal klopt. Herkenbaar?
- Je legt elke maand twee exports naast elkaar om er één overzicht van te maken
- Je klanten staan in je klantsysteem, in je webshop en in je nieuwsbriefprogramma, en overal net anders
- Je nieuwe tool praat niet met het pakket dat je vorig jaar hebt gekocht
- Je directie vraagt cijfers die je pas twee dagen later kunt geven
- Je hebt een schaduwadministratie in Excel die niemand meer durft weg te gooien
Wat je krijgt
- Een overzicht van je gegevensstromen: wat komt waarvandaan, hoe vaak, en wie heeft gelijk
- Per bron een koppeling, met een wachtrij die het opnieuw probeert als een systeem er even uit ligt
- Opschonen bij binnenkomst: dubbele klanten samengevoegd, adressen en datums in één vorm
- Eén centrale plek waar alles samenkomt, inclusief de geschiedenis van vorig jaar
- Een dashboard daarop, of een verbinding met het rapportagepakket dat je al gebruikt
- Een logboek en meldingen, zodat je merkt wanneer een stroom is stilgevallen
Hoe we het bouwen
Uitzoeken. We brengen in kaart welke gegevens in welk systeem staan, en welke vragen je ermee wilt beantwoorden. Die vragen bepalen wat er in de data-integratie hoort en wat je gerust met rust kunt laten.
Verbinden. Per bron bouwen we een koppeling met steeds dezelfde vier stappen: ophalen, controleren, opschonen, wegschrijven. Wat er niet doorheen komt, blijft zichtbaar in plaats van dat het stilletjes verdwijnt.
Bijstellen. De eerste weken komen er altijd gevallen boven die niemand had bedacht. Die verwerken we. Pas daarna zetten we de handmatige exports uit.
Wat kost data-integratie?
Eén bron aansluiten is een afgebakende klus, en de prijs hangt af van hoe makkelijk je bij dat systeem naar binnen komt. Een complete data-integratie met vier of vijf bronnen, opschonen en rapportage is een project van een andere orde.
De prijs hangt op de staat van je gegevens, niet op het aantal systemen. Twee schone bronnen koppelen is een week werk. Twee bronnen waarin dezelfde klant op zes manieren geschreven staat, kost een veelvoud. Dan bouw je namelijk ook de regels die bepalen wat bij elkaar hoort.
Daarna lopen de server en het beheer door. Dat hangt af van hoeveel gegevens er langskomen en hoe vaak je wilt verversen.
Waarom Mediavisie Web
We bouwen zelf en het draait op jouw eigen omgeving. Je zit dus niet vast aan een tussenpartij die per verstuurd bericht rekent en die duurder wordt naarmate het beter met je gaat. De code van je data-integratie is van jou, en je komt er altijd bij.
Koppelingen bouwen sinds 2008 betekent dat we de rommelige kant kennen. Velden die soms leeg zijn, datums in drie schrijfwijzen, een systeem dat om vier uur 's nachts even niets doet. Daar houden we rekening mee, in plaats van te hopen dat het netjes is.
En bij elke oplevering draaien er automatische tests die nalopen of alles nog klopt. Bij data-integratie is dat het verschil tussen een fout die je dezelfde dag ziet, en een overzicht dat een half jaar lang net iets verkeerd optelt.
Waar je op moet letten
Data-integratie legt bloot hoe je gegevens er echt voor staan, en dat is in het begin geen leuk gesprek. Reken erop dat de eerste weken vooral over opschonen gaan, en dat iemand bij jou moet beslissen welk systeem gelijk heeft. Zonder die knoop bouwen wij technisch alles wat je wilt, maar blijft de discussie over welk getal klopt gewoon bestaan.
De techniek eronder
Alle techniekWaar we het mee bouwen.
-
Framework
Laravel
Voor applicaties met eigen logica die geen contentbeheer nodig hebben. Wachtrijen, rechten en taken zitten er al in.
-
Taal
PHP
De taal waarin het grootste deel van onze achterkant draait. Sinds versie 8 met types, en dat scheelt fouten.
-
Database
PostgreSQL
Voor applicaties met eigen gegevens. Sterk in relaties, en het houdt zich aan wat je afspreekt over je data.
-
Cache
Redis
Houdt vast wat net is uitgerekend. Scheelt bij portalen en webshops het meeste wachten.
-
Omgeving
Docker
Iedereen werkt in dezelfde omgeving, en die omgeving lijkt op productie. Scheelt de klassieke verrassing bij livegang.
-
Koppeling
OpenAPI
De beschrijving van een koppeling in één bestand, zodat beide kanten weten wat ze mogen verwachten.
-
Administratie
Exact
Facturen, relaties en voorraad uit Exact Online, met de koppeling die zijn eigen ritme aankan.
-
Administratie
AFAS
Koppelen via GetConnectors en UpdateConnectors. Wat de gebruiker doet, staat in Profit en niet in een lijstje ernaast.
Werkwijze
Hoe we het aanpakken.
Van het eerste gesprek tot doorbouwen na livegang. Vier fases, en je weet bij elke fase wat er af is en wat er nog komt.
-
1 tot 2 weken
Uitzoeken
Wat er moet komen en wat er al ligt
We brengen in kaart welke systemen mee moeten, wie het straks beheert en waar het vorige traject op vastliep. Daar komen de uitzonderingen boven water die later de planning bepalen.
Lees verder over Uitzoeken -
Eén week
Afbakenen
Van wensenlijst naar een plan met een prijs
We knippen het werk in stukken die los opgeleverd kunnen worden, en zetten er een prijs en een volgorde op. Daarbij spreken we af wat er in de eerste versie zit en wat later komt.
Lees verder over Afbakenen -
6 tot 12 weken
Ontwerpen en bouwen
Eerst de schermen, dan de techniek eronder
Je kijkt vanaf de eerste week mee op een testomgeving. We leveren in rondes op, te beginnen met het deel dat het meeste werk uit handen neemt, zodat je stuurt op wat je ziet.
Lees verder over Ontwerpen en bouwen -
Doorlopend
Doorbouwen
Na livegang begint het pas
Updates, bewaking en nieuwe functies, met een vast aanspreekpunt dat je project kent. We meten wat er gebruikt wordt, en dat bepaalt waar we het volgende kwartaal aan werken.
Lees verder over Doorbouwen
Zo ziet dat er in de praktijk uit
Alle casesWij werken onder andere voor
Aan de slag
Iets te bouwen?
Vertel wat er moet komen. We denken mee over techniek, haalbaarheid en wat het kost, ook als het plan nog niet rond is.