Applicatie interfaces voor applicatie naar applicatie integratie. Dit omvat de volledig geautomatiseerde systeem integratieprocessen, ETL implementaties en de geautomatiseerde en beheerde bestandsoverdracht.

Applicatie interfaces voor applicatie naar applicatie integratie. Dit omvat de volledig geautomatiseerde systeem integratieprocessen, ETL implementaties en de geautomatiseerde en beheerde bestandsoverdracht.

ETL achtige tool voor transport van Hadoop naar gestructureerde dataopslag zoals RDBMS en DWH

Dit is de entiteit waarvan de levensloopfase bijgehouden gaat worden. Denk hierbij aan levensloop, processtappen en events waarvan de status wordt vastgelegd.

Omdat er naar verwachting meerdere afnemers zijn van rapportage data bijvoorbeeld de leveranciers de interne beheerafdelingen binnen de infrastructuurleverancier en management en wellicht toezichthouders zal er bij deze rapportage interfaces een ETL inrichting gewenst zijn. Dit omdat iedere afnemende toepassing eigen wensen heeft rond de transformatie, selectie en filtering.

ETL is een dataverwerkingsvorm waarbij de data op basis van drie bewerkingsstappen uit een bronsysteem wordt gehaald. Vervolgens wordt getransformeerd naar een ander datamodel of ander formaat. Daarna wordt de data geladen één of meerdere doelsystemen.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Ophalen van data uit een databron t.b.v. een ETL proces in een DWH architectuur

Fysisch model voor de beschrijving van een technisch implementatiemodel. Dit is platformspecifiek en wordt gebruikt voor het maken van SQL DDL- en ETL-scripts en uiteindelijk voor technische documentatie.

Integratie van dataopslag naar dataopslag. Bijvoorbeeld de relationele database-integraties zoals

• views,
• gematerialiseerde views
• databaselogica in pakketten en opgeslagen procedures.
• ETL: implementaties

Bestand met gevalideerde gestructureerde inhoud dat kan worden verwerkt tot een gestructureerd model en kan worden doorgestuurd naar een ETL-proces

Deze functie biedt de mogelijkheid om data uit berichten verkeer of andere messaging protocollen op te halen en mee te nemen in de datatransformaties in een ETL proces

Kies integratievormen die een maximale mutatiesnelheid ondersteunen. De ene integratievorm kent een snellere doorlooptijd dan een andere. Zo zal berichtuitwisseling veelal een betere bijdrage leveren aan de actualiteit bij integratie dan bijvoorbeeld bestandsuitwisseling. Voor de inrichting van deze integratievormen kunnen aanvullende infrastructurele voorzieningen noodzakelijk zijn. Denk bijvoorbeeld aan de inzet van servicebus- of orchestratieplatformen Bepalen van inrichtingswijzen zoals ETL, service technologie en databaseconcepten als views e.d. die de gewenste behoefte aan actualiteit adequaat ondersteunen.

Kies integratievormen die een maximale mutatiesnelheid ondersteunen. De ene integratievorm kent een snellere doorlooptijd dan een andere. Zo zal berichtuitwisseling veelal een betere bijdrage leveren aan de actualiteit bij integratie dan bijvoorbeeld bestandsuitwisseling. Voor de inrichting van deze integratievormen kunnen aanvullende infrastructurele voorzieningen noodzakelijk zijn. Denk bijvoorbeeld aan de inzet van servicebus- of orchestratieplatformen Bepalen van inrichtingswijzen zoals ETL, service technologie en databaseconcepten als views e.d. die de gewenste behoefte aan actualiteit adequaat ondersteunen.

Laadfunctionaliteit voor het overbrengen van de gegevens naar een gegevensdoel en laad deze daar. Dit kan een ETL-proces zijn of de implementatie in een berichtenhandler

Adapter binnen de ODI of Open Source tooling om NoSql naar ETL te transformeren en omgekeerd

ETL verwerkt voor de transformatie van data van relationele naar relationele databases of gestructureerde bestanden

ETL verwerkt voor de transformatie van data van relationele naar relationele databases of gestructureerde bestanden

(Traditionele) ETL voor het transformeren en overbrengen van data van relationele registers en consumenten. Voor NoSQL transformaties wordt veelal gebruik gemaakt van vergelijkbare ETL inrichting en daarom is dit niet nader gespecificiceerd

Een bijzonder ETL proces om specifieke data te transformeren van de bron naar de master data. Denk bijvoorbeeld aan een ETL proces ingericht op basis van XMI, AMEF of BPMN uitwisselformaten

Een bijzonder ETL proces om specifieke data te transformeren van de bron naar de master data. Denk bijvoorbeeld aan een ETL proces ingericht op basis van XMI, AMEF of BPMN uitwisselformaten vanuit de architectuur repository naar de consumerende informatiesystemen.

Transformatie van datastromen naar kleine stukjes data die kunnen worden verwerkt met ETL- of SOA-tools

Transformeren van data tbv ETL. Extract functie haalt de data op uit de bronwaarna de tranformatie functie de data omzet naar het model wat in het DWH geladen wordt. onderliggende functies zijn:

• Opslaan in een staging omgeving
• Validatie van data
• Transformeren van datatypes en waardes.
• Versleuteling
• integratie met andere datastromen
• Agrregatie van feiten en dimensies

Transformatiefunctionaliteit voor het transformeren van de data-inhoud van een (applicatie)specifiek datamodel naar een generiek datamodel op basis van een gestandaardiseerd datamodel (zie de servicediagrammen). Dit kan worden geïmplementeerd in een ETL-transformatieproces of in een berichtenhandler, bijvoorbeeld in een servicebus.

Dit is een voorbeeld van een wat uitgebreider datalandschap van data uitwisseling tussen bronsystemen en doelsystemen. Dit is voor meerdere kennisgebieden relevant. Denk hierbij aan Master Data, Reference Data of data integratie. In dit voorbeeld gaan we in op de data stromen nodig bij Datawarehousing en BI. Je ziet hier een detaillering van de data verwerking op basis van ETL Daarnaast wordt ook hier de link gelegd naar het conceptuele datamodel. Dit omdat daar mogelijk data governance, securtiy of stakeholder aspecten van belang zijn.

Dit diagram is een uitbreiding van het model van data verwerkende toepassingen. In dit diagram worden een aantal specifieke data verwerkende verwerkingsvormen gerelateerd aan de dataverwerking. In dit model worden er een aantal getoond. Houd er rekening mee dat er meerdere specialisaties mogelijk zijn van data verwerking en dat er meerdere categorieen zijn die indien relevant hier uitgewerkt kunnen worden. Zie ook de ETL patronen in de beschikbare modellen.

In dit diagram wordt een beschrijving gegeven van de datapipe van een (webservice) of (XML)-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een XML-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

In dit diagram wordt een beschrijving gegeven van de datapipe van een (CSV-webservice) of CSV-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een CSV-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verder verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

In dit diagram wordt een beschrijving gegeven van de datapipe van een (webservice) of XML-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een XML-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

Dit is een voorbeeld van een wat uitgebreider datalandschap van data uitwisseling tussen bronsystemen en doelsystemen. Dit is voor meerdere kennisgebieden relevant. Denk hierbij aan Master Data, Reference Data of data integratie. In dit voorbeeld gaan we in op de data stromen nodig bij Datawarehousing en BI. Je ziet hier een detaillering van de data verwerking op basis van ETL Daarnaast wordt ook hier de link gelegd naar het conceptuele datamodel. Dit omdat daar mogelijk data governance, securtiy of stakeholder aspecten van belang zijn.

Afhankelijk van de scope van de data-architectuur kan het wenselijk zijn om ook de onderliggende infrastructurele inrichting te modelleren. Daarbij kun je inzichtelijk maken hoe het data en applicatielandschap wordt ondersteund door de onderliggende technische infrastructuur. Bij de on premise situatie waar de infrastrctuur wordt beheerd door de eigen organisatie is er meer detaillering van het infrastructuur landschap.

In dit diagram kan gemodelleerd worden welke data objecten vanuit één of meerdere bronsystemen geextraheerd kunnen worden. Vervolgens wordt gevisualiseerd hoe deze data objecten verband houden met de conceptuele data entiteiten. Dit laatste is gewenst omdat de conceptuele data entiteiten gerelateerd zijn aan de kaderstellende architectuur, de governance dimensies en data management in het algemeen. Voor de data object wordt vervolgens inzichtelijk gemaakt hoe deze data verwerkt wordt. Vaak zullen dit transformaties zijn voor het model of het protocol. Maar ook andere data verwerkingen zijn mogelijk. Denk hierbij bijvoorbeeld aan aggregaties, cleansing of anonimiseren van de data afkomstig uit het datamodel. Hierbij kan vervolgens beschreven worden welke applicatie componenten deze dataverwerking uitvoeren. Voor de data objecten kan er vervolgens een koppeling gelegd worden naar diagrammen waarin het onderliggende logische of fysiekemodel gepresenteerd kan worden.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een datamart in het datawarehouse.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een datamart in het datawarehouse.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een dataset in het datawarehouse voor verkoop en klimaat gegevens gerelateerd aan elkaar.

In dit diagram zie je een uitwerking van het ETL patroon op basis van applicatiefuncties. Daarnaast zie je welke component zorgdraagt voor deze ETL verwerking. Je ziet hierbij ook dat er een aantal data objecten uitgelezen worden en getransformeerd worden naar een dataset in het datawarehouse voor verkoop en klimaat gegevens gerelateerd aan elkaar.

Dit patroon gaat in op het verzamelen van meta data bij de dataverwerking, bij voorkeur daadwerkelijk tijdens de dataverwerking zelf. Data transformatie en -verwerking tussen de data bron en -toepassing kent vele vormen en implementaties. Dat betekent feitelijk dat ook tussen de dataverwerking functionaliteiten en het meta data register als data toepassing een data transformatie implementatie ingericht moet worden naar het meta datamodel in het meta data register. Gezien de vele vormen van data verwerking is dit daardoor een complexe implementatie. De context van meta data insertion zit voornamelijk binnen de (technische) implementatie van datatransformatie toepassingen. Soms is dit als implementatie beschikbaar in data transformatie tools (ETL) of in (big) data platformen en data lakes. Echter veel organisaties kennen een divers data transformatie landschap van data transformaties en data verwerking waardoor meta data insertion bij de inrichting van een dergelijke omgeving speciale aandacht vraagt van onder andere de data architect.

Overzicht van de transformatie van een NoSQL-database naar een datatarget. Aanvankelijk met een ETL-proces als tussenstap.

Overzicht van de transformatie van een NoSQL-database naar een datatarget. Aanvankelijk met een ETL-proces als tussenstap.

Bij veel solutions zal data door het data-landschap stromen. Hiervoor worden binnen de solution APIs geintroduceerd of bestaande APIs worden aangepast. Grip op APIs zijn vanuit data-architectuur perspectief uitermate belangrijk. Vandaar dat er meestal meerdere APIs uitgewerkt worden ten behoeve van een solution. Na implementatie van de solution gaan deze APIs deel uitmaken van de domein data-architectuur.

Overzicht van de transformatie van een streamingbron naar een datadoel via een ETL-stap naar de dataconsumenten

Overzicht van de transformatie van een streamingbron naar een datadoel via een ETL-stap naar de dataconsumenten

Detailuitwerking van het patroon met een specificatie van de bewerkingen in de ETL stappen.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.

Data uit verschillende informatiesystemen aangeduid als databronnen dienen omgezet te worden naar data in dimensionele datamodellen. Extract Transform Load zijn die bewerkingen op de data die de data structuren omzetten naar het gewenste model voor gebruik door kenniswerkers.