Een beschrijvende data architectuur is een belangrijk kennisgebied van data management en daarmee relevant voor data gedreven organisaties. Ten behoeve van data-architectuur modelleren zijn er diverse data-architectuur tools beschikbaar. Denk hierbij aan Collibra, The Essential Project of Talend. Echter bij organisaties zijn vaak reeds generieke modelleringstalen en tools beschikbaar voor modelleren van software, enterprise architectuur of requirements. In dit hoofdstuk gaan we in op het inzetten van een framework voor inrichting van een generiek tool gebaseerd op een aantal open modelleertalen. De voorbeelden die we hier gebruiken zijn uitgewerkt in Sparx Enterprise Architect. Een voorbeeld van een dergelijk generiek tool. Hieronder is daartoe een metamodel uitgewerkt voor hoe een data-architectuur gemodelleerd kan worden. De data-architectuur kent meerdere gezichtspunten om data in een organisatie te beschrijven. Zo wordt er op verschillende niveaus in een organisatie gekeken. Daarnaast kan de mate van detail vanuit verschillende gezichtspunten verschillen. We introduceren data-architectuur modelleren op basis van een uitwerking met behulp van een aantal modelleertechnieken. De belangrijkste modelleertechnieken hier gebruikt zijn:

• ArchiMate
• Unified Modeling Language
• Entity Relationship
• XML Schema Definition

Reden om voor deze modelleertalen te kiezen is dat ze een open standaard zijn, een breed toepassingsgebied hebben, goed met elkaar te integreren zijn en reeds veel toegepast worden binnen de aanpalende domeinen van data-architectuur. Hiermee kun je in je eigen organisatie data-architectuur modelleren introduceren op een natuurlijke manier. Dat doe je door die delen relevant voor de situatie binnen de organisatie stapsgewijs te introduceren op basis van de reeds toegepaste modelleertalen. Daarnaast worden er meerdere verschijningsvormen van de data-architectuur gebruikt. De grafenweergave en de matrix zijn in dit metamodel de meestgebruikte verschijningsvormen. Voor het uitwerken van het metamodel worden er twee data-architectuur niveaus uitgewerkt, namelijk:

• Domein data-architectuur: dit is een referentie architectuur voor het aspect data binnen de enterprise referentie architectuur
• Solution data-architectuur: architectuur voor het beschrijven van een data gedreven verandering binnen een project of oplossing.

Beide vormen worden hieronder nader toegelicht.

Dit is een logische dienst voor de publicatie van een bepaalde gestandaardiseerde dataset. In de huidige implementatie van TDP is plateau 1 een lijst met verschillen. Deze logische dataservice wordt geïmplementeerd in een of meerdere technische interfaces zoals gebruikersinterfaces of XML-webservices

Artifact is een infrastructureel data element dat in de technische infrastructuur wordt opgeslagen en bewerkt. Denk hierbij aan tabellen en schema's in databases, bestanden met data op het filesysteem zoals XML en Json bestanden en andere vormen van data opgeslagen in de infrastructuur

Gebruik: zelfstandig naamwoord op basis van de organistie naamgeving van de organisatie van tabellen in databases, xml files etc.

XML-bericht als een stroom of bestand geïmporteerd in een berichttransformatiehandler met de transformatiefunctie. Het bericht moet worden gestructureerd en beschreven met bijvoorbeeld een XSD-definitie

Het op geautomatiseerde wijze data uitwisselen tussen meerdere informatiesystemen (bron en doel). Veelal wordt dit gedaan op basis van uitwisselprotocollen zoals XML en Json.

Fysiek datamodel voor het definieren van berichten op basis van XML Schema Definition.

Een beschrijvende data architectuur is een belangrijk kennisgebied van data management en daarmee relevant voor data gedreven organisaties. Ten behoeve van data-architectuur modelleren zijn er diverse data-architectuur tools beschikbaar. Denk hierbij aan Collibra, The Essential Project of Talend. Echter bij organisaties zijn vaak reeds generieke modelleringstalen en tools beschikbaar voor modelleren van software, enterprise architectuur of requirements. In dit hoofdstuk gaan we in op het inzetten van een framework voor inrichting van een generiek tool gebaseerd op een aantal open modelleertalen. De voorbeelden die we hier gebruiken zijn uitgewerkt in Sparx Enterprise Architect. Een voorbeeld van een dergelijk generiek tool. Hieronder is daartoe een metamodel uitgewerkt voor hoe een data-architectuur gemodelleerd kan worden. De data-architectuur kent meerdere gezichtspunten om data in een organisatie te beschrijven. Zo wordt er op verschillende niveaus in een organisatie gekeken. Daarnaast kan de mate van detail vanuit verschillende gezichtspunten verschillen. We introduceren data-architectuur modelleren op basis van een uitwerking met behulp van een aantal modelleertechnieken. De belangrijkste modelleertechnieken hier gebruikt zijn:

• ArchiMate
• Unified Modeling Language
• Entity Relationship
• XML Schema Definition

Reden om voor deze modelleertalen te kiezen is dat ze een open standaard zijn, een breed toepassingsgebied hebben, goed met elkaar te integreren zijn en reeds veel toegepast worden binnen de aanpalende domeinen van data-architectuur. Hiermee kun je in je eigen organisatie data-architectuur modelleren introduceren op een natuurlijke manier. Dat doe je door die delen relevant voor de situatie binnen de organisatie stapsgewijs te introduceren op basis van de reeds toegepaste modelleertalen. Daarnaast worden er meerdere verschijningsvormen van de data-architectuur gebruikt. De grafenweergave en de matrix zijn in dit metamodel de meestgebruikte verschijningsvormen. Voor het uitwerken van het metamodel worden er twee data-architectuur niveaus uitgewerkt, namelijk:

• Domein data-architectuur: dit is een referentie architectuur voor het aspect data binnen de enterprise referentie architectuur
• Solution data-architectuur: architectuur voor het beschrijven van een data gedreven verandering binnen een project of oplossing.

Beide vormen worden hieronder nader toegelicht.

Gegevens opgeslagen in een bestand, bijvoorbeeld semi-gestructureerd zoals: XML, XLS, JSon, edifact enz. Ongestructureerd zoals Word, Tekst enz.

Transformatie van een databestand (meestal semi-gestructureerd), bijvoorbeeld een XML-bestand met een intern datamodel dat getransformeerd moet worden naar het gestandaardiseerde model.

Transformeren van datastructuren in XML, HTML en Json naar interpreteerbare en valideerbare data tbv de kwaliteit

Transformeren van datastructuren in XML, HTML en Json naar interpreteerbare en valideerbare data tbv de kwaliteit

Converteren van datatypes naar andere datatypes (tekst {-} Numeriek). Inclusief transformatie naar datatypen op andere platformen zoals database, XML, softwaretalen en localisatie.

Converteren van datatypes naar andere datatypes (tekst {-} Numeriek). Inclusief transformatie naar datatypen op andere platformen zoals database, XML, softwaretalen en localisatie.

Duplicaten naar de prullenbak verplaatsen, vervolgens een baseline maken en daarna de elementen verwijderen uit de prullenbak. Door de baseline zijn ze nog wel aanwezig (in XML formaat) maar niet meer zichtbaar in de repository.

Onbeheerde en gebruikersgestuurde export van asset data naar diverse kantoor documenten waaronder CSV en XML.

Onbeheerde en gebruikersgestuurde export van asset data naar diverse kantoor documenten waaronder CSV en XML.

Deelmodellen kunnen geëxporteerd en geïmporteerd worden naar diverse formaten. Denk hierbij aan algemene formaten CSV XLS, XML maar ook meer specifieke uitwissel formaten zoals XMI of AMEF. Daarnaast kan ook webservice technologie toegepast worden om meer interactieve export en import van deelmodellen te implementeren.

Extraheerfunctionaliteit voor het ontvangen van gegevens uit de bronsystemen. Deze heeft een XML-formaat en de bron is een webservice of een XML-bestand. De gegevens worden geëxtraheerd en voorbereid om te worden getransformeerd

Fysiek datamodel voor het definiëren van berichten op basis van XML Schema Definition.

In een modern applicatielandschap staat een architectuur repository niet los van andere registers. Integratie met andere registers zoals bijvoorbeeld een CMDB op basis van moderne berichtgeorienteerde integratie is wenselijk.

van schema's voor het valideren van data verzamelingen binnen een XML of JSoN gebaseerd bericht of bestand. Hiermee wordt afgedwongen dat de data voldoet aan de regels in het validatieschema.

van schema's voor het valideren van data verzamelingen binnen een XML of JSoN gebaseerd bericht of bestand. Hiermee wordt afgedwongen dat de data voldoet aan de regels in het validatieschema.

Baseline maken van package met als versienummer de datum en als omschrijving duplicatie. Een baseline is een kopie van de package inhoud in XML formaat.

Transformeren van modellen en protocollen. Bijvoorbeeld van en naar een Canoniek Model transformeren en protocol transformeren XML naar JSoN vice versa.

Transformeren van modellen en protocollen. Bijvoorbeeld van en naar een Canoniek Model transformeren en protocol transformeren XML naar JSoN vice versa.

SOAP/XML webservices inclusief JSON/REST

SOAP/XML webservices inclusief REST

SOAP/XML webservices inclusief JSON/REST

Inzet syntactische validaties, met name bij berichtenverkeer op basis van XML kunnen berichten binnen de integratieketen op één of meerdere plaatsen gevalideerd worden. Deze validaties zorgen ervoor dat de berichtinhoud gecontroleerd wordt op correctheid op basis van definitiebestanden waarmee voorkomen wordt dat invalide gegevens opgeslagen worden of dat bij verder gebruik problemen in de verwerking van de gegevens ontstaan.

Inzet syntactische validaties, met name bij berichtenverkeer op basis van XML kunnen berichten binnen de integratieketen op één of meerdere plaatsen gevalideerd worden. Deze validaties zorgen ervoor dat de berichtinhoud gecontroleerd wordt op correctheid op basis van definitiebestanden waarmee voorkomen wordt dat invalide gegevens opgeslagen worden of dat bij verder gebruik problemen in de verwerking van de gegevens ontstaan.

Naamgevingsconventie Gebruik: Zelfstandig naamwoord. Bijvoorbeeld: Sybase Open Client, CPS, GFX, MQ, EWMS, XML

Naamgevingsconventies Gebruik: Zelfstandig naamwoord. Bijvoorbeeld: Sybase Open Client, CPS, GFX, MQ, EWMS, XML.

Transformatie van een XML-stroom (meestal semi-gestructureerd) met een intern of specifiek datamodel dat moet worden getransformeerd naar het gestandaardiseerde model in het datadoel.

Data omzetten naar een ander formaat binnen de verwerking van de data. Denk aan transformatie van CSV naar JSon of XML. Geen modeltransformatie, dat is een afzonderlijke applicatie functie

Bij het gebruik van webservices die worden afgeleverd bij de berichttransformatiefunctie is een wachtrijmechanisme noodzakelijk omdat de Datapipe mogelijk niet beschikbaar is om de XML-gegevensstroom te transformeren. Dit is vooral relevant voor push-implementaties.

Een fysieke data entiteit voor het uitwerken van data in de vorm van XML berichten. Dit is hier gemodelleerd als XSD element, echter kan ook als Json entiteit gemodelleerd worden.

In dit whitepaper wordt de datamodelleervorm XML Schema Definition (XSD) beschreven. Deze modelleervorm staat in verhouding tot een aantal andere modelleervormen. Wil je een beeld krijgen van welke modelleervormen er zijn bekijk dan het whitepaper wat een introductie geeft tot datamodelleervormen en deze serie van whitepapers zie Inleiding datamodellering. Dit whitepaper is een onderdeel van meerdere whitepapers over modellering in de fysieke laag. XSD modellering is specifiek voor het modelleren van berichtuitwisseling op basis van gestructureerde berichten gebaseerd op XML. Daarnaast zijn modelleerwijzen rond JSON maar ook de opslag van gestructureerde data (ER) relevant. Informatie over deze modelleervormen is te vinden in deze serie van van whitepapers.

In dit diagram wordt een beschrijving gegeven van de datapipe van een (webservice) of (XML)-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een XML-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

Fysieke datamodellen hebben tot doel om tot in detail de fysieke structuur van berichtuitwisseling tussen applicatiecomponenten of applicatieinterfaces te modelleren. Veelal wordt daarbij al rekening gehouden met de eisen, die vanuit een uitwisselprotocol of integratieplatform gesteld worden. Hiervoor worden veelal een aantal modelleertechnieken gebruikt zoals XML Schema Definition (XSD) en JSon Schema. Schema Definition modellen geven een gedetailleerde notatiewijze voor het modelleren van berichtenverkeer. Daarnaast kun je met extra modelleertechnieken inzetten. Bijvoorbeeld OpenAPI biedt de mogelijkheid om de datastructuur te modelleren maar ook om APIs te documenteren.

Fysieke datamodellen hebben tot doel om tot in detail de fysieke structuur van een relationele database te modelleren. Veelal wordt daarbij al rekening gehouden met de eisen, die vanuit een specifiek databaseplatform gesteld worden aan de inrichting van een database. Hierdoor is het mogelijk om deze ER modellen rechtstreeks om te zetten naar een fysieke inrichting in een database. Dit staat bekend als de Data Definition Language (DDL). Daarnaast is het mogelijk om extra fysieke modellen op te stellen voor specifieke platformen of implementaties. Denk hierbij aan berichtenuitwisseling met XML of JSON berichten of datawarehouses, die een specifiek fysiek datamodel kennen. ER staat voor Entity-Relationship en ER diagrammen geven een gedetailleerde notatiewijze voor het modelleren van deze twee concepten. Daarnaast kun je met ER diagrammen de kolommen in een tabel modelleren en eventueel een aantal belangrijke constraints in relationele databases zoals primaire en verwijzende sleutels aangeven.

In dit diagram wordt een beschrijving gegeven van de datapipe van een (webservice) of XML-bestandsbron naar het doeldatamodel. Dit is gebaseerd op de transformatie van een XML-model naar een tussenliggend tabel- of relationeel model. Dit wordt vervolgens verwerkt in een ETL-proces om het brondatamodel in een aantal stappen te transformeren naar het gewenste doelmodel.

Fysieke datamodellen hebben tot doel om tot in detail de fysieke structuur van berichtuitwisseling tussen applicatiecomponenten of applicatieinterfaces te modelleren. Veelal wordt daarbij al rekening gehouden met de eisen, die vanuit een uitwisselprotocol of integratieplatform gesteld worden. Hiervoor worden veelal een aantal modelleertechnieken gebruikt zoals XML Schema Definition (XSD) en JSon Schema. Schema Definition modellen geven een gedetailleerde notatiewijze voor het modelleren van berichtenverkeer. Daarnaast kun je met extra modelleertechnieken inzetten. Bijvoorbeeld OpenAPI biedt de mogelijkheid om de datastructuur te modelleren maar ook om APIs te documenteren. Voor solutions zullen er vaak baseline en targetmodellen ontstaan. Zeker in situaties waar de solution gebruik maakt van reeds aanwezige berichtdefinities of deze berichten uitbreid met eigen behoeften afkomstig uit de solution.

Fysieke datamodellen hebben tot doel om tot in detail de fysieke structuur van berichtuitwisseling tussen applicatiecomponenten of applicatieinterfaces te modelleren. Veelal wordt daarbij al rekening gehouden met de eisen, die vanuit een uitwisselprotocol of integratieplatform gesteld worden. Hiervoor worden veelal een aantal modelleertechnieken gebruikt zoals XML Schema Definition (XSD) en JSon Schema. Schema Definition modellen geven een gedetailleerde notatiewijze voor het modelleren van berichtenverkeer. Daarnaast kun je met extra modelleertechnieken inzetten. Bijvoorbeeld OpenAPI biedt de mogelijkheid om de datastructuur te modelleren maar ook om APIs te documenteren. Voor solutions zullen er vaak baseline en targetmodellen ontstaan. Zeker in situaties waar de solution gebruik maakt van reeds aanwezige berichtdefinities of deze berichten uitbreid met eigen behoeften afkomstig uit de solution.

Een beschrijvende data architectuur is een belangrijk kennisgebied van data management en daarmee relevant voor data gedreven organisaties. Ten behoeve van data-architectuur modelleren zijn er diverse data-architectuur tools beschikbaar. Denk hierbij aan Collibra, The Essential Project of Talend. Echter bij organisaties zijn vaak reeds generieke modelleringstalen en tools beschikbaar voor modelleren van software, enterprise architectuur of requirements. In dit hoofdstuk gaan we in op het inzetten van een framework voor inrichting van een generiek tool gebaseerd op een aantal open modelleertalen. De voorbeelden die we hier gebruiken zijn uitgewerkt in Sparx Enterprise Architect. Een voorbeeld van een dergelijk generiek tool. Hieronder is daartoe een metamodel uitgewerkt voor hoe een data-architectuur gemodelleerd kan worden. De data-architectuur kent meerdere gezichtspunten om data in een organisatie te beschrijven. Zo wordt er op verschillende niveaus in een organisatie gekeken. Daarnaast kan de mate van detail vanuit verschillende gezichtspunten verschillen. We introduceren data-architectuur modelleren op basis van een uitwerking met behulp van een aantal modelleertechnieken. De belangrijkste modelleertechnieken hier gebruikt zijn:

• ArchiMate
• Unified Modeling Language
• Entity Relationship
• XML Schema Definition

Reden om voor deze modelleertalen te kiezen is dat ze een open standaard zijn, een breed toepassingsgebied hebben, goed met elkaar te integreren zijn en reeds veel toegepast worden binnen de aanpalende domeinen van data-architectuur. Hiermee kun je in je eigen organisatie data-architectuur modelleren introduceren op een natuurlijke manier. Dat doe je door die delen relevant voor de situatie binnen de organisatie stapsgewijs te introduceren op basis van de reeds toegepaste modelleertalen. Daarnaast worden er meerdere verschijningsvormen van de data-architectuur gebruikt. De grafenweergave en de matrix zijn in dit metamodel de meestgebruikte verschijningsvormen. Voor het uitwerken van het metamodel worden er twee data-architectuur niveaus uitgewerkt, namelijk:

• Domein data-architectuur: dit is een referentie architectuur voor het aspect data binnen de enterprise referentie architectuur
• Solution data-architectuur: architectuur voor het beschrijven van een data gedreven verandering binnen een project of oplossing.

Beide vormen worden hieronder nader toegelicht.

Fysiek datamodel voor het definieren van berichten op basis van XML Schema Definition.

Een beschrijvende data architectuur is een belangrijk kennisgebied van data management en daarmee relevant voor data gedreven organisaties. Ten behoeve van data-architectuur modelleren zijn er diverse data-architectuur tools beschikbaar. Denk hierbij aan Collibra, The Essential Project of Talend. Echter bij organisaties zijn vaak reeds generieke modelleringstalen en tools beschikbaar voor modelleren van software, enterprise architectuur of requirements. In dit hoofdstuk gaan we in op het inzetten van een framework voor inrichting van een generiek tool gebaseerd op een aantal open modelleertalen. De voorbeelden die we hier gebruiken zijn uitgewerkt in Sparx Enterprise Architect. Een voorbeeld van een dergelijk generiek tool. Hieronder is daartoe een metamodel uitgewerkt voor hoe een data-architectuur gemodelleerd kan worden. De data-architectuur kent meerdere gezichtspunten om data in een organisatie te beschrijven. Zo wordt er op verschillende niveaus in een organisatie gekeken. Daarnaast kan de mate van detail vanuit verschillende gezichtspunten verschillen. We introduceren data-architectuur modelleren op basis van een uitwerking met behulp van een aantal modelleertechnieken. De belangrijkste modelleertechnieken hier gebruikt zijn:

• ArchiMate
• Unified Modeling Language
• Entity Relationship
• XML Schema Definition

Reden om voor deze modelleertalen te kiezen is dat ze een open standaard zijn, een breed toepassingsgebied hebben, goed met elkaar te integreren zijn en reeds veel toegepast worden binnen de aanpalende domeinen van data-architectuur. Hiermee kun je in je eigen organisatie data-architectuur modelleren introduceren op een natuurlijke manier. Dat doe je door die delen relevant voor de situatie binnen de organisatie stapsgewijs te introduceren op basis van de reeds toegepaste modelleertalen. Daarnaast worden er meerdere verschijningsvormen van de data-architectuur gebruikt. De grafenweergave en de matrix zijn in dit metamodel de meestgebruikte verschijningsvormen. Voor het uitwerken van het metamodel worden er twee data-architectuur niveaus uitgewerkt, namelijk:

• Domein data-architectuur: dit is een referentie architectuur voor het aspect data binnen de enterprise referentie architectuur
• Solution data-architectuur: architectuur voor het beschrijven van een data gedreven verandering binnen een project of oplossing.

Beide vormen worden hieronder nader toegelicht.

Fysiek datamodel voor het definiëren van berichten op basis van XML Schema Definition.