Data acquisitie [ABB]

Laden/Toegang tot ontvangstzone, conditionering van data

Diagram in standaardweergave

Geacquireerd en gecondioneerde data

De brondata is geacquireerd binnen het Data omgeving landschap en is opgenomen in de ontvangstzone, waar afhankelijk van het type data verschillende paden binnen het Data omgeving landschap voor verwerking gevolgd kunnen worden


Details van Geacquireerd en gecondioneerde data

Geen bijzondere persoonsgegevens (AVG) in Data omgeving omgeving, tenzij expliciete toestemming GLO

Data die volgens de AVG onder de categorie ' bijzondere persoonsgegevens' vallen, mogen niet in de Data omgeving omgeving beschikbaar zijn, tenzij expliciete toestemming is verleend door de GLO.


Details van Geen bijzondere persoonsgegevens (AVG) in Data omgeving omgeving, tenzij expliciete toestemming GLO

Brondata levering

Brondata is een generieke entiteit op basis waaraan specifieke brondata entiteiten gerelateerd gaan worden. Zo ontstaat een getrapt model van brondata data objecten die het in het Data omgeving applicatielandschap getransformeerd worden tot informatieproducten.


Details van Brondata levering

Data ingestion

De binnengekomen data wordt door een aantal applicatie functies gereed gemaakt voor verdere verwerking binnen het applicatielandschap van Data omgeving. Met name voorbereidende functionaliteiten voor metadata verzamelen en instellen van autorisaties


Details van Data ingestion

Metadata harvesting en ontsluiting

Metadata van de datasets en de verwerkingsstappen is essentieel voor traceerbaarheid. Vandaar dat voor data lineage en data provenance een aantal funtionaliteiten ingericht zijn in het Data omgeving landschap.


Details van Metadata harvesting en ontsluiting

Opvragen toegangsrechten

Autorisatie en het bepalen van de toegangsrechten tot verwerkende functies is relevant vanuit het perspectief van security en privacy.


Details van Opvragen toegangsrechten

Bufferen

Een buffer is een wachtrij die asynchrone communicatie mogelijk maakt. De buffer is en tijdelijke opslag van gegevens om later uit te lezen. Een buffer wordt ingezet zodat het schrijven en lezen van de gegevens niet tegelijk hoeft plaats te vinden.


Details van Bufferen

In-flight dataverwerking van brondata

Data acquisitie en -conditionering

Dit is de eerste verwerkingsstap bij de ontvangst van de data binnen het Data omgeving landschap. De eerste transformaties worden gedaan op de ontvangen data zodat deze geschikt voor verdere verwerking.


Details van Data acquisitie en -conditionering

Data ontvangst(zone)

Applicatie functie voor afhandeling en opslag van data in de Data omgeving ontvangstzone.


Details van Data ontvangst(zone)

Raw layer datafundament

Raw data layer als eerste stap bij de transformatie van het datamodel in de bronsystemen naar het model in het enterprise data ware house. In de Raw Layer is de structuur van de bronsystemen nog herkenbaar aanwezig.


Details van Raw layer datafundament