One rule

Beheer van de boom, de trefwoorden lijsten de algoritmen etc, deze functie wordt ook gebruikt in de eerdere functies of geldt als voeding voor deze functies

Data analyse en - science technieken hebben een enorme vlucht genomen. Er ontstaan nog steeds nieuwe algoritmes. Daarnaast kunnen deze technieken beter omgaan met gedistribueerde verwerking.

Ethisch gebruik van gegevens, bijvoorbeeld het vermijden van bias in algoritmes. Transparantie rond inzet van datasets. Met name bij organisaties waar ethiek en data nog in de kinderschoenen staat is dit een concern waar vanuit data-architectuur aandacht aan besteed moet worden. Een nauwe samenwerking met data eigenaren, data analisten en security en privacy rollen is hier van belang.

Een data scientist is een expert die geavanceerde analysetechnieken en technologieën gebruikt om complexe en grote datasets te verwerken, analyseren en er waardevolle inzichten uit te halen. Terwijl een data-analist zich vaak richt op het interpreteren en visualiseren van gegevens, gaat een data scientist een stap verder en gebruikt methoden zoals machine learning, statistische modellering en algoritmen om voorspellingen te doen en oplossingen te creëren. Hiermee stelt hij vergelijkbare eisen aan het datalandschap en de datasets als de data analist. Echter veelal zullen de eisen aan de datakwaliteiten vanuit een data scientst hoger zijn dan die van de data analisten. Daarnaast worden er hogere eisen gesteld aan de producten en diensten die een data scientist levert en de producten die vanuit de werkzaamheden ontstaan.

Inzetten van algoritmen om te zoeken naar patronen in tekstuele informatie. Denk bijvoorbeeld aan sentimentanalyse. Tellen van voorkomende woorden en nabijheid van woorden

Inzetten van algoritmen om te zoeken naar patronen in tekstuele informatie. Denk bijvoorbeeld aan sentimentanalyse. Tellen van voorkomende woorden en nabijheid van woorden

Inzetten van machine learning algoritme om de kwaliteit van data te verbeteren. Bijvoorbeeld richting accuraatheid. Denk bijvoorbeeld aan Barneveld en bepalen of de woonplaats in Nederland of de VS is obv van andere attributen in de dataset.

Inzetten van machine learning algoritme om de kwaliteit van data te verbeteren. Bijvoorbeeld richting accuraatheid. Denk bijvoorbeeld aan Barneveld en bepalen of de woonplaats in Nederland of de VS is obv van andere attributen in de dataset.

Meta data harvesting wordt gedaan als dataverwerking reeds heeft plaatsgevonden in het verleden zonder dat men toen meta data over de transformatie verzameld heeft. In die situatie dient data harvesting met terugwerkende kracht dataverwerkingsalgoritmen te ontdekken en te analyseren. Data harvasting is vooral relevant in situaties waar het ontstaan van de huidige data architectuur evolutionair ontstaan is zonder rekening te houden met eisen en requirements die vanuit meta data management gesteld worden. Het analyseren van de programmatuur die zorgdragen voor de data transformaties kan complex zijn. Zeker in situaties waar weinig gebruik gemaakt is van standaardisatie van transformaties, meerdere data verwerkingstools zijn gebruikt of waar de geschreven software door meerdere professionals ontwikkeld zijn, waarbij logging e.d. niet is ontwikkeld, kan meta data harvesting een uitdaging zijn. Meta Data Harvesting is vooral relevant in de context van Business Intelligence, Master - en Referentie Data en data integratie relevant. Men dient met terugwerkende kracht meta data te verzamelen over de dataverwerking binnen deze werkvelden. In deze werkvelden zijn de kansen op succesvolle implementaties groot omdat hier de automatiseringsgraad van de dataverwerking hoog zal zijn gezien het repeterende en gestandaardiseerde karakter van de toepassingen die deze vormen van dataverwerking implementeren.

Meta data harvesting wordt gedaan als dataverwerking reeds heeft plaatsgevonden in het verleden zonder dat men toen meta data over de transformatie verzameld heeft. In die situatie dient data harvesting met terugwerkende kracht dataverwerkingsalgoritmen te ontdekken en te analyseren. Data harvasting is vooral relevant in situaties waar het ontstaan van de huidige data architectuur evolutionair ontstaan is zonder rekening te houden met eisen en requirements die vanuit meta data management gesteld worden. Het analyseren van de programmatuur die zorgdragen voor de data transformaties kan complex zijn. Zeker in situaties waar weinig gebruik gemaakt is van standaardisatie van transformaties, meerdere data verwerkingstools zijn gebruikt of waar de geschreven software door meerdere professionals ontwikkeld zijn, waarbij logging e.d. niet is ontwikkeld, kan meta data harvesting een uitdaging zijn. Meta Data Harvesting is vooral relevant in de context van Business Intelligence, Master - en Referentie Data en data integratie relevant. Men dient met terugwerkende kracht meta data te verzamelen over de dataverwerking binnen deze werkvelden. In deze werkvelden zijn de kansen op succesvolle implementaties groot omdat hier de automatiseringsgraad van de dataverwerking hoog zal zijn gezien het repeterende en gestandaardiseerde karakter van de toepassingen die deze vormen van dataverwerking implementeren.