Lignage de données technique
Un lignage de données technique est la représentation technique et détaillée des transformations qui s'appliquent aux données. Cette représentation est destinée aux gestionnaires de données techniques et aux ingénieurs de données.
Depuis HOPEX vous pouvez accéder aux lignages de données techniques disponibles dans MANTA. MANTA est une plate-forme automatisée de lignage de données conçue pour extraire, à partir d'une sélection de systèmes sources (sources de données, systèmes de fichiers), les informations techniques des flux, transformations et dépendances de données.
Présentation de l'import MANTA
L'intégration MANTA et HOPEX consiste à importer dans HOPEX le dictionnaire des métadonnées scannées par MANTA avec leurs descriptions et leurs références (URL) afin de pouvoir consulter depuis HOPEX leur lignage technique dans MANTA.
Les objets importés sont des métadonnées issues de sources de données, comme les stores de données déployés, les schémas, les métadonnées physiques et les champs de métadonnées physiques.
|
CORRESPONDANCE DES OBJETS
|
||
|---|---|---|
|
MANTA
|
HOPEX
|
Propriétés
|
|
Serveur
|
Serveur déployé
|
Identifiant MANTA, nom
|
|
Base de données
|
Dépôt de données déployé
|
Identifiant MANTA, nom
|
|
Schéma
|
Schéma de métadonnées physiques
|
Identifiant MANTA, nom, lien MANTA
|
|
Table
|
Métadonnée physique
|
Identifiant MANTA, nom, description, lien Manta
|
|
Colonne
|
Champ de métadonnée simple
|
Identifiant MANTA, description, type de donnée, longueur, décimale, lien MANTA, champ identifiant, champ référant
|
|
Vue
|
Vue de métadonnée
|
Identifiant MANTA, nom, lien MANTA
|
|
SGBD
|
Technologie logicielle
|
Nom
|
Les traitements (procédures stockées, fonctions, triggers, programmes, scripts, rapport, lignage technique) ne sont pas importés dans HOPEX. Ces informations sont stockées dans MANTA et référencées par HOPEX à travers les métadonnées.
Conditions préalables
Les fonctionnalités liées au lignage de données technique sont disponibles avec l'option de produit HTDL, protégée par une licence.
Autoriser l'url d'accès aux objets dans MANTA
Pour visualiser les lignages des données techniques de MANTA depuis HOPEX, l'accès doit être autorisé entre le serveur MANTA et celui de HOPEX qui peut être déployé sur site ou en Cloud.
Aussi, assurez-vous que les URL des objets extraits de MANTA et importés dans HOPEX sont publiques et accessibles pour la solution HOPEX Data Governance. Ces URL sont générées dans le fichier "Dictionary.csv", dans la colonne "manta_hyperlink".
Rapprochez-vous de votre administrateur MANTA afin de spécifier une URL qui permette l'accès à MANTA depuis HOPEX.
Paramétrer les options CSP (Content Security Policies)
Pour visualiser les URL importées de MANTA, vous devez également ajouter la directive frame-ancestors 'self' dans les CSP afin d'autoriser l'intégration de ressources externes :
1. Ouvrez la console HAS.
2. Cliquez sur le menu Modules > Module Settings.
3. Dans le champ Content Security Policy, ajouter frame-ancestors 'self'.
Paramétrer un nom de serveur unique lors de l'extraction des métadonnées
MANTA extrait généralement les métadonnées à partir d'un ensemble de connexions pour une technologie donnée (par exemple, toutes les bases de données Oracle).
Dans le cas où MANTA extrait des noms de serveurs différents à chaque connexion, il est important de préciser un nom unique pour le serveur. En effet, ce nom est utilisé pour identifier le namespace des métadonnées exportées de MANTA et importées dans HOPEX.
Pour paramétrer le nom du serveur :
1. Dans Manta Admin UI, ouvrez les paramètres de connexion de la source de données.
2. Dans le champ User-set Server name, saisissez le nom du serveur.
Gestion des révisions dans MANTA
Pour scanner un système source, MANTA se connecte à ce système et analyse les métadonnées avant de les introduire dans son référentiel. Lors d'un scan, les nouvelles métadonnées sont chargées directement ; les métadonnées actualisées sont comparées aux actifs existants afin de détecter les changements dans le lignage de données.
Chaque scan d'un système source donne lieu à une révision dans MANTA. Une révision est une tranche de temps qui montre comment le système analysé se présentait au moment du scan.
Lorsque vous lancez un scan dans MANTA, vous pouvez créer une nouvelle révision ou enrichir une révision existante par des révisions mineures.
Il est important de noter que les métadonnées déjà importées dans HOPEX doivent toujours exister dans la dernière révision majeure ou dans ses révisions mineures afin que l'URL MANTA fournie dans HOPEX donne accès à leurs lignages de données. En effet, l'URL affichée dans HOPEX correspond à la dernière révision majeure dans MANTA.
Importer des données de MANTA
Les données issues de MANTA sont exportées dans un fichier .csv, nommé Dictionary.csv. Ce fichier peut ensuite être importé dans HOPEX dans un fichier .zip, à destination d'un catalogue de données.
Pour importer le fichier Dictionary.csv dans HOPEX Data Governance :
1. Dans le menu de navigation, cliquez sur Outils > Import Manta.
2. L'assistant d'import d'un lignage de données technique apparaît.
3. Indiquez :
• le catalogue de données qui va référencer les métadonnées importées
• le centre de données qui va détenir les métadonnées
• le fichier .zip contenant le lignage de données issu de MANTA.
Pour que l'import dans HOPEX fonctionne, veillez à ce que les fichiers .csv soient à la racine du fichier .zip et non dans des dossiers.4. Cliquez sur OK.
La fenêtre du planificateur apparaît. Elle indique que l'import du fichier va se faire en mode batch.
5. Cliquez sur OK.
A la fin de l'import, une notification et un émail sont envoyés à l'utilisateur qui a lancé l'import et au propriétaire du catalogue de données.
Une fois les métadonnées importées dans HOPEX, il est possible de visualiser leur lignage de données technique en appelant l'outil Manta Viewer.
Visualiser le lignage de données technique
Accéder au lignage de données technique
Vous pouvez accéder depuis HOPEX Data Governance au lignage de données MANTA d'une métadonnée physique. Pour cela :
1. Ouvrez les propriétés de la métadonnée physique.
Il doit s'agir d'une métadonnée qui a été importée de MANTA.2. Cliquez sur la page Caractéristiques.
3. A droite de la page, cliquez sur la visualisation MANTA.
4. Connectez-vous à votre compte MANTA et visualisez le lignage de données.