登录查看更多内容

Last updated on 2024年8月19日

How do you validate data quality after a transformation?

由人工智能和领英社区提供技术支持

Data transformation is the process of converting data from one format or structure to another, often to make it more suitable for analysis, visualization, or integration. However, data transformation can also introduce errors, inconsistencies, or anomalies that affect the quality and reliability of the data. How do you validate data quality after a transformation? Here are some tips and best practices to help you ensure that your data is accurate, complete, and consistent after any transformation.

此文章中的业界达人

由社区从 8 条内容中精选。了解更多

Shanza Khan

Computer Science | Artifical Intelligence | Machine Learning | Deep Learning | Data Science | Graphic Designer | Social…
Nathan Fauconnier MVP Excel

?? J'optimise vos fichiers Excel pour vous faire gagner en temps et fiabilité | Développeur & formateur Excel, VBA et…
Allan ROSS ???????

高级科学计算工程师（计算机视觉） ???? @TotalEnergies OneTech CSTJF ??????

1 Define quality criteria

Before you start transforming your data, you need to define what quality means for your data and how you will measure it. Quality criteria are the standards or expectations that you set for your data, such as accuracy, completeness, validity, consistency, timeliness, and relevance. You can use these criteria to design your transformation logic, test your data before and after the transformation, and monitor your data quality over time. Quality criteria should be aligned with your data goals, business rules, and stakeholder requirements.

添加您的观点

Shanza Khan

Computer Science | Artifical Intelligence | Machine Learning | Deep Learning | Data Science | Graphic Designer | Social Media Marketing | Diploma in Computer Operator | Networking & Operating System
举报内容
To validate data quality after a transformation, check for consistency, accuracy, and completeness. Compare transformed data with source data using sample audits and spot checks. Use validation rules like range, format, and null checks. Apply statistical tests to detect anomalies or outliers. Recalculate key metrics to ensure they remain unchanged unless intended. Document and review each step, then automate validation processes for future transformations to maintain reliability.

已翻译

赞
Nathan Fauconnier MVP Excel

?? J'optimise vos fichiers Excel pour vous faire gagner en temps et fiabilité | Développeur & formateur Excel, VBA et Power Query | +750 élèves formés | Ingénieur | Clients satisfaits => Liebherr, Accor, Generali ...
举报内容
La qualité des données est une notion à définir et à évaluer avant de les transformer. Vous devez établir des critères de qualité qui correspondent à ce que vous attendez de vos données, comme leur fiabilité, leur intégralité, leur conformité, leur homogénéité, leur fra?cheur et leur adéquation. Ces critères vous servent à élaborer votre logique de transformation, à vérifier vos données en amont et en aval de la transformation et à contr?ler la qualité de vos données dans la durée. Les critères de qualité doivent être cohérents avec vos buts en termes de données, vos règles métier et les besoins des parties prenantes.

已翻译

赞
Allan ROSS ???????

高级科学计算工程师（计算机视觉） ???? @TotalEnergies OneTech CSTJF ??????
举报内容
To validate data quality after a transformation in ETL processes, follow these steps: Define validation rules for acceptable data quality, conduct data profiling to understand source data quality, and perform data consistency checks to ensure record counts and relationships are maintained. Implement data integrity checks to verify no data loss or improper alterations, use automated testing and version control for efficiency, and monitor ETL processes with detailed logs. Cross-validate with source data, conduct sampling and verification, document validation procedures, and continuously review and refine processes. These steps ensure high-quality, reliable data for effective decision-making and analysis.

已翻译

赞

2 Test your transformation logic

One of the most important steps to validate data quality after a transformation is to test your transformation logic. This means verifying that your transformation code or tool is working as intended and producing the expected output. You can use various testing techniques, such as unit testing, integration testing, regression testing, and user acceptance testing, to check your transformation logic for errors, bugs, or anomalies. You can also use test data sets or sample data sets to compare the input and output data and validate the results.

添加您的观点

Nathan Fauconnier MVP Excel

?? J'optimise vos fichiers Excel pour vous faire gagner en temps et fiabilité | Développeur & formateur Excel, VBA et Power Query | +750 élèves formés | Ingénieur | Clients satisfaits => Liebherr, Accor, Generali ...
举报内容
Pour transformer vos données, vous devez d’abord savoir ce que la qualité signifie pour vos données et comment vous allez la quantifier. Les critères de qualité sont les standards ou les attentes que vous fixez pour vos données, comme la précision, la complétude, la validité, la cohérence, la récence et la pertinence. Ces critères vous aident à définir votre logique de transformation, à tester vos données avant et après la transformation et à suivre la qualité de vos données au cours du temps. Les critères de qualité doivent être en accord avec vos objectifs en matière de données, vos règles métier et les demandes des parties prenantes.

已翻译

赞

3 Compare source and target data

Another way to validate data quality after a transformation is to compare the source and target data. This means checking that the data values, attributes, and metadata in the target data match the source data, or are transformed according to the specified rules. You can use various comparison tools, such as data profiling, data mapping, data lineage, and data reconciliation, to compare the source and target data and identify any discrepancies, gaps, or conflicts. You can also use data quality metrics, such as completeness, accuracy, consistency, and validity, to measure the degree of similarity or difference between the source and target data.

添加您的观点

Nathan Fauconnier MVP Excel

?? J'optimise vos fichiers Excel pour vous faire gagner en temps et fiabilité | Développeur & formateur Excel, VBA et Power Query | +750 élèves formés | Ingénieur | Clients satisfaits => Liebherr, Accor, Generali ...
举报内容
Pour valider la qualité des données après une transformation, vous pouvez comparer les données source et cible. Cela suppose de contr?ler que les données cibles ont les mêmes valeurs, attributs et métadonnées que les données sources ou qu’ils sont modifiés selon les règles définies. Vous pouvez recourir à différents outils de comparaison, comme le profilage des données, le mappage des données, la tra?abilité des données et la réconciliation des données, pour comparer les données source et cible et détecter les écarts, les manques ou les contradictions.

已翻译

赞

4 Review data quality reports

A data quality report is a document that summarizes the results of your data quality assessment and provides insights into the strengths and weaknesses of your data. You can use data quality reports to validate data quality after a transformation by reviewing the key findings, issues, and recommendations. You can also use data quality reports to communicate your data quality status to your stakeholders, such as data owners, users, or managers. Data quality reports should be clear, concise, and actionable, and include relevant information, such as data quality criteria, metrics, scores, trends, and actions.

添加您的观点

Nathan Fauconnier MVP Excel

?? J'optimise vos fichiers Excel pour vous faire gagner en temps et fiabilité | Développeur & formateur Excel, VBA et Power Query | +750 élèves formés | Ingénieur | Clients satisfaits => Liebherr, Accor, Generali ...
举报内容
La qualité des données est synthétisée dans un rapport qui présente les résultats de votre analyse de la qualité des données et donne des informations sur les points forts et les points faibles de vos données. Vous pouvez vous servir des rapports de qualité des données pour valider la qualité des données après une transformation en regardant les principales observations, difficultés et suggestions. Vous pouvez aussi utiliser des rapports de qualité des données pour informer vos parties prenantes, comme les détenteurs, les utilisateurs ou les responsables de données, de votre situation de qualité des données.

已翻译

赞

5 Perform data quality audits

A data quality audit is a systematic and independent examination of your data quality processes and outcomes. You can use data quality audits to validate data quality after a transformation by evaluating the effectiveness, efficiency, and compliance of your data quality activities. You can also use data quality audits to identify any gaps, risks, or opportunities for improvement in your data quality management. Data quality audits should be conducted periodically, preferably by an external or independent party, and follow a predefined audit plan, methodology, and criteria.

添加您的观点

Nathan Fauconnier MVP Excel

?? J'optimise vos fichiers Excel pour vous faire gagner en temps et fiabilité | Développeur & formateur Excel, VBA et Power Query | +750 élèves formés | Ingénieur | Clients satisfaits => Liebherr, Accor, Generali ...
举报内容
La qualité des données fait l’objet d’un contr?le systématique et impartial de vos processus et résultats en matière de qualité des données. Vous pouvez recourir à des contr?les de qualité des données pour valider la qualité des données après une transformation en mesurant l’efficacité, l’efficience et la conformité de vos actions de qualité des données. Vous pouvez aussi utiliser des contr?les de qualité des données pour repérer les manques, les dangers ou les possibilités d’amélioration dans votre pilotage de la qualité des données. Les contr?les de qualité des données doivent être réalisés régulièrement, de préférence par une partie externe ou indépendante, et respecter un plan, une méthode et des critères de contr?le prédéfinis.

已翻译

赞

6 Implement data quality controls

Data quality controls are the mechanisms or procedures that you use to prevent, detect, and correct data quality issues. You can use data quality controls to validate data quality after a transformation by ensuring that your data meets the defined quality standards and expectations. You can also use data quality controls to monitor and maintain your data quality over time. Data quality controls can be implemented at different stages of your data lifecycle, such as data collection, data processing, data storage, and data usage. Data quality controls can be manual or automated, depending on your data volume, complexity, and frequency.

添加您的观点

加载更多内容

7 Here’s what else to consider

This is a space to share examples, stories, or insights that don’t fit into any of the previous sections. What else would you like to add?

添加您的观点

Data Processing

+ 关注

给文章评分

我们借助人工智能创建了此文章。您认为这篇文章怎么样？

很棒不太好

举报此文章

查看全部

How do you validate data quality after a transformation?

1

2

3

4

5

6

7

1 Define quality criteria

2 Test your transformation logic

3 Compare source and target data

4 Review data quality reports

5 Perform data quality audits

6 Implement data quality controls

7 Here’s what else to consider

Data Processing

给文章评分

感谢您的反馈

更多Data Processing相关文章

更多相关阅读内容