Data warehouse og data mining værktøjer gør det nemt at udtrække og analysere massive mængder af information , men kvaliteten af analysen er kun så god som kvaliteten af ​​dataene. Det første skridt i enhver forskningsundersøgelse eller data warehousing projektet skal være en vurdering af kvaliteten af ​​de data, der går ind i projektet. Foranstaltninger for fuldstændighed , gyldighed og konsekvens alle faktor i denne vurdering . At udvikle datakvalitetsproblemer målinger , skal du følge bestemte trin. Instruktioner
1

Udvikle en ramme for måling af datakvalitet . Skabe rum i hver database , hvor resultaterne af kvalitetskontroller kan lagres. Udvikle rapporter eller dashboards fra disse data.
2

Measure data fuldstændighed. Vælg nøgleelementer i hver database og tælle den procentdel af nuller , tomme felter eller værdier repræsenterer utilgængelige eller ukendte data.
3

Measure procentdele af tilladte værdier . Når et felt har en række foruddefinerede kodeværdier , måle fordelingen af ​​disse værdier mod antallet af ukorrekte og manglende værdier. Analyser disse distributioner at afgøre, om bestemte koder vises for ofte. Hvis ja, kan denne værdi skal opdeles for at give bedre beskrivelse . For eksempel, hvis svarene er sort, hvid og farve og 98% af besvarelserne er farven kan det være fornuftigt at erstatte farve med rød, blå eller grøn.
4

Check for rimelige værdier. Numeriske målinger fremkommer sædvanligvis inden en tilladte interval . For eksempel vil en daglig vejr temperatur Fahrenheit måling vises normalt som en værdi fra ca -40 til 120 . Enhver værdi uden for dette interval er sandsynligvis ikke gyldig.
5.

sammenligne værdier inden for samme rekord for konsistens. Hvis temperaturen var 90 Fahrenheit , og nedbøren værdien er sne , den ene af de to værdier er formentlig forkert.
6

Check sammenhæng mellem relaterede poster . Brug lignende overensstemmelseskontrol mellem poster i forældre- barn relationer og inden flere underordnede poster. Forælder og barn relationer er links mellem database-elementer . For eksempel, i en række tid -relaterede emner, hvis et sæt af time temperaturmålinger liste temperaturer støt stigende 50-70 grader i hele morgenen , men 10:00 læser er -20 , denne værdi er sandsynligvis en fejl.

7

Opret rapporter, dashboards eller anmeldelser baseret på de indsamlede data. Opsummere ved organisatorisk gruppe , leverandør eller kundetype med evner til at bore ned til specifikke data elementer. Analysere data til at bestemme, hvor fejlene opstår, og hvad der kan gøres for at forbedre datakvaliteten.
8

forbedre datakvaliteten . Revider forretningsregler, reparation software til at afvise dårlige data , underrette kunderne dataproblemer og finde måder at belønne initiativer af høj kvalitet . Overvåge disse målinger over tid.