Before attempting to deduplicate th

Before attempting to deduplicate the customer records, you need to go through a pre- liminary step. First, you have to recast the name and address data into the multiple field format. This is not easy, considering the numerous variations in the way name and address are entered in free-form textual format. After this first step, you have to devise matching algorithms to match the customer records and find the duplicates. Fortunately, many good tools are available to assist you in the deduplication process.
Costs of Poor Data Quality Cleansing the data and improving the quality of data takes money and effort. Although data cleansing is extremely important, you could justify the expenditure of money and ef- fort by counting the costs of not having or using quality data. You can produce estimates with the help of the users. They are the ones who can really do estimates because the esti- mates are based on forecasts of lost opportunities and possible bad decisions. The following is a list of categories for which cost estimates can be made. These are broad categories. You will have to get into the details for estimating the risks and costs for each category.
Bad decisions based on routine analysis Lost business opportunities because of unavailable or “dirty” data Strain and overhead on source systems because of corrupt data causing reruns Fines from governmental agencies for noncompliance or violation of regulations Resolution of audit problems
Redundant data unnecessarily using up resources Inconsistent reports Time and effort for correcting data every time data corruption is discovered
DATA QUALITY TOOLS
Based on our discussions in this chapter so far, you are at a point where you are convinced about the seriousness of data quality in the data warehouse. Companies have begun to rec- ognize dirty data as one of the most challenging problems in a data warehouse. You would, therefore, imagine that companies must be investing heavily in data clean- up operations. But according to experts, data cleansing is still not a very high priority for companies. This attitude is changing as useful data quality tools arrive on the market. You may choose to apply these tools to the source systems, in the staging area before the load images are created, or to the load images themselves.
Categories of Data Cleansing Tools Generally, data cleansing tools assist the project team in two ways. Data error discovery tools work on the source data to identify inaccuracies and inconsistencies. Data correction tools help fix the corrupt data. These correction tools use a series of algorithms to parse, transform, match, consolidate, and correct the data. Although data error discovery and data correction are two distinct parts of the data cleansing process, most of the tools on the market do a bit of both. The tools have features and functions that identify and discover errors. The same tools can also perform the clean- ing up and correction of polluted data. In the following sections, we will examine the fea- tures of the two aspects of data cleansing as found in the available tools.
Error Discovery Features Please study the following list of error discovery functions that data cleansing tools are capable of performing.
Quickly and easily identify duplicate records Identify data items whose values are outside the range of legal domain values Find inconsistent data Check for range of allowable values Detect inconsistencies among data items from different sources Allow users to identify and quantify data quality problems Monitor trends in data quality over time Report to users on the quality of data used for analysis Reconcile problems of RDBMS referential integrity
Data Correction Features The following list describes the typical error correction functions that data cleansing tools are capable of performing.

Hasil (Bahasa Indonesia) 2:

Sebelum mencoba untuk deduplicate catatan pelanggan, Anda perlu melalui langkah pendahuluan. Pertama, Anda harus menyusun kembali nama dan alamat data ke format beberapa bidang. Ini tidak mudah, mengingat banyak variasi dalam nama jalan dan alamat yang dimasukkan dalam format tekstual-bentuk bebas. Setelah langkah pertama ini, Anda harus menyusun algoritma pencocokan untuk mencocokkan data pelanggan dan menemukan duplikat. Untungnya, banyak alat yang baik yang tersedia untuk membantu Anda dalam proses deduplication.
Biaya Miskin Kualitas Data Cleansing data dan meningkatkan kualitas data membutuhkan waktu uang dan usaha. Meskipun pembersihan data sangat penting, Anda bisa membenarkan pengeluaran uang dan ef- benteng dengan menghitung biaya tidak memiliki atau menggunakan data yang berkualitas. Anda dapat menghasilkan perkiraan dengan bantuan pengguna. Mereka adalah orang-orang yang benar-benar dapat melakukan perkiraan karena estimasi pasangan didasarkan pada perkiraan kesempatan yang hilang dan kemungkinan keputusan yang buruk. Berikut ini adalah daftar kategori yang perkiraan biaya dapat dibuat. Ini adalah kategori besar. Anda harus masuk ke rincian untuk memperkirakan risiko dan biaya untuk setiap kategori.
Keputusan Bad berdasarkan analisis Kehilangan peluang bisnis rutin karena tidak tersedia atau Regangan "kotor" Data dan overhead pada sistem sumber karena data yang menyebabkan tayangan ulang Denda dari pemerintah instansi bagi yang melanggar atau melanggar peraturan Resolusi masalah pemeriksaan
Redundant data tidak perlu menggunakan sumber daya yang tidak konsisten melaporkan Waktu dan usaha untuk memperbaiki data setiap data korupsi waktu ditemukan
ALAT KUALITAS DATA
Berdasarkan diskusi kami dalam bab ini sejauh ini, Anda berada di titik di mana Anda yakin tentang keseriusan kualitas data dalam data warehouse. Perusahaan telah mulai untuk meralat ognize data kotor sebagai salah satu masalah yang paling menantang dalam sebuah gudang data. Anda akan, oleh karena itu, membayangkan bahwa perusahaan harus investasi besar-besaran dalam data bersih-up operasi. Namun menurut para ahli, pembersihan data masih belum menjadi prioritas yang sangat tinggi bagi perusahaan. Sikap ini berubah alat kualitas data berguna tiba di pasar. Anda dapat memilih untuk menerapkan alat ini untuk sistem sumber, di area stage sebelum memuat gambar diciptakan, atau gambar beban sendiri.
Categories Alat Pembersihan data Umumnya, alat pembersihan data membantu tim proyek dalam dua cara. Alat penemuan kesalahan data bekerja pada sumber data untuk mengidentifikasi ketidakakuratan dan inkonsistensi. Alat koreksi Data membantu memperbaiki data yang korup. Alat koreksi ini menggunakan serangkaian algoritma untuk mengurai, mengubah, pertandingan, konsolidasi, dan memperbaiki data. Meskipun penemuan kesalahan data dan koreksi data dua bagian yang berbeda dari proses pembersihan data, sebagian besar alat di pasar melakukan sedikit baik. Alat memiliki fitur dan fungsi yang mengidentifikasi dan menemukan kesalahan. Alat yang sama juga dapat melakukan bersih-ing dan koreksi data tercemar. Pada bagian berikut, kami akan memeriksa ciri-ciri dari dua aspek pembersihan data seperti yang ditemukan dalam alat yang tersedia.
Kesalahan Penemuan Fitur Silakan mempelajari daftar berikut fungsi penemuan kesalahan bahwa alat pembersihan data yang mampu melakukan.
Cepat dan mudah mengidentifikasi duplikat catatan Mengidentifikasi item data yang nilainya berada di luar rentang nilai domain hukum Cari konsisten Data Periksa untuk rentang nilai yang diijinkan Mendeteksi inkonsistensi antara item data dari sumber yang berbeda Memungkinkan pengguna untuk mengidentifikasi dan mengukur masalah kualitas data Memantau tren dalam kualitas data dari waktu ke waktu Laporkan untuk pengguna pada kualitas data yang digunakan untuk analisis Rekonsiliasi masalah RDBMS integritas referensial
Koreksi Data Fitur Daftar berikut ini menjelaskan kesalahan fungsi koreksi khas bahwa alat pembersihan data yang mampu melakukan.