Data Integrity Specialist. Responsi

Data Integrity Specialist. Responsible for ensuring that the data in the source systems conforms to the business rules. Data Correction Authority. Responsible for actually applying the data cleansing tech- niques through the use of tools or in-house programs. Data Consistency Expert. Responsible for ensuring that all data within the data ware- house (various data marts) are fully synchronized.
The Purification Process We all know that it is unrealistic to hold up the loading of the data warehouse unless the quality of all data is at the 100% level. That level of data quality is extremely rare. If so, how much of the data should you attempt to cleanse? When do you stop the purification process? Again, we come to the issues of who will use the data and for what purpose. Estimate the costs and risks of each piece of incorrect data. Users usually settle for some extent of errors, provided these errors result in no serious consequences. But the users need to be kept informed of the extent of possible data corruption and exactly which parts of the data could be suspect. How then could you proceed with the purification process? With the complete partici- pation of your users, divide the data elements into priorities for the purpose of data cleansing. You may adopt a simple categorization by grouping the data elements into three priority categories: high, medium, and low. Achieving 100% data quality is critical for the high category. The medium-priority data requires as much cleansing as possible. Some er- rors may be tolerated when you strike a balance between the cost of correction and poten- tial effect of bad data. The low-priority data may be cleansed if you have any time and re- sources still available. Begin your data cleansing efforts with the high-priority data. Then move on to the medium-priority data. A universal data corruption problem relates to duplicate records. As we have seen ear- lier, for the same customer, there could be multiple records in the source systems. Activity records are related to each of these duplicate records in the source systems. Make sure your overall data purification process includes techniques for correcting the duplication problem. The techniques must be able to identify the duplicate records and then relate all the activities to this single customer. Duplication normally occurs in records relating to persons such as customers, employees, and business partners. So far, we have not discussed data quality with regard to data obtained from external sources. Pollution can also be introduced into the data warehouse through errors in exter- nal data. Surely, if you pay for the external data and do not capture it from the public do- main, then you have every right to demand a warranty on data quality. In spite of what the vendor might profess about the quality of the data, for each set of external data, set up some kind of data quality audit. If the external data fails the audit, be prepared to reject the corrupt data and demand a cleaner version. Figure 13-7 illustrates the overall data purification process. Please observe the process as shown in the figure and go through the following summary:
Establish the importance of data quality. Form data quality steering committee. Institute a data quality framework. Assign roles and responsibilities. Select tools to assist in the data purification process. Prepare in-house programs as needed.

DATA QUALITY INITIATIVE DATA QUALITY INITIATIVES
DATA CONSUMER (User Dept.)
DATA EXPERT (User Dept.)
DATA PRODUCER (User Dept.)
DATA POLICY ADMINISTRATOR (IT Dept.)
DATA INTEGRITY SPECIALIST (IT Dept.)
DATA CORRECTION AUTHORITY (IT Dept.)
DATA CONSISTENCY EXPERT (IT Dept.)
Figure 13-6 Data quality: participants and roles.

Hasil (Bahasa Indonesia) 1:

Spesialis integritas data. Bertanggung jawab untuk memastikan bahwa data dalam sistem sumber sesuai dengan aturan bisnis. Data koreksi otoritas. Bertanggung jawab untuk benar-benar menerapkan data pembersihan tech-niques melalui penggunaan alat atau program rumah. Data konsistensi ahli. Bertanggung jawab untuk memastikan bahwa semua data dalam data ware-rumah (berbagai data Mart) penuh disinkronisasikan.Pemurnian proses kita semua tahu bahwa itu tidak realistis untuk menahan pemuatan gudang data kecuali kualitas semua data di tingkat 100%. Tingkat kualitas data ini sangat jarang. Jika demikian, berapa banyak data yang sebaiknya Anda mencoba untuk membersihkan? Ketika Anda berhenti proses pemurnian? Sekali lagi, kami datang ke isu-isu yang akan menggunakan data tersebut dan untuk tujuan apa. Memperkirakan biaya dan risiko dari setiap bagian dari data yang salah. Pengguna biasanya menetap untuk batas tertentu kesalahan, asalkan kesalahan ini mengakibatkan tidak ada konsekuensi yang serius. Tetapi pengguna perlu untuk dapat disimpan informasi tentang sejauh mana mungkin data korupsi dan persis bagian mana dari data bisa menjadi tersangka. Bagaimana Anda bisa melanjutkan dengan proses pemurnian? Dengan lengkap dalam Pros-belajaran pengguna Anda, membagi elemen data menjadi prioritas untuk pembersihan data. Anda dapat mengadopsi kategorisasi yang sederhana dengan mengelompokkan elemen data ke dalam tiga kategori prioritas: tinggi, menengah dan rendah. Mencapai 100% data kualitas sangat penting untuk kategori tinggi. Data menengah-prioritas memerlukan pembersihan sebanyak mungkin. Beberapa er-rors dapat ditoleransi ketika kau menyerang keseimbangan antara biaya koreksi dan poten - efek esensial dari data yang buruk. Data prioritas rendah dapat dibersihkan jika Anda memiliki waktu dan re-sumber masih tersedia. Mulai data pembersihan upaya dengan data prioritas tinggi. Kemudian pindah ke data menengah-prioritas. Masalah korupsi universal data berkaitan record-record duplikat. Seperti yang kita lihat telinga-lier, bagi pelanggan sama, mungkin ada beberapa catatan dalam sistem sumber. Catatan kegiatan yang berhubungan dengan setiap record-record duplikat ini dalam sistem sumber. Pastikan Anda keseluruhan proses pemurnian data mencakup teknik untuk mengoreksi masalah duplikasi. Teknik harus mampu mengidentifikasi record-record duplikat dan kemudian berkaitan dengan semua kegiatan ini satu pelanggan. Duplikasi biasanya terjadi dalam catatan yang berkaitan dengan orang-orang seperti pelanggan, karyawan dan mitra bisnis. Sejauh ini, kita telah tidak membahas kualitas data dengan data yang Diperoleh dari sumber-sumber eksternal. Polusi juga dapat diperkenalkan ke dalam gudang data melalui kesalahan dalam data exter-nal. Tapi, jika Anda membayar untuk data eksternal dan tidak menangkap itu dari umum do-utama, maka Anda memiliki hak untuk menuntut Garansi kualitas data. Meskipun apa yang vendor mungkin menyatakan tentang kualitas data, untuk setiap data eksternal, mengatur beberapa jenis audit kualitas data. Jika data eksternal gagal audit, bersiaplah untuk menolak korup data dan menuntut versi bersih. Gambar 13-7 mengilustrasikan proses pemurnian data secara keseluruhan. Silakan mengamati proses seperti yang ditunjukkan pada gambar dan pergi melalui ringkasan berikut: Menetapkan pentingnya kualitas data. Formulir data kualitas Komite Pengarah. Institut kerangka kualitas data. Menetapkan peran dan tanggung jawab. Pilih alat-alat untuk membantu dalam proses pemurnian data. Mempersiapkan rumah program yang diperlukan.DATA KUALITAS INISIATIF DATA KUALITAS INISIATIFDATA konsumen (pengguna Dept.)DATA ahli (pengguna Dept.)PRODUSER DATA (pengguna Dept.)DATA kebijakan ADMINISTRATOR (IT Dept.)DATA integritas spesialis (IT Dept.)DATA koreksi otoritas (IT Dept.)DATA konsistensi ahli (IT Dept.)Kualitas Data gambar 13-6: peserta dan peran.

Hasil (Bahasa Indonesia) 2:

Data Integritas Spesialis. Bertanggung jawab untuk memastikan bahwa data dalam sistem sumber sesuai dengan aturan bisnis. Data Koreksi Authority. Bertanggung jawab untuk benar-benar menerapkan teknik-data cleansing-teknik melalui penggunaan alat-alat atau program in-house. Data Konsistensi Expert. Bertanggung jawab untuk memastikan bahwa semua data dalam data gudang rumah (berbagai data mart) sepenuhnya disinkronkan.
Proses Pemurnian Kita semua tahu bahwa itu tidak realistis untuk menahan pemuatan data warehouse kecuali kualitas semua data di 100 tingkat%. Bahwa tingkat kualitas data sangat jarang. Jika demikian, berapa banyak data yang Anda harus berusaha untuk membersihkan? Ketika Anda menghentikan proses pemurnian? Sekali lagi, kita sampai pada masalah yang akan menggunakan data dan untuk tujuan apa. Memperkirakan biaya dan risiko masing-masing bagian dari data yang salah. Pengguna biasanya menetap untuk batas tertentu dari kesalahan, disediakan kesalahan ini mengakibatkan tidak ada konsekuensi serius. Namun pengguna harus disimpan informasi tentang sejauh mana kemungkinan korupsi data dan persis bagian mana dari data bisa menjadi tersangka. Bagaimana kemudian bisa melanjutkan dengan proses pemurnian? Dengan partisipasi lengkap pengguna, membagi elemen data menjadi prioritas untuk tujuan pembersihan data. Anda mungkin mengadopsi kategorisasi sederhana dengan mengelompokkan elemen data menjadi tiga kategori prioritas: tinggi, sedang, dan rendah. Mencapai kualitas data 100% sangat penting untuk kategori tinggi. Data menengah-prioritas membutuhkan sebanyak pembersihan mungkin. Beberapa Rors eh dapat ditoleransi ketika Anda keseimbangan antara biaya koreksi dan efek potensi cukup dari data yang buruk. Data prioritas rendah dapat dibersihkan jika Anda memiliki waktu dan sumber daya yang masih tersedia. Mulailah upaya pembersihan data Anda dengan data prioritas tinggi. Kemudian beralih ke data media-prioritas. Masalah korupsi data yang universal berkaitan dengan menduplikasi catatan. Sebagaimana telah kita lihat lier telinga, untuk pelanggan yang sama, mungkin ada beberapa catatan dalam sistem sumber. Catatan aktivitas terkait dengan masing-masing duplikat catatan dalam sistem sumber. Pastikan proses pemurnian data Anda secara keseluruhan termasuk teknik untuk memperbaiki masalah duplikasi. Teknik-teknik harus mampu mengidentifikasi duplikat catatan dan kemudian menghubungkan semua kegiatan untuk pelanggan ini tunggal. Duplikasi biasanya terjadi pada catatan yang berhubungan dengan orang-orang seperti pelanggan, karyawan, dan mitra bisnis. Sejauh ini, kami belum membahas kualitas data yang berkaitan dengan data yang diperoleh dari sumber eksternal. Polusi juga dapat diperkenalkan ke dalam gudang data melalui kesalahan dalam data nal eksternalitas. Tentunya, jika Anda membayar untuk data eksternal dan tidak menangkap itu dari milik umum, maka Anda memiliki hak untuk menuntut jaminan pada kualitas data. Terlepas dari apa vendor mungkin mengakui tentang kualitas data, untuk setiap set data eksternal, menyiapkan semacam audit kualitas data. Jika data eksternal gagal audit, siap untuk menolak data korup dan menuntut versi bersih. Gambar 13-7 mengilustrasikan proses pemurnian data secara keseluruhan. Silakan amati proses seperti yang ditunjukkan pada gambar dan pergi melalui ringkasan berikut:
Membangun pentingnya kualitas data. Form Data komite pengarah kualitas. Melembagakan kerangka kualitas data. Menetapkan peran dan tanggung jawab. Pilih alat untuk membantu dalam proses pemurnian data. Siapkan program in-house yang diperlukan. KUALITAS DATA INISIATIF KUALITAS INISIATIF DATA DATA KONSUMEN (User Dept) DATA EXPERT (User Dept) DATA PRODUSEN (User Dept) DATA KEBIJAKAN ADMINISTRATOR (IT Dept) INTEGRITAS DATA SPESIALIS (IT Dept ) DATA KOREKSI AUTHORITY (IT Dept) DATA KONSISTENSI EXPERT (IT Dept) Gambar 13-6 data kualitas: peserta dan peran.