Normalize inconsistent data Improve

Normalize inconsistent data Improve merging of data from dissimilar data sources Group and relate customer records belonging to the same household Provide measurements of data quality Validate for allowable values
The DBMS for Quality Control The database management system itself is used as a tool for data qualtiy control in many ways. Relational database management systems have many features beyond the database engine (see list below). Later versions of RDBMS can easily prevent several types of er- rors creeping into the data warehouse.
Domain integrity. Provide domain value edits. Prevent entry of data if the entered data value is outside the defined limits of value. You can define the edit checks while set- ting up the data dictionary entries. Update security. Prevent unauthorized updates to the databases. This feature will stop unauthorized users from updating data in an incorrect way. Casual and untrained users can introduce inaccurate or incorrect data if they are given authorization to update. Entity integrity checking. Ensure that duplicate records with the same primary key values are not entered. Also prevent duplicates based on values of other attributes. Minimize missing values. Ensure that nulls are not allowed in mandatory fields. Referential integrity checking. Ensure that relationships based on foreign keys are preserved. Prevent deletion of related parent rows. Conformance to business rules. Use trigger programs and stored procedures to en- force business rules. These are special scripts compiled and stored in the database itself. Trigger programs are automatically fired when the designated data items are about to be updated or deleted. Stored procedures may be coded to ensure that the entered data conforms to specific business rules. Stored procedures may be called from application programs.
DATA QUALITY INITIATIVE
In spite of the enormous importance of data quality, it seems as though many companies still ask the question whether to pay special attention to it and cleanse the data or not. In many instances, the data for the missing values of attributes cannot be recreated. In quite a number of cases, the data values are so convoluted that the data cannot really be cleansed. A few other questions arise. Should the data be cleansed? If so, how much of it can really be cleansed? Which parts of the data deserve higher priority for applying data cleansing techniques? The indifference and the resistance to data cleansing emerge from a few valid factors:
Data cleansing is tedious and time-consuming. The cleansing activity demands a combination of the usage of vendor tools, writing of in-house code, and arduous
manual tasks of verification and examination. Many companies are unable to sus- tain the effort. This is not the kind of work many IT professionals enjoy. The metadata on many source systems may be missing or nonexistent. It will be dif- ficult or even impossible to probe into dirty data without the documentation. The users who are asked to ensure data quality have many other business responsi- bilities. Data quality probably receives the least attention. Sometimes, the data cleansing activity appears to be so gigantic and overwhelming that companies are terrified of launching a data cleansing initiative.
Once your enterprise decides to institute a data cleansing initiative, you may consider one of two approaches. You may opt to let only clean data into your data warehouse. This means only data with a 100% quality can be loaded into the data warehouse. Data that is in any way polluted must be cleansed before it can be loaded. This is an ideal approach, but it takes a while to detect incorrect data and even longer to fix it. This approach is ide- al from the point of view of data quality, but it will take a very long time before all data is cleaned up for data loading. The second approach is a “clean as you go” method. In this method, you load all the data “as is” into the data warehouse and perform data cleansing operations in the data warehouse at a later time. Although you do not withhold data loads, the results of any query are suspect until the data gets cleansed. Questionable data quality at any time leads to losing user confidence that is extremely important for data warehouse success.
Data Cleansing Decisions Before embarking on a data cleansing initiative, the project team, including the users, have to make a number of basic decisions. Data cleansing is not as simple as deciding to cleanse all data and to cleanse it now. Realize that absolute data quality is unrealistic in the real world. Be practical and realistic. Go for the fitness-for-purpose principle. Deter- mine what the data is being used for and find the purpose. If the data from the warehouse has to provide exact sales dollars of the top twenty-five customers, then the quality of this data must be very high. If customer demographics are to be used to select prospects for the next marketing campaign, the quality of this data may be at a lower level. In the final analysis, when it comes to data cleansing, you are faced with a few funda- mental questions. You have to make some basic decisions. In the following subsections, we present the basic questions that need to be asked and the basic decisions that need to be made.
Which Data to Cleanse. This is the root decision. First of all, you and your users must jointly work out the answer to this question. It must primarily be the users’ deci- sion. IT will help the users make the decision. Decide on the types of questions the data warehouse is expected to answer. Find the source data needed for getting answers. Weigh the benefits of cleansing each piece of data. Determine how cleansing will help and how leaving the dirty data in will affect any analysis made by the users in the data warehouse. The cost of cleaning up all data in the data warehouse is enormous. Users usually un- derstand this. They do not expect to see 100% data quality and will usually settle for ig- noring the cleansing of unimportant data as long as all the important data is cleaned up.

Hasil (Bahasa Indonesia) 1:

Menormalkan data konsisten meningkatkan menggabungkan data dari sumber data yang berbeda Group dan berhubungan catatan pelanggan milik sama rumah tangga menyediakan pengukuran kualitas data validasi untuk nilai-nilai yang dibolehkan DBMS untuk kontrol kualitas sistem manajemen database itu sendiri digunakan sebagai alat untuk kontrol qualtiy data dalam banyak cara. Sistem manajemen database relasional memiliki banyak fitur luar mesin database (Lihat daftar di bawah ini). Versi RDBMS dengan mudah dapat mencegah beberapa jenis er-rors merayap ke gudang data.Integritas domain. Menyediakan suntingan nilai domain. Mencegah pemasukan data jika nilai memasukkan data adalah di luar batas didefinisikan nilai. Anda bisa mendefinisikan cek edit sementara set-ting atas entri Kamus data. Update keamanan. Mencegah pembaruan yang tidak sah ke database. Fitur ini akan menghentikan pengguna yang tidak sah dari memperbarui data dengan cara yang salah. Pengguna kasual dan terlatih dapat memperkenalkan data yang tidak akurat atau salah jika mereka diberikan otorisasi untuk memperbarui. Entitas memeriksa integritas. Pastikan bahwa record-record duplikat dengan nilai kunci utama yang sama yang tidak dimasukkan. Juga mencegah duplikat berdasarkan nilai-nilai dari atribut lainnya. Meminimalkan nilai-nilai yang hilang. Memastikan bahwa nulls tidak diperbolehkan dalam bidang wajib. Memeriksa integritas referensial. Memastikan bahwa hubungan yang didasarkan pada kunci asing akan disimpan. Mencegah penghapusan baris terkait orangtua. Kesesuaian untuk aturan bisnis. Gunakan memicu program dan prosedur yang tersimpan untuk en-force aturan bisnis. Berikut adalah script khusus disusun dan disimpan dalam database itu sendiri. Memicu program secara otomatis dipecat ketika ditunjuk data item akan diperbarui atau dihapus. Prosedur yang tersimpan dapat kode untuk memastikan bahwa data yang dimasukkan sesuai dengan aturan tertentu bisnis. Prosedur yang tersimpan dapat disebut dari program aplikasi. DATA KUALITAS INISIATIFMeskipun besar pentingnya kualitas data, tampaknya seolah-olah banyak perusahaan masih bertanya pertanyaan apakah untuk membayar perhatian khusus untuk itu dan membersihkan data atau tidak. Dalam banyak kasus, data untuk hilang nilai atribut tidak dapat diciptakan. Dalam sejumlah kasus, nilai data jadi rumit bahwa data tidak benar-benar dibersihkan. Beberapa pertanyaan lain timbul. Harus data dibersihkan? Jika demikian, bagaimana itu benar-benar harus dibersihkan? Bagian mana dari data layak prioritas yang lebih tinggi untuk menerapkan data pembersihan teknik? Ketidakpedulian dan ketahanan terhadap data pembersihan muncul dari beberapa faktor yang berlaku: Data cleansing membosankan dan memakan waktu. Aktivitas pembersihan menuntut kombinasi penggunaan alat-alat Penjual, menulis kode rumah, dan sulitmanual tugas verifikasi dan pemeriksaan. Banyak perusahaan mampu sus-tain usaha. Ini bukanlah jenis pekerjaan yang menikmati banyak profesional TI. Metadata pada banyak sumber sistem mungkin hilang atau tidak ada. Ini akan menjadi dif-ficult atau bahkan tidak mungkin untuk menggali data kotor tanpa dokumentasi. Pengguna yang diminta untuk memastikan kualitas data memiliki banyak lain bisnis responsi-bilities. Kualitas data mungkin menerima paling perhatian. Kadang-kadang, data pembersihan aktivitas tampaknya begitu raksasa dan banyak perusahaan takut meluncurkan data pembersihan inisiatif.Setelah usaha Anda memutuskan untuk lembaga data pembersihan inisiatif, Anda dapat mempertimbangkan salah satu dari dua pendekatan. Anda dapat memilih untuk membiarkan hanya data bersih ke gudang data Anda. Ini berarti hanya data dengan kualitas 100% dapat dimuat ke dalam gudang data. Data yang dengan cara apapun tercemar harus dibersihkan sebelum itu dapat dimuat. Ini adalah pendekatan yang ideal, tetapi butuh waktu untuk mendeteksi data yang salah dan bahkan lebih lama untuk memperbaikinya. Pendekatan ini adalah ide-al dari sudut pandang kualitas data, tetapi akan memakan waktu yang sangat lama sebelum semua data dibersihkan untuk memuat data. Pendekatan kedua adalah metode "bersih saat Anda pergi". Dalam metode ini, Anda memuat semua data "sebagaimana adanya" ke gudang data dan melakukan operasi pembersihan data di gudang data pada waktu kemudian. Meskipun Anda tidak menahan beban data, hasil dari permintaan apapun yang tersangka sampai data akan dibersihkan. Data dipertanyakan kualitas setiap saat menyebabkan kehilangan kepercayaan pengguna yang sangat penting bagi keberhasilan gudang data.Data Cleansing keputusan sebelum memulai inisiatif pembersihan data, tim proyek, termasuk pengguna, harus membuat sejumlah keputusan dasar. Pembersihan data ini tidak sesederhana memutuskan untuk membersihkan semua data dan untuk membersihkan sekarang. Menyadari bahwa kualitas data mutlak tidak realistis di dunia nyata. Sangat praktis dan realistis. Pergi untuk prinsip kesesuaian untuk tujuan. Mencegah tambang data apa yang sedang digunakan untuk dan menemukan tujuan. Jika data dari gudang untuk memberikan tepat penjualan dolar atas dua puluh lima pelanggan, maka kualitas data ini harus sangat tinggi. Jika pelanggan demografi dapat digunakan untuk memilih prospek untuk kampanye pemasaran berikutnya, kualitas data ini mungkin pada tingkat yang lebih rendah. Dalam analisis akhir, ketika datang untuk membersihkan data, Anda dihadapkan dengan beberapa funda - mental pertanyaan. Anda harus membuat beberapa keputusan dasar. Dalam subbagian berikutnya, kami menyajikan pertanyaan dasar yang perlu untuk ditanyakan dan keputusan dasar yang perlu dilakukan. Data yang akan membersihkan. Ini adalah keputusan akar. Pertama-tama Anda dan pengguna harus bersama-sama bekerja tahu jawaban atas pertanyaan ini. Terutama harus pengguna permohonan-sion. INI akan membantu pengguna membuat keputusan. Memutuskan pada jenis gudang data diharapkan untuk menjawab pertanyaan. Menemukan sumber data yang diperlukan untuk mendapatkan jawaban. Menimbang manfaat pembersihan setiap bagian dari data. Menentukan bagaimana pembersihan akan membantu dan bagaimana meninggalkan data kotor akan mempengaruhi setiap analisis yang dibuat oleh pengguna di gudang data. Biaya pembersihan semua data dalam gudang data sangat besar. Pengguna biasanya un-derstand ini. Mereka tidak mengharapkan untuk melihat 100% kualitas data dan akan biasanya menetap untuk ig-noring pembersihan data penting selama semua data penting dibersihkan.

Hasil (Bahasa Indonesia) 2:

Menormalkan data yang tidak konsisten Meningkatkan penggabungan data dari sumber data yang berbeda Group dan berhubungan catatan pelanggan milik rumah tangga yang sama Memberikan pengukuran kualitas data Validasi untuk nilai-nilai yang diijinkan
DBMS untuk Quality Control Sistem manajemen database itu sendiri digunakan sebagai alat untuk data kontrol qualtiy di banyak jalan. Sistem manajemen database relasional memiliki banyak fitur luar mesin database (lihat daftar di bawah). Kemudian versi RDBMS dapat dengan mudah mencegah beberapa jenis Rors eh merayap ke dalam gudang data.
Integritas Domain. Memberikan nilai domain suntingan. Mencegah masuknya data jika nilai data yang dimasukkan adalah di luar batas yang ditentukan dari nilai. Anda dapat menentukan mengedit pemeriksaan sementara set-ting up entri kamus data. Memperbarui keamanan. Mencegah update tanpa izin ke database. Fitur ini akan menghentikan pengguna yang tidak sah dari pemutakhiran data dengan cara yang tidak benar. Pengguna biasa dan terlatih dapat memperkenalkan data yang tidak akurat atau tidak benar jika mereka diberikan otorisasi untuk memperbarui. Integritas entitas memeriksa. Memastikan bahwa catatan duplikat dengan nilai-nilai kunci primer yang sama tidak masuk. Juga mencegah duplikasi berdasarkan nilai-nilai dari atribut lainnya. Meminimalkan nilai yang hilang. Pastikan bahwa nulls tidak diperbolehkan di bidang wajib. Integritas referensial memeriksa. Memastikan bahwa hubungan berdasarkan kunci asing yang diawetkan. Mencegah penghapusan baris induk terkait. Kesesuaian dengan aturan bisnis. Gunakan program pemicu dan prosedur yang tersimpan untuk en- kekuatan aturan bisnis. Ini adalah script khusus disusun dan disimpan dalam database itu sendiri. Program pemicu secara otomatis dipecat ketika item data yang ditunjuk akan segera diperbarui atau dihapus. Prosedur yang tersimpan dapat kode untuk memastikan bahwa data yang dimasukkan sesuai dengan aturan bisnis yang spesifik. Disimpan prosedur dapat dipanggil dari program aplikasi.
INISIATIF KUALITAS DATA
Terlepas dari pentingnya besar kualitas data, tampaknya seolah-olah banyak perusahaan masih mengajukan pertanyaan apakah untuk membayar perhatian khusus untuk itu dan membersihkan data atau tidak. Dalam banyak kasus, data untuk nilai yang hilang atribut tidak dapat diciptakan. Dalam cukup banyak kasus, nilai data sangat berbelit-belit bahwa data dapat benar-benar dibersihkan. Beberapa pertanyaan lain muncul. Harus data dibersihkan? Jika demikian, berapa banyak yang benar-benar dapat dibersihkan? Bagian mana dari data pantas prioritas yang lebih tinggi untuk menerapkan teknik pembersihan data? Ketidakpedulian dan ketahanan terhadap pembersihan data muncul dari faktor valid beberapa:
Pembersihan data membosankan dan memakan waktu. Kegiatan pembersihan menuntut kombinasi penggunaan alat penjual, penulisan kode di-rumah, dan sulit
tugas manual verifikasi dan pemeriksaan. Banyak perusahaan tidak dapat sus- tain usaha. Ini bukan jenis pekerjaan banyak profesional TI menikmati. Metadata pada banyak sistem sumber mungkin hilang atau tidak ada. Ini akan menjadi ficult-beda atau bahkan tidak mungkin untuk menyelidiki data kotor tanpa dokumentasi. Pengguna yang diminta untuk memastikan kualitas data memiliki banyak bisnis lain tanggung jawab. Kualitas data mungkin menerima setidaknya perhatian. Kadang-kadang, aktivitas pembersihan data tampaknya begitu besar dan luar biasa bahwa perusahaan takut meluncurkan inisiatif pembersihan data.
Setelah perusahaan Anda memutuskan untuk melembagakan inisiatif pembersihan data, Anda dapat mempertimbangkan salah satu dari dua pendekatan. Anda dapat memilih untuk membiarkan data yang hanya bersih ke dalam gudang data Anda. Ini berarti hanya data dengan kualitas 100% dapat dimuat ke dalam gudang data. Data yang ada di cara apapun tercemar harus dibersihkan sebelum dapat dimuat. Ini adalah pendekatan yang ideal, namun butuh beberapa saat untuk mendeteksi data yang tidak benar dan bahkan lebih lama untuk memperbaikinya. Pendekatan ini al ide- dari sudut pandang kualitas data, tetapi akan memakan waktu yang sangat lama sebelum semua data dibersihkan untuk loading data. Pendekatan kedua adalah metode "bersih saat Anda pergi". Dalam metode ini, Anda memuat semua data "sebagaimana adanya" ke dalam gudang data dan melakukan operasi pembersihan data di data warehouse di lain waktu. Meskipun Anda tidak menahan beban data, hasil query setiap tersangka sampai data akan dibersihkan. Kualitas data dipertanyakan setiap saat menyebabkan kehilangan kepercayaan pengguna yang sangat penting bagi keberhasilan data warehouse.
Keputusan Pembersihan data Sebelum memulai inisiatif pembersihan data, tim proyek, termasuk pengguna, harus membuat sejumlah keputusan dasar. Pembersihan data tidak sesederhana memutuskan untuk membersihkan semua data dan untuk membersihkan sekarang. Sadarilah bahwa kualitas data mutlak tidak realistis di dunia nyata. Praktis dan realistis. Pergi untuk kebugaran-untuk-tujuan prinsip. Tambang mencegah- data apa yang sedang digunakan dan menemukan tujuan. Jika data dari gudang harus menyediakan dolar penjualan yang tepat dari dua puluh lima pelanggan, maka kualitas data ini harus sangat tinggi. Jika demografi pelanggan yang akan digunakan untuk memilih prospek untuk kampanye pemasaran berikutnya, kualitas data ini mungkin pada tingkat yang lebih rendah. Dalam analisis akhir, ketika datang ke pembersihan data, Anda dihadapkan dengan pertanyaan mendasar mental yang sedikit. Anda harus membuat beberapa keputusan dasar. Pada subbagian berikut, kami menyajikan pertanyaan dasar yang perlu ditanyakan dan keputusan dasar yang perlu dibuat.
Yang Data ke Cleanse. Ini adalah keputusan root. Pertama-tama, Anda dan pengguna Anda harus bersama-sama bekerja di luar jawaban untuk pertanyaan ini. Ini harus menjadi terutama sion-keputusan pengguna. IT akan membantu pengguna membuat keputusan. Tentukan jenis pertanyaan data warehouse diharapkan untuk menjawab. Cari sumber data yang dibutuhkan untuk mendapatkan jawaban. Timbang manfaat membersihkan setiap bagian data. Menentukan bagaimana pembersihan akan membantu dan bagaimana meninggalkan data kotor di akan mempengaruhi setiap analisis yang dibuat oleh pengguna di gudang data. Biaya membersihkan semua data di data warehouse sangat besar. Pengguna biasanya un hami ini. Mereka tidak mengharapkan untuk melihat kualitas data 100% dan biasanya akan puas ig- Noring pembersihan data penting asalkan semua data penting dibersihkan.