But be sure of getting the definiti

But be sure of getting the definitions of what is important or unimportant from the users themselves.
Where to Cleanse. Data for your warehouse originates in the source operational sys- tems, so does the data corruption. Then the extracted data moves into the staging area. From the staging area load images are loaded into the data warehouse. Therefore, theoret- ically, you may cleanse the data in any one of these areas. You may apply data cleansing techniques in the source systems, in the staging area, or perhaps even in the data ware- house. You may also adopt a method that splits the overall data cleansing effort into parts that can be applied in two of the areas, or even in all three areas. You will find that cleansing the data after it has arrived in the data warehouse reposito- ry is impractical and results in undoing the effects of many of the processes for moving and loading the data. Typically, data is cleansed before it is stored in the data warehouse. So that leaves you with two areas where you can cleanse the data. Cleansing the data in the staging area is comparatively easy. You have already resolved all the data extraction problems. By the time data is received in the staging area, you are fully aware of the structure, content, and nature of the data. Although this seems to be the best approach, there are a few drawbacks. Data pollution will keep flowing into the stag- ing area from the source systems. The source systems will continue to suffer from the consequences of the data corruption. The costs of bad data in the source systems do not get reduced. Any reports produced from the same data from the source systems and from the data warehouse may not match and will cause confusion. On the other hand, if you attempt to cleanse the data in the source systems, you are tak- ing on a complex, expensive, and difficult task. Many legacy source systems do not have proper documentation. Some may not even have the source code for the production pro- grams available for applying the corrections.
How to Cleanse. Here the question is about the usage of vendor tools. Do you use vendor tools by themselves for all of the data cleansing effort? If not, how much of in- house programming is needed for your environment? Many tools are available in the mar- ket for several types of data cleansing functions. If you decide to cleanse the data in the source systems, then you have to find the ap- propriate tools that can be applied to source system files and formats. This may not be easy if most of your source systems are fairly old. In that case, you have to fall back on in- house programs.
How to Discover the Extent of Data Pollution. Before you can apply data cleans- ing techniques, you have to assess the extent of data pollution. This is a joint responsibili- ty shared among the users of operational systems, the potential users of the data ware- house, and IT. IT staff, supporting both the source systems and the data warehouse, have a special role in the discovery of the extent of data pollution. IT is responsible for installing the data cleansing tools and training the users in using those tools. IT must augment the effort with in-house programs. In an earlier section, we discussed the sources of data pollution. Reexamine these sources. Make a list that reflects the sources of pollution found in your environment, then determine the extent of the data pollution with regard to each source of pollution. For ex- ample, in your case, data aging could be a source of pollution. If so, make a list of all the old legacy systems that serve as sources of data for your data warehouse. For the data at-
tributes that are extracted, examine the sets of values. Check if any of these values do not make sense and have decayed. Similarly, perform detailed analysis for each type of data pollution source. Please look at Figure 13-4. In this figure, you find a few typical ways you can detect the possible presence and extent of data pollution. Use the list as a guide for your environ- ment.

Hasil (Bahasa Indonesia) 2:

Tetapi pastikan untuk mendapatkan definisi dari apa yang penting atau tidak penting dari pengguna sendiri.
Dimana Cleanse. Data untuk gudang Anda berasal dari sumber sistem-sistem operasional, demikian data korupsi. Kemudian data diekstraksi bergerak ke area stage. Dari area stage memuat gambar yang dimuat ke dalam gudang data. Oleh karena itu, theoret- turun tajam, Anda mungkin membersihkan data di salah satu dari daerah-daerah tersebut. Anda mungkin menerapkan teknik pembersihan data di sistem sumber, di area stage, atau mungkin bahkan di rumah data gudang. Anda juga dapat mengadopsi metode yang membagi upaya pembersihan data keseluruhan menjadi bagian-bagian yang dapat diterapkan dalam dua daerah, atau bahkan di semua tiga wilayah. Anda akan menemukan bahwa pembersihan data setelah itu telah tiba di gudang data reposito- ry tidak praktis dan hasil dalam mengurai efek dari banyak proses untuk bergerak dan loading data. Biasanya, data dibersihkan sebelum disimpan di gudang data. Jadi yang membuat Anda dengan dua area di mana Anda dapat membersihkan data. Pembersihan data di area stage relatif mudah. Anda telah diselesaikan semua masalah ekstraksi data. Pada saat data diterima di area stage, Anda sepenuhnya menyadari struktur, isi, dan sifat data. Meskipun ini tampaknya menjadi pendekatan yang terbaik, ada beberapa kelemahan. Polusi Data akan terus mengalir ke daerah ing stag- dari sistem sumber. Sistem sumber akan terus menderita konsekuensi dari korupsi data. Biaya data yang buruk dalam sistem sumber tidak mendapatkan berkurang. Setiap laporan yang dihasilkan dari data yang sama dari sistem sumber dan dari gudang data mungkin tidak cocok dan akan menyebabkan kebingungan. Di sisi lain, jika Anda mencoba untuk membersihkan data dalam sistem sumber, Anda ing tak- pada tugas yang kompleks, mahal, dan sulit. Banyak sistem sumber warisan tidak memiliki dokumentasi yang tepat. Beberapa bahkan mungkin tidak memiliki kode sumber untuk gram produksi pro tersedia untuk menerapkan koreksi.
Cara Membersihkan. Berikut pertanyaannya adalah tentang penggunaan alat penjual. Apakah Anda menggunakan alat penjual sendiri untuk semua upaya pembersihan data? Jika tidak, berapa banyak pemrograman in-house diperlukan untuk lingkungan Anda? Banyak alat yang tersedia di ket mar- untuk beberapa jenis fungsi pembersihan data. Jika Anda memutuskan untuk membersihkan data dalam sistem sumber, maka Anda harus menemukan alat propriate ap yang dapat diterapkan ke file sistem sumber dan format. Ini mungkin tidak mudah jika sebagian besar sistem sumber Anda cukup tua. Dalam hal ini, Anda harus kembali pada program in-house.
Cara Temukan Tingkat Polusi data. Sebelum Anda dapat menerapkan data teknik ing cleans-, Anda harus menilai sejauh mana pencemaran data. Ini adalah ty jawab mereka bersama bersama antara pengguna sistem operasional, pengguna potensial dari rumah data gudang, dan IT. Staf IT, mendukung kedua sistem sumber dan data warehouse, memiliki peran khusus dalam penemuan tingkat polusi data. IT bertanggung jawab untuk menginstal alat pembersihan data dan pelatihan pengguna dalam menggunakan alat tersebut. TI harus meningkatkan upaya dengan program in-house. Dalam bagian sebelumnya, kita membahas sumber polusi data. Menguji kembali sumber-sumber ini. Buatlah daftar yang mencerminkan sumber pencemaran ditemukan di lingkungan Anda, kemudian menentukan tingkat polusi data yang berkaitan dengan setiap sumber polusi. Contohnya, dalam kasus Anda, data penuaan bisa menjadi sumber polusi. Jika demikian, membuat daftar semua sistem warisan lama yang berfungsi sebagai sumber data untuk data warehouse Anda. Untuk data di-
upeti yang diekstrak, memeriksa set nilai-nilai. Periksa apakah salah satu dari nilai-nilai ini tidak masuk akal dan telah membusuk. Demikian pula, melakukan analisis rinci untuk setiap jenis sumber pencemaran data. Silahkan lihat di Gambar 13-4. Dalam gambar ini, Anda menemukan cara khas beberapa Anda dapat mendeteksi keberadaan mungkin dan tingkat polusi data. Gunakan daftar sebagai panduan untuk pemerintah lingkungan Anda.