System conversions. Trace the evolu

System conversions. Trace the evolution of order processing in any company. The company must have started with a file-oriented order entry system in the early 1970s; orders were entered into flat files or indexed files. There was not much stock verification or customer credit verification during the entry of the order. Reports and hard-copy printouts were used to continue with the process of executing the or- ders. Then this system must have been converted into an online order entry system with VSAM files and IBM’s CICS as the online processing monitor. The next con- version must have been to a hierarchical database system. Perhaps that is where your order processing system still remains—as a legacy application. Many compa- nies have moved the system forward to a relational database application. In any case, what has happened to the order data through all these conversions? System conversions and migrations are prominent reasons for data pollution. Try to under- stand the conversions gone through by each of your source systems. Data aging. We have already dealt with data aging when we reviewed how over the course of many years the values in the product code fields could have decayed. The older values lose their meaning and significance. If many of your source systems are old legacy systems, pay special attention to the possibility of aged data in those systems. Heterogeneous system integration. The more heterogeneous and disparate your source systems are, the stronger is the possibility of corrupted data. In such a sce- nario, data inconsistency is a common problem. Consider the sources for each of your dimension tables and the fact table. If the sources for one table are several het- erogeneous systems, be cautious about the quality of data coming into the data warehouse from these systems. Poor database design. Good database design based on sound principles reduces the introduction of errors. DBMSs provide for field editing. RDBMSs enable verifica- tion of the conformance to business rules through triggers and stored procedures. Adhering to entity integrity and referential integrity rules prevents some kinds of data pollution. Incomplete information at data entry. At the time of the initial data entry about an entity, if all the information is not available, two types of data pollution usually oc- cur. First, some of the input fields are not completed at the time of initial data entry. The result is missing values. Second, if the unavailable data is mandatory at the time of the initial data entry, then the person entering the data tries to force generic val- ues into the mandatory fields. Entering N/A for not available in the field for city is an example of this kind of data pollution. Similarly, entry of all nines in the Social Security number field is data pollution. Input errors. In olden days when data entry clerks entered data into computer sys- tems, there was a second step of data verification. After the data entry clerk finished a batch, the entries from the batch were independently verified by another person. Now, users who are also responsible for the business processes enter the data. Data entry is not their primary vocation. Data accuracy is supposed to be ensured by sight verification and data edits planted on the input screens. Erroneous entry of data is a major source of data corruption. Internationalization/localization. Because of changing business conditions, the structure of the business gets expanded into the international arena. The company moves into wider geographic areas and newer cultures. As a company is internation-
alized, what happens to the data in the source systems? The existing data elements must adapt to newer and different values. Similarly, when a company wants to con- centrate on a smaller area and localize its operations, some of the values for the data elements get discarded. This change in the company structure and the resulting revi- sions in the source systems are sources of data pollution. Fraud. Do not be surprised to learn that deliberate attempts to enter incorrect data are not uncommon. Here, the incorrect data entries are actually falsifications to commit fraud. Look out for monetary fields and fields containing units of products. Make sure that the source systems are fortified with tight edits for such fields. Lack of policies. In any enterprise, data quality does not just materialize by itself. Pre- vention of entry of corrupt data and preservation of data quality in the source sys- tems are deliberate activities. An enterprise without explicit policies on data quality cannot be expected to have adequate levels of data quality.
Validation of Names and Addresses Almost every company suffers from the problem of duplication of names and addresses. For a single person, multiple records can exist among the various source systems. Even within a single source system, multiple records can exist for one person. But in the data warehouse, you need to consolidate all the activities of each person from the various du- plicate records that exist for that person in the multiple source systems. This type of prob- lem occurs whenever you deal with people, whether they are customers, employees, physicians, or suppliers. Take the specific example of an auction company. Consider the different types of cus- tomers and the different purposes for which the customers seek the services of the auction company. Customers bring property items for sale, buy at auctions, subscribe to the cata- logs for the various categories of auctions, and bring articles to be appraised by experts for insurance purposes and for estate dissolution. It is likely that there are different legacy systems at an auction house to service the customers in these different areas. One cus- tomer may come for all of these services and a record gets created for the customer in each of the different systems. A customer usually comes for the same service many times. On some of these occasions, it is likely that duplicate records are created for the same cus- tomer in one system. Entry of customer data happens at different points of contact of the customer with the auction company. If it is an international auction company, entry of cus- tomer data happens at many auction sites worldwide. Can you imagine the possibility for duplication of customer records and the extent of this form of data corruption? Name and address data is captured in two ways (see Figure 13-3). If the data entry is in the multiple field format, then it is easier to check for duplicates at the time of data entry. Here are a few inherent problems with entering names and addresses:
No unique key Many names on one line One name on two lines Name and the address in a single line Personal and company names mixed Different addresses for the same person Different names and spellings for the same customer

Hasil (Bahasa Indonesia) 2:

Konversi sistem. Melacak evolusi pemrosesan order di setiap perusahaan. Perusahaan harus sudah mulai dengan sistem order entry-berkas berorientasi pada awal tahun 1970; perintah dimasukkan ke flat file atau file indeks. Tidak ada banyak verifikasi saham atau verifikasi kredit pelanggan selama masuknya pesanan. Laporan dan hard copy cetakan digunakan untuk melanjutkan proses mengeksekusi ders atau-. Maka sistem ini harus telah diubah menjadi sistem entry order online dengan file VSAM dan IBM CICS sebagai monitor pengolahan online. Versi con berikutnya pasti ke sistem database hirarkis. Mungkin itu adalah di mana sistem pemrosesan order Anda masih tetap-sebagai aplikasi warisan. Banyak perusahaan--perusahaan telah pindah sistem ke depan untuk aplikasi database relasional. Dalam kasus apapun, apa yang telah terjadi dengan data pesanan melalui semua konversi ini? Konversi sistem dan migrasi alasan utama untuk polusi data. Cobalah untuk memahami berdiri konversi ditempuh oleh masing-masing sistem sumber Anda. Penuaan data. Kami telah berurusan dengan data penuaan ketika kita Ulasan bagaimana selama bertahun-tahun nilai-nilai di bidang kode produk bisa membusuk. Nilai-nilai yang lebih tua kehilangan makna dan signifikansi mereka. Jika banyak dari sistem sumber Anda adalah sistem warisan lama, memberikan perhatian khusus terhadap kemungkinan data yang berusia di sistem tersebut. Integrasi sistem heterogen. Semakin heterogen dan berbeda sistem sumber Anda, semakin kuat kemungkinan data rusak. Dalam skenario yang pesimis seperti sce-, inkonsistensi data adalah masalah umum. Mempertimbangkan sumber untuk setiap tabel dimensi dan tabel fakta. Jika sumber-sumber untuk satu meja beberapa sistem heterogen, berhati-hati tentang kualitas data yang masuk ke dalam gudang data dari sistem ini. Desain database miskin. Desain database yang baik berdasarkan prinsip-prinsip suara mengurangi pengenalan kesalahan. DBMS menyediakan untuk mengedit lapangan. RDBMSs memungkinkan verifikasi kesesuaian untuk aturan bisnis melalui pemicu dan prosedur yang tersimpan. Mengikuti integritas entitas dan aturan integritas referensial mencegah beberapa jenis pencemaran data. Informasi yang tidak lengkap di entri data. Pada saat entri data awal tentang suatu entitas, jika semua informasi tidak tersedia, dua jenis polusi data yang biasanya skr kadang-. Pertama, beberapa field input tidak diselesaikan pada saat entri data awal. Hasilnya hilang nilai-nilai. Kedua, jika data tidak tersedia adalah wajib pada saat entri data awal, maka orang memasukkan data mencoba untuk memaksa nilai-generik-nilai ke dalam bidang wajib. Memasuki N / A untuk tidak tersedia di lapangan untuk kota adalah contoh dari jenis polusi data. Demikian pula, masuknya semua sembilan di bidang nomor Jaminan Sosial adalah polusi data. Kesalahan input. Di masa lalu ketika entri data panitera memasukkan data ke dalam komputer sistemik tems, ada langkah kedua verifikasi data. Setelah petugas entri data selesai batch, entri dari batch yang diverifikasi secara independen oleh orang lain. Sekarang, pengguna yang juga bertanggung jawab atas proses bisnis memasukkan data. Entri data tidak panggilan utama mereka. Akurasi data seharusnya dijamin oleh pemandangan verifikasi dan suntingan data yang ditanam di layar input. Entri data yang salah merupakan sumber utama korupsi data. Internasionalisasi / lokalisasi. Karena perubahan kondisi bisnis, struktur bisnis akan diperluas ke arena internasional. Perusahaan bergerak ke wilayah geografis yang lebih luas dan budaya yang lebih baru. Sebagai perusahaan yang interna-
alized, apa yang terjadi pada data dalam sistem sumber? Unsur-unsur data yang ada harus beradaptasi dengan nilai-nilai yang lebih baru dan berbeda. Demikian pula, ketika sebuah perusahaan ingin con- centrate pada area yang lebih kecil dan melokalisasi operasi, beberapa nilai untuk elemen data bisa dibuang. Perubahan dalam struktur perusahaan dan keputusan-revi- yang dihasilkan dalam sistem sumber merupakan sumber polusi data. Penipuan. Jangan terkejut mengetahui bahwa upaya sengaja untuk memasukkan data yang salah yang tidak biasa. Di sini, entri data yang salah sebenarnya pemalsuan untuk melakukan penipuan. Melihat keluar untuk bidang moneter dan bidang yang mengandung unit produk. Pastikan bahwa sistem sumber yang diperkaya dengan suntingan ketat untuk bidang tersebut. Kurangnya kebijakan. Dalam setiap perusahaan, kualitas data tidak hanya terwujud dengan sendirinya. Pencegahan yang masuk data korup dan pelestarian kualitas data dalam sumber sistemik tems adalah kegiatan yang disengaja. Suatu perusahaan tanpa kebijakan yang eksplisit pada kualitas data tidak dapat diharapkan untuk memiliki tingkat yang memadai dari kualitas data.
Validasi Nama dan Alamat Hampir setiap perusahaan menderita masalah duplikasi nama dan alamat. Untuk satu orang, beberapa catatan bisa eksis di antara berbagai sistem sumber. Bahkan dalam sistem sumber tunggal, beberapa catatan bisa eksis untuk satu orang. Namun dalam data warehouse, Anda perlu untuk mengkonsolidasikan semua kegiatan masing-masing orang dari berbagai catatan plicate du- yang ada untuk orang yang di beberapa sistem sumber. Jenis lem-masalah terjadi setiap kali Anda berhubungan dengan orang, apakah mereka adalah pelanggan, karyawan, dokter, atau pemasok. Ambil contoh spesifik perusahaan lelang. Pertimbangkan jenis cus- tomers dan berbeda tujuan yang pelanggan mencari jasa perusahaan lelang. Pelanggan membawa barang-barang properti untuk dijual, membeli di lelang, berlangganan log cata- untuk berbagai kategori lelang, dan membawa artikel yang akan dinilai oleh para ahli untuk tujuan asuransi dan untuk pembubaran real. Sangat mungkin bahwa ada sistem warisan yang berbeda pada rumah lelang untuk melayani pelanggan di daerah-daerah yang berbeda. Satu Tomer cus- mungkin datang untuk semua layanan ini dan rekor akan dibuat untuk pelanggan di masing-masing sistem yang berbeda. Pelanggan biasanya datang untuk layanan yang sama berkali-kali. Pada beberapa kesempatan, ada kemungkinan bahwa catatan duplikat dibuat untuk Tomer cus- yang sama dalam satu sistem. Entri data pelanggan yang terjadi di berbagai titik kontak dari pelanggan dengan perusahaan lelang. Jika ia adalah sebuah perusahaan lelang internasional, entri data Tomer cus- terjadi di situs lelang banyak di seluruh dunia. Dapatkah Anda bayangkan kemungkinan untuk duplikasi data pelanggan dan luasnya bentuk data korupsi? Nama dan alamat data yang ditangkap dalam dua cara (lihat Gambar 13-3). Jika entri data dalam format beberapa bidang, maka lebih mudah untuk memeriksa duplikat pada saat entri data. Berikut adalah masalah beberapa melekat dengan memasukkan nama dan alamat:
Tidak ada yang unik kunci Banyak nama pada satu baris Satu nama pada dua garis Nama dan alamat dalam satu baris Pribadi dan nama perusahaan dicampur alamat yang berbeda untuk orang nama yang berbeda sama dan ejaan untuk pelanggan yang sama