Data Extraction, Cleanup, and Trans

Data Extraction, Cleanup, and Transformation Tools

Outline
Introduction
Tool Requirements
Tool Selection Criteria
Vendor Approaches
Access to Legacy Data
Vendor Solutions
Transformation Engines

Introduction
Data Extraction, Cleanup, and Transformation:
is a key component of the data warehouse architecture.
takes a significant amount of time in building a data warehouse.
needs a set of tools that support the process.
Those tools represents a critical success factor for any data warehouse project.

Tool Requirements (1)
Data transformation from one format to another
DBF to SQL Server, Paradox to Oracle, etc.
Data transformation and calculation based on the application of the business rules that force certain transformations.
Birth-date to age, numeric gender code to male/female, etc.

Tool Requirements (2)
Data Consolidation and Integration
Combining several source records into a single record
Metadata synchronization and management
Storing and/or updating metadata definition about source data, transformations, formats, etc.
The entire data sourcing process is controlled by and documented in the metadata repository

Tool Selection Criteria (1)
The Ability to identify source data.
Support for flat files, indexed files, and legacy DBMSs.
The capability to merge data from multiple data stores.
The specification interface to indicate the data to be extracted and the conversion criteria.
The ability to read information from data dictionaries or import information from repository products.
The code generated by the tool should be completely maintainable from within the development environment.
Selective data extraction of both data elements & records.

Tool Selection Criteria (2)
A field-level data examination for the data transformation.
The ability to perform data-type and character-set translation is required when moving data between incompatible systems.
The capability to create summarization, aggregation, and derivation records and fields is very important.
The Data warehouse DBMS should be able to perform the load directly from the tool or create a flat file.
Vendor stability and support for the product

Vendor Approaches
The task of capturing data from a source data system, cleaning and transforming it, and then loading the result into a target data system can be carried out by separate products, or by a single integrated solution.
Categories of integrated solutions:
Code generators (create tailored 3GL/4GL transformation programs)
Data replication tools (employ database triggers to capture changes to a data source and apply the changes to a data target).
Rule-driven dynamic transformation engines / data mart builders (capture source data at user-defined intervals, transform the data, and send the results into the target data.

Access to Legacy Data
Enterprise/Access provides access to legacy data (such as mainframe-based legacy data).
Enterprise/Access provides a three-tiered architecture (data layer, process layer, and user layer) that defines how applications are partitioned to meet both near-term integration and long-term migration objectives.
With Enterprise/Access, legacy systems on virtually any platform can be connected to a new data warehouse via client/server interfaces without the significant time, cost, or risk involved in reengineering application code.

Vendor Solutions: Prism
Prism Warehouse Manager provides a comprehensive solution for data warehousing by mapping source data to a target DBMS to be used as a warehouse.
Warehouse Manager generates code to extract and integrate data, create and manage metadata, and build a subject-oriented, historical base.
Source: DB2, IMS, UNIX, MVS
Target: ORACLE, SYBASE, INFORMIX

Vendor Solutions: SAS Institute
SAS System Tools serve all data warehousing functions.
SAS Data Repository function can act to build the informational database.
SAS Data Access Engines serve as extraction tools.
SAS Views serve the internetworking and refresh roles.
SAS reporting, graphing, and decision support products act as the front end.
SAS engines can work with hierarchical and relational databases and sequential files.

Vendor Solutions: PASSPORT and MetaCenter (1)
Carleton Corp.’s PASSPORT is a sophisticated metadata-driven, data-mapping, and data-migration facility.
PASSPORT Workbench runs as a client on various PC platforms in the three-tiered environment, including Windows.
Two components of PASSPORT:
Collect source data (mainframe-based) and converts them to the Passport Data Language.
Create metadata directory (workstation-based) from which it builds the COBOL programs to create the extracts.

Vendor Solutions: PASSPORT and MetaCenter (2)
MetaCenter is an integrated tool suite that is designed to put users in control of the datawarehouse.
Data extraction and transformation
Metadata capture and browsing
Data mart subscription
Warehouse control center functionality
Event control and notification

Vendor Solutions: others
Vality Corp.: Integrity
Focus on data quality, avoiding GIGO.
Evolutionary Technologies: ETI-EXTRACT
Overall, is a comprehensive and mature data extraction and transformation tool.
Information Builders: EDA/SQL
Provides SQL access to over 60 different databases on 35 different platform.

Transformation Engines
Informatica: Powermart Suite
Captures technical and business metadata on the back-end that can be integrated with the metadata in front-end partners’ products, presenting a unified view of metadata across the enterprise.
Constellar: Hub
Is designed to handle the movement and transformation of data for both data migration and data distribution in an operational system, and for capturing operational data for loading into a data warehouse.

Hasil (Bahasa Indonesia) 2:

Ekstraksi Data, Pembersihan, dan Transformasi Alat Outline Pendahuluan Alat Persyaratan Kriteria Seleksi Alat Penjual Pendekatan Akses ke Legacy data vendor Solusi Mesin Transformasi Pendahuluan Data Extraction, Cleanup, dan Transformasi: adalah komponen kunci dari arsitektur data warehouse. membutuhkan banyak waktu dalam membangun sebuah gudang data. membutuhkan satu set alat yang mendukung proses. alat tersebut merupakan faktor penentu keberhasilan untuk setiap proyek data warehouse. Alat Persyaratan (1) transformasi data dari satu format yang lain DBF ke SQL Server, Paradox ke Oracle, dll transformasi data dan perhitungan berdasarkan pada penerapan aturan bisnis yang memaksa transformasi tertentu. Lahir tanggal usia, jenis kelamin kode numerik untuk pria / wanita, dll Alat Persyaratan (2) data Konsolidasi dan Integrasi Menggabungkan beberapa catatan sumber ke tunggal record Metadata sinkronisasi dan manajemen Menyimpan dan / atau memperbarui definisi metadata tentang sumber data, transformasi, format, dll Seluruh proses Data sourcing dikendalikan oleh dan didokumentasikan dalam repositori metadata Kriteria Selection Tool (1) Kemampuan untuk mengidentifikasi sumber data. Dukungan untuk flat file, file indeks, dan DBMSs warisan. Kemampuan untuk menggabungkan data dari beberapa toko data. Spesifikasi antarmuka untuk menunjukkan data yang akan diekstrak dan kriteria konversi. Kemampuan untuk membaca informasi dari kamus data atau mengimpor informasi dari repositori produk. Kode yang dihasilkan oleh alat harus benar-benar dipertahankan dari dalam lingkungan pengembangan. ekstraksi data Selektif kedua elemen & catatan data. Alat Kriteria Seleksi (2) Pemeriksaan data lapangan tingkat untuk transformasi data. Kemampuan untuk melakukan data -jenis dan terjemahan karakter-set diperlukan ketika memindahkan data antara sistem yang tidak kompatibel. Kemampuan untuk membuat summarization, agregasi, dan catatan derivasi dan bidang sangat penting. Data warehouse DBMS harus mampu melakukan load langsung dari alat atau membuat flat file. stabilitas vendor dan dukungan untuk produk vendor Pendekatan Tugas menangkap data dari sistem sumber data, pembersihan dan mengubahnya, dan kemudian memuat hasilnya menjadi sistem target data dapat dilakukan oleh produk yang terpisah, atau dengan solusi terintegrasi. Categories solusi terintegrasi: generator Kode (buat disesuaikan program transformasi 3GL / 4GL) . alat replikasi data (menggunakan database memicu untuk menangkap perubahan sumber data dan menerapkan perubahan target data) Peraturan-driven mesin transformasi dinamis / pembangun Data mart (data sumber capture pada interval yang ditetapkan pengguna, mengubah data, dan mengirim hasilnya ke data target. Akses ke Legacy data Perusahaan / Access menyediakan akses ke data warisan (seperti data warisan berbasis mainframe). Perusahaan / Access menyediakan arsitektur tiga-tier (lapisan data, lapisan proses, dan lapisan pengguna) yang mendefinisikan bagaimana aplikasi dipartisi untuk memenuhi kedua integrasi jangka pendek dan tujuan migrasi jangka panjang. Dengan Usaha / Access, sistem warisan di hampir setiap platform dapat dihubungkan ke sebuah gudang data baru melalui antarmuka client / server tanpa signifikan waktu, biaya, atau risiko yang terlibat dalam rekayasa ulang aplikasi kode. Penjual Solusi: Prism Prism Gudang Manager menyediakan solusi yang komprehensif untuk data warehousing dengan sumber data pemetaan untuk DBMS sasaran untuk digunakan sebagai gudang. Gudang manajer menghasilkan kode untuk mengekstrak dan mengintegrasikan data, membuat dan mengelola metadata, dan membangun subjek berorientasi, basis sejarah. Sumber: DB2, IMS, UNIX, MVS Target: ORACLE, Sybase, Informix vendor Solusi : SAS Institute SAS System Tools melayani semua fungsi data warehousing. SAS data fungsi Repository dapat bertindak untuk membangun database informasi. Mesin SAS Data Access berfungsi sebagai alat ekstraksi. SAS Views melayani internetworking dan menyegarkan peran. pelaporan SAS, grafik, dan mendukung keputusan produk bertindak sebagai front end. mesin SAS dapat bekerja dengan database hirarkis dan relasional dan file sekuensial. Penjual Solusi: PASPOR dan metacenter (1) PASSPORT Carleton Corp adalah metadata-driven, data-pemetaan, dan data-migrasi yang canggih . fasilitas PASPOR Workbench berjalan sebagai klien pada berbagai platform PC dalam lingkungan tiga-berjenjang, termasuk Windows. Dua komponen PASPOR: Kumpulkan sumber data (berbasis mainframe) dan mengkonversi mereka ke Passport data Bahasa. Buat direktori metadata (workstation- based) dari yang membangun program COBOL untuk membuat ekstrak. Penjual Solusi: PASPOR dan metacenter (2) metacenter adalah alat suite terintegrasi yang dirancang untuk menempatkan pengguna dalam kontrol dari data warehouse tersebut. ekstraksi data dan transformasi Metadata menangkap dan browsing data mart berlangganan control Gudang fungsi pusat kendali acara dan pemberitahuan Penjual Solusi: lain Vality Corp .: Integritas Fokus pada kualitas data, menghindari GIGO. Evolusi Teknologi: ETI-EKSTRAK Secara keseluruhan, adalah alat ekstraksi data dan transformasi yang komprehensif dan matang. Pembangun Informasi: EDA / SQL Menyediakan akses SQL ke lebih dari 60 database yang berbeda pada 35 platform yang berbeda. Mesin Transformasi Informatica: Powermart Suite Menangkap teknis dan bisnis metadata di back-end yang dapat diintegrasikan dengan metadata dalam produk front-end mitra ', menyajikan pandangan terpadu metadata di seluruh perusahaan. Constellar: Hub Apakah dirancang untuk menangani gerakan dan transformasi data untuk kedua migrasi data dan distribusi data dalam sistem operasional, dan untuk menangkap data operasional untuk loading ke dalam data warehouse.