Design Considerations: MetadataMeta

Design Considerations: Metadata
Metadata is searched by users to find data definitions or subject areas
A data warehouse design should ensure that there is a mechanism that populates and maintains the metadata repository, and that all access paths to the data warehouse have metadata as an entry point
In other words, the warehouse design should prevent any direct access to the warehouse data (especially updates) if it does not use metadata definition to gain the access

Design Considerations: Data Distribution
Fact: Data volumes continue to grow, the data warehouse size rapidly outgrow a single server
How the data should be divided across multiple servers, and which users should get access to which types of data
The data placement and distribution design should consider several options, including data distribution by subject area (e.g., human resources, marketing), location (e.g., geographic regions), or time (e.g., current, monthly, quarterly)
Problems with distributed data: large amount of data transfer between servers

Design Considerations: Tools
Tools provide facilities for defining the transformation and cleanup rules, data movement (from operational sources into the warehouse), end-user query, reporting, and data analysis
Data warehouse designers have to be careful not to sacrifice the overall design to fit a specific tool
The designers have to make sure that all selected tools are compatible with the given data warehouse environment and with each other (common metadata repository)

Design Considerations: Performance Considerations
Knowing how end users need to access various data can help design warehouse databases to avoid the most expensive operations such as multi-table scans and joins
For example, one design technique is to populate the warehouse with a number of de-normalized views containing summarized, derived, and aggregated data
If done correctly, many end-user queries may execute directly against these views, thus maintaining appropriate overall performance levels

Data Warehouse Design Methodology (Ralph Kimball)
Choosing the subject matter
Deciding what a fact table represents
Identifying and conforming the dimensions
Choosing the facts
Storing pre-calculations in the fact table
Rounding out the dimension tables
Choosing the duration of the database
The need to track slowly changing dimensions
Deciding the query priorities and the query modes

Step 1: Choosing the subject matter of a particular data mart
According to Kimball, a great place to start in most enterprises is to build a data mart that consists of customer invoices or monthly statements
One of Kimball’s laws is that the best data source in any enterprise is the record of “how much money they owe us”
Avoid adding cost and profitability to your first data mart

Step 2: Deciding exactly what a fact table record represents
The fact table is the large central table in the dimensional design that has a multipart key
Each component of the multipart key is a foreign key to an individual dimension table
In the example of customer invoices, the “grain” of the fact table is the individual line item on the customer invoice
In other words, a line item on an invoice is a single fact table record, and vice versa

Step 3: Identifying and conforming the dimensions
The dimensions are the drivers of the data mart
The dimensions are the source of row headers in the user’s final reports
Dimensions should be chosen with the long-range data warehouse in mind
If any dimension occurs in two data marts, they must be exactly the same dimensions, or one must be a mathematical subset of the other
When a dimension is used in two data marts, this dimension is said to be conformed

Technical Considerations
The hardware platform that would house the data warehouse
The database management system that supports the warehouse database
The communication infrastructure that connects the warehouse, data marts, operational systems, and end users
The hardware platform and the software to support the metadata repository
The system management framework that enables centralized management and administration of the entire environment

Technical Considerations: Hardware Platforms
The data warehouse server has to be able to support large data volumes and complex query processing
In addition, it has to be scalable, since the data warehouse is never finished, as new user requirements, new data sources, and more historical data are continuously incorporated into the warehouse, and the user population of the data warehouse continues to grow
An important design point when selecting a scalable computing platform is the right balance between all computing components (e.g. processors and I/O bandwidth)
Remember: Lack of balance results in a bottleneck

Hasil (Bahasa Indonesia) 1:

Desain pertimbangan: MetadataMetadata yang dicari oleh pengguna untuk menemukan definisi data atau mata pelajaranDesain gudang data yang harus memastikan bahwa ada mekanisme yang populates dan mempertahankan metadata repositori, dan bahwa semua jalur akses ke gudang data memiliki metadata sebagai entry pointDengan kata lain, gudang desain harus mencegah akses langsung ke gudang data (khususnya update) jika tidak menggunakan definisi metadata untuk mendapatkan aksesPertimbangan desain: Distribusi DataFakta: Data volume terus tumbuh, ukuran gudang data dengan cepat mengatasi sebuah server tunggalBagaimana data harus dibagi di beberapa server, dan pengguna yang harus mendapatkan akses ke jenis dataDesain penempatan dan distribusi data harus mempertimbangkan beberapa pilihan, termasuk distribusi data dengan wilayah subjek (misalnya, sumber daya manusia, pemasaran), lokasi (misalnya, wilayah geografis), atau waktu (misalnya, arus, bulanan, triwulanan)Masalah dengan data terdistribusi: transfer data antara server dalam jumlah besarDesain pertimbangan: alatMenyediakan fasilitas untuk mendefinisikan transformasi dan pembersihan aturan, data gerakan (dari operasional sumber ke gudang), permintaan pengguna akhir, pelaporan, dan analisis dataData gudang desainer harus berhati-hati untuk tidak mengorbankan keseluruhan desain sesuai alat khususPara perancang harus memastikan bahwa semua alat-alat yang dipilih kompatibel dengan lingkungan gudang data diberikan dan dengan satu sama lain (umum metadata repositori)Pertimbangan desain: Kinerja pertimbanganMengetahui bagaimana pengguna akhir harus mengakses berbagai data dapat membantu desain gudang database untuk menghindari operasi paling mahal seperti multi-tabel scan dan bergabungSebagai contoh, satu teknik desain adalah untuk mengisi gudang dengan sejumlah de menormalkan pandangan yang berisi data diringkas, turunan dan agregatJika dilakukan dengan benar, banyak pengguna akhir query dapat mengeksekusi langsung terhadap pandangan-pandangan ini, dengan demikian mempertahankan tingkat kinerja keseluruhan yang sesuaiData gudang desain metodologi (Ralph Kimball)Memilih subyekMemutuskan apa yang mewakili tabel faktaMengidentifikasi dan sesuai dengan dimensiMemilih fakta-faktaMenyimpan pra-perhitungan dalam tabel faktaPembulatan luar dimensi tabelMemilih durasi databaseKebutuhan untuk melacak perlahan-lahan mengubah dimensiMemutuskan prioritas query dan mode queryLangkah 1: Memilih subyek tertentu data MartMenurut Kimball, tempat yang bagus untuk memulai di sebagian besar perusahaan adalah untuk membangun mart data yang terdiri dari tagihan pelanggan atau laporan bulananSalah satu hukum Kimball's adalah bahwa sumber data yang terbaik dalam usaha apa pun catatan "berapa banyak uang yang mereka berutang kami"Menghindari menambahkan biaya dan profitabilitas ke Anda pertama data martLangkah 2: Menentukan persis apa catatan tabel fakta yang mewakiliFakta meja adalah tabel pusat besar dalam desain dimensi yang memiliki kunci multipartMasing-masing komponen kunci multipart adalah kunci asing ke meja masing-masing dimensiDalam contoh pelanggan faktur, "butiran" tabel fakta adalah item baris individu di faktur pelangganDengan kata lain, item baris pada faktur adalah rekor meja tunggal fakta, dan sebaliknyaLangkah 3: Identifikasi dan penurut dimensiDimensi yang driver data MartDimensi adalah sumber baris header dalam pengguna akhir laporanDimensi harus dipilih dengan gudang data jangka panjang dalam pikiranJika dimensi terjadi di dua data mart, mereka harus persis dimensi yang sama, atau salah satu harus subset matematika lainnyaKetika sebuah dimensi digunakan dalam dua data mart, dimensi ini dikatakan menjadi serupaPertimbangan teknisPlatform perangkat keras yang akan rumah gudang dataSistem manajemen database yang mendukung database gudangInfrastruktur komunikasi yang menghubungkan warehouse, data mart, sistem operasi, dan pengguna akhirPlatform perangkat keras dan perangkat lunak untuk mendukung metadata repositoriKerangka manajemen sistem yang memungkinkan pengelolaan terpusat dan administrasi seluruh lingkunganPertimbangan teknis: Platform perangkat kerasData gudang server harus mampu mendukung volume data yang besar dan kompleks pemrosesan querySelain itu, itu harus menjadi scalable, karena gudang data tidak pernah selesai, sebagai pengguna baru persyaratan, baru sumber data dan data historis yang lebih terus dimasukkan ke dalam gudang dan populasi pengguna Gudang data terus tumbuhTitik penting desain ketika memilih platform komputasi scalable adalah keseimbangan yang tepat antara semua komponen komputasi (misalnya prosesor dan I/O bandwidth)Ingat: Kurangnya keseimbangan mengakibatkan kemacetan

Hasil (Bahasa Indonesia) 2:

Pertimbangan desain: Metadata
Metadata dicari oleh pengguna untuk menemukan definisi data atau bidang studi
Desain data warehouse harus memastikan bahwa ada mekanisme yang Mempopulai dan memelihara repositori metadata, dan bahwa semua jalur akses ke data warehouse memiliki metadata sebagai entry point
Dengan kata lain, desain gudang harus mencegah akses langsung ke data warehouse (terutama update) jika tidak menggunakan definisi metadata untuk mendapatkan akses Pertimbangan Desain: data Distribusi Fakta: volume data terus tumbuh, ukuran data warehouse cepat mengatasi server tunggal Bagaimana data harus dibagi di beberapa server, dan yang pengguna harus mendapatkan akses ke jenis data Penempatan data dan distribusi desain harus mempertimbangkan beberapa pilihan, termasuk distribusi data dengan mata pelajaran (misalnya, sumber daya manusia, pemasaran) , lokasi (misalnya, wilayah geografis), atau waktu (misalnya, saat ini, bulanan, triwulanan) Masalah dengan data terdistribusi: sejumlah besar transfer data antara server Pertimbangan Desain: Alat Alat menyediakan fasilitas untuk mendefinisikan transformasi dan pembersihan aturan, data pergerakan (dari sumber operasional ke gudang), permintaan pengguna akhir, pelaporan, dan analisis data desainer Data warehouse harus berhati-hati untuk tidak mengorbankan desain keseluruhan untuk menyesuaikan alat khusus Para desainer harus memastikan bahwa semua alat yang dipilih yang kompatibel dengan yang diberikan lingkungan data warehouse dan satu sama lain (repositori metadata umum) Pertimbangan Desain: Pertimbangan Kinerja Mengetahui bagaimana pengguna akhir perlu untuk mengakses berbagai data dapat membantu database desain gudang untuk menghindari operasi yang paling mahal seperti multi-tabel scan dan bergabung Misalnya, salah satu teknik desain adalah untuk mengisi gudang dengan sejumlah pandangan de-normalisasi mengandung diringkas, berasal, dan data agregat Jika dilakukan dengan benar, banyak pertanyaan pengguna akhir dapat mengeksekusi langsung terhadap pandangan-pandangan ini, dengan demikian mempertahankan tingkat kinerja secara keseluruhan sesuai Desain Data Warehouse Metodologi (Ralph Kimball) Memilih materi pelajaran Menentukan apa tabel fakta mewakili Mengidentifikasi dan sesuai dimensi Memilih fakta Menyimpan pre-kalkulasi di tabel fakta Pembulatan keluar tabel dimensi Memilih durasi database Kebutuhan untuk melacak pelan-pelan berubah dimensi Menentukan permintaan prioritas dan mode permintaan Langkah 1: Memilih subyek data mart tertentu Menurut Kimball, tempat yang bagus untuk memulai di kebanyakan perusahaan adalah untuk membangun data mart yang terdiri dari faktur pelanggan atau laporan bulanan Salah satu hukum Kimball adalah bahwa sumber data terbaik di setiap perusahaan adalah catatan "berapa banyak uang yang mereka berutang kita" Hindari menambahkan biaya dan profitabilitas untuk pertama data yang mart Langkah 2: Menentukan apa catatan tabel fakta mewakili Tabel fakta adalah meja tengah yang besar di desain dimensi yang memiliki kunci multi Setiap komponen kunci multipart adalah kunci asing ke tabel dimensi individu Dalam contoh faktur pelanggan, "gandum" dari tabel fakta adalah item baris individu pada faktur pelanggan Dengan kata lain, item baris pada faktur adalah fakta catatan tabel tunggal, dan sebaliknya Langkah 3: Mengidentifikasi dan sesuai dimensi Dimensi adalah driver dari data mart Dimensi adalah sumber header baris dalam laporan akhir pengguna Dimensi harus dipilih dengan gudang data jarak jauh dalam pikiran Jika dimensi apapun terjadi di mart dua data, mereka harus persis dimensi yang sama, atau seseorang harus menjadi bagian matematika yang lain Bila dimensi yang digunakan dalam dua data mart, dimensi ini dikatakan untuk menjadi serupa Pertimbangan Teknis Platform perangkat keras yang akan rumah gudang data Sistem manajemen database yang mendukung database gudang Infrastruktur komunikasi yang menghubungkan gudang, data mart, sistem operasional, dan pengguna akhir Platform perangkat keras dan perangkat lunak untuk mendukung metadata repositori Kerangka manajemen sistem yang memungkinkan manajemen terpusat dan administrasi seluruh lingkungan Pertimbangan Teknis: Platform Hardware Server data warehouse harus dapat mendukung volume data yang besar dan pemrosesan query yang kompleks Selain itu, itu harus terukur, karena data warehouse tidak pernah selesai, karena persyaratan baru pengguna, sumber data baru, dan lebih banyak data historis terus dimasukkan ke dalam gudang, dan populasi pengguna data warehouse terus berkembang Poin desain penting ketika memilih sebuah platform komputasi scalable adalah keseimbangan yang tepat antara semua komponen komputasi (misalnya prosesor dan I / O bandwidth) Ingat: Kurangnya hasil keseimbangan dalam kemacetan