柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)——環(huán)境

http://yzkb.51969.com/

數(shù)據(jù)倉(cāng)庫(kù)環(huán)境

數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)筆記思維導(dǎo)圖已經(jīng)整理完畢，完整連接為： 數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí)筆記思維導(dǎo)圖

數(shù)據(jù)倉(cāng)庫(kù)的特性

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、非易失的、隨時(shí)間變化的用來(lái)支持管理人員決策的數(shù)據(jù)集合。

面向主題性

主題（Subject）：在較高層次上將企業(yè)信息系統(tǒng)中數(shù)據(jù)進(jìn)行綜合、歸類(lèi)分析利用。屬于一個(gè)抽象概念，每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀分析領(lǐng)域。主題(Subject)是對(duì)應(yīng)企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對(duì)象。 DSS系統(tǒng)是圍繞與某個(gè)領(lǐng)域有關(guān)的數(shù)據(jù)集合而組織的。 面向主題的好處：

更好地支持和分析數(shù)據(jù)。數(shù)據(jù)可以整合和抽象。提高數(shù)據(jù)的可復(fù)用性。

面向主題的實(shí)現(xiàn)

在數(shù)據(jù)倉(cāng)庫(kù)中，每一個(gè)主要主題域都是以一組相關(guān)的表來(lái)具體實(shí)現(xiàn)的。

數(shù)據(jù)表在同一主題域由一個(gè)公共關(guān)鍵字聯(lián)系起來(lái)。數(shù)據(jù)倉(cāng)庫(kù)中的主題域可能包含在不同介質(zhì)上。數(shù)據(jù)倉(cāng)庫(kù)中的每一個(gè)表都有時(shí)間元素作為關(guān)鍵字結(jié)構(gòu)的一部分。

集成性

數(shù)據(jù)從多個(gè)不同的數(shù)據(jù)源傳送進(jìn)來(lái)，進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)必須進(jìn)行轉(zhuǎn)換、重新排列以及匯總等操作。存在于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，必須具有企業(yè)的單一物理映像。 集成性的好處：

實(shí)現(xiàn)部門(mén)間，系統(tǒng)間的協(xié)作。節(jié)省DSS分析員時(shí)間和精力。提高數(shù)據(jù)的一致性和準(zhǔn)確性提升數(shù)據(jù)發(fā)掘與分析的效果。

非易失性

數(shù)據(jù)倉(cāng)庫(kù)中并不進(jìn)行（一般意義上的）數(shù)據(jù)更新，數(shù)據(jù)倉(cāng)庫(kù)在進(jìn)行裝載時(shí)是以靜態(tài)快照的格式進(jìn)行的。

隨時(shí)間變化

數(shù)據(jù)倉(cāng)庫(kù)中每個(gè)數(shù)據(jù)單元只是在某一時(shí)間是準(zhǔn)確的。任何情況下記錄都包含時(shí)間標(biāo)志用以說(shuō)明數(shù)據(jù)在那一時(shí)間是準(zhǔn)確的。數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵字結(jié)構(gòu)總是包含時(shí)間元素。 時(shí)變性的表現(xiàn)：

數(shù)據(jù)倉(cāng)庫(kù)隨時(shí)間變化不斷增加新的數(shù)據(jù)內(nèi)容。數(shù)據(jù)倉(cāng)庫(kù)隨時(shí)間變化不斷刪去舊的數(shù)據(jù)內(nèi)容。數(shù)據(jù)倉(cāng)庫(kù)中包含有大量的綜合數(shù)據(jù)。這些綜合數(shù)據(jù)中很多跟時(shí)間有關(guān)，如數(shù)據(jù)經(jīng)常按照時(shí)間段進(jìn)行綜合，或隔一定的時(shí)間片進(jìn)行抽樣等等。

第1天到第N天的現(xiàn)象

數(shù)據(jù)倉(cāng)庫(kù)只能一步一步地進(jìn)行設(shè)計(jì)并載入數(shù)據(jù)，即它是進(jìn)化性的，而非革命性的。爆炸式開(kāi)發(fā)方法只會(huì)帶來(lái)災(zāi)難性的后果。

粒度

細(xì)節(jié)程度越高，粒度級(jí)就越低。細(xì)節(jié)程度越低，粒度集就越高。 粒度會(huì)深刻影響存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量的大小及數(shù)據(jù)倉(cāng)庫(kù)所能回答的查詢(xún)類(lèi)型。

粒度級(jí)別低

可以從不同角度觀察數(shù)據(jù)靈活數(shù)據(jù)倉(cāng)庫(kù)中包含了整個(gè)企業(yè)活動(dòng)的事件和歷史

粒度級(jí)別高

表示數(shù)據(jù)效率遠(yuǎn)高于低粒度級(jí)別。需要的索引項(xiàng)更少，數(shù)據(jù)占用空間的大小較小。不利于數(shù)據(jù)壓縮。

設(shè)置粒度時(shí)需要注意的問(wèn)題

數(shù)據(jù)倉(cāng)庫(kù)中粒度變高時(shí)，數(shù)據(jù)所能回答查詢(xún)的能力就會(huì)隨之降低。因?yàn)槊總€(gè)實(shí)體都會(huì)有特殊要求，確定體系結(jié)構(gòu)中的哪些實(shí)體需要從數(shù)據(jù)倉(cāng)庫(kù)獲取粒度。

雙重粒度

雙重粒度是降低數(shù)據(jù)量的最佳方法。低細(xì)節(jié)級(jí)和高細(xì)節(jié)級(jí)。要知道：在很低的細(xì)節(jié)級(jí)上建立輕度匯總數(shù)據(jù)是沒(méi)有意義的。反過(guò)來(lái)，在太高的細(xì)節(jié)級(jí)建立匯總數(shù)據(jù)也是沒(méi)有用的。所以，一定要進(jìn)行數(shù)據(jù)粒度的評(píng)估，然后才能得出最佳的匯總方案。

輕度綜合數(shù)據(jù)庫(kù)中的數(shù)據(jù)量要比細(xì)節(jié)數(shù)據(jù)庫(kù)中的數(shù)據(jù)量少得多。大部分DSS處理是針對(duì)被壓縮的、存取效率高的輕度綜合數(shù)據(jù)進(jìn)行的。

活樣本數(shù)據(jù)庫(kù)

當(dāng)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量增長(zhǎng)到非常大時(shí)，采用抽樣取得真實(shí)檔案數(shù)據(jù)或輕度綜合數(shù)據(jù)的一個(gè)子集，且這個(gè)數(shù)據(jù)庫(kù)需要進(jìn)行周期刷新。

分區(qū)設(shè)計(jì)

把數(shù)據(jù)分散到可獨(dú)立處理的分離物理單元中。

數(shù)據(jù)裝載數(shù)據(jù)訪問(wèn)數(shù)據(jù)存檔數(shù)據(jù)刪除數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)存儲(chǔ)

數(shù)據(jù)分區(qū)要點(diǎn)

數(shù)據(jù)分區(qū)標(biāo)準(zhǔn)完全由開(kāi)發(fā)人員來(lái)決定注意在應(yīng)用層上數(shù)據(jù)進(jìn)行分區(qū)更有意義，并且轉(zhuǎn)移數(shù)據(jù)到其他設(shè)備不會(huì)帶來(lái)問(wèn)題。

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織

簡(jiǎn)單堆積結(jié)構(gòu)：將所有同類(lèi)型的數(shù)據(jù)進(jìn)行合并。以逐個(gè)記錄為基礎(chǔ)堆積。輪轉(zhuǎn)綜合數(shù)據(jù)存儲(chǔ)：將由近期到遠(yuǎn)期的數(shù)據(jù)由天、周、月、年進(jìn)行匯總處理，一些細(xì)節(jié)數(shù)據(jù)丟失，提取越久的數(shù)據(jù)越不詳細(xì)。簡(jiǎn)單直接文件：數(shù)據(jù)僅僅是從操作型環(huán)境被拖入數(shù)據(jù)倉(cāng)庫(kù)環(huán)境。并不是在每天基礎(chǔ)上組織的，而是較長(zhǎng)時(shí)間生成的快照。連續(xù)文件：依據(jù)兩個(gè)或者更多的簡(jiǎn)單直接文件生成的文件。等等、、

審計(jì)與數(shù)據(jù)倉(cāng)庫(kù)

在數(shù)據(jù)倉(cāng)庫(kù)中審計(jì)是可能的，但是審計(jì)帶來(lái)的復(fù)雜性使得審計(jì)在其他地方進(jìn)行更有意義。

數(shù)據(jù)倉(cāng)庫(kù)中的同構(gòu)和異構(gòu)

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是異構(gòu)的。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)按照主題域，表，數(shù)據(jù)在表中的出現(xiàn)。

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)清理

數(shù)據(jù)并非永久地注入數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)清理或數(shù)據(jù)細(xì)節(jié)轉(zhuǎn)換主要方式：

數(shù)據(jù)加入到數(shù)據(jù)原有細(xì)節(jié)的輪轉(zhuǎn)綜合文件中數(shù)據(jù)從高性能介質(zhì)轉(zhuǎn)移到大容量介質(zhì)上數(shù)據(jù)從系統(tǒng)中被真正清除數(shù)據(jù)從體系結(jié)構(gòu)的一個(gè)層次轉(zhuǎn)移到另一個(gè)層次

操作型窗口

在操作環(huán)境中的檔案數(shù)據(jù)的時(shí)間范圍稱(chēng)為數(shù)據(jù)的操作型窗口

操作型分析型數(shù)據(jù)量小數(shù)據(jù)量大數(shù)據(jù)訪問(wèn)頻繁數(shù)據(jù)訪問(wèn)較不頻繁訪問(wèn)數(shù)據(jù)較為新鮮任何數(shù)據(jù)都可能被訪問(wèn)

操作型窗口長(zhǎng)度對(duì)DSS分析員非常重要，它決定可分析員在哪里進(jìn)行不同的分析和能做什么類(lèi)型的分析

處理錯(cuò)誤數(shù)據(jù)的方式

找到錯(cuò)誤數(shù)據(jù)，進(jìn)行更新

干凈徹底數(shù)據(jù)集成被破壞，更新條目所聚合生成的報(bào)表失去一致性更新必須在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境進(jìn)行許多時(shí)候不止修正一條，而是很多

加入修正條目

最新數(shù)據(jù)的最好反映可能要修正很多條目，而非一個(gè)有時(shí)候修正公式非常復(fù)雜，以至于根本不可能進(jìn)行調(diào)整

重設(shè)數(shù)據(jù)值為正常值，不考慮以前值

方便快捷需要對(duì)應(yīng)用與過(guò)程進(jìn)行約定不能對(duì)過(guò)去的錯(cuò)誤進(jìn)行準(zhǔn)確的解釋

柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)——環(huán)境

http://yzkb.51969.com/

好文推薦