柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉庫——數(shù)據(jù)集市

http://yzkb.51969.com/

一、什么是數(shù)據(jù)集市？

????????這里我們先回憶一下數(shù)據(jù)倉庫的定義， 數(shù)據(jù)倉庫(Data Warehouse) 是一個(gè)面向主題的(Subject Oriented) 、集成的( Integrate ) 、相對(duì)穩(wěn)定的(Non -Volatile ) 、反映歷史變化( Time Variant) 的數(shù)據(jù)集合用于支持管理決策。

????????今天我們介紹一個(gè)在數(shù)倉中非常常見的概念——數(shù)據(jù)集市，數(shù)倉定義中的五個(gè)特性都值得一一仔細(xì)品味，隨著你對(duì)數(shù)倉的理解加深，你對(duì)這個(gè)五個(gè)特性的理解也會(huì)更加全面。

????????首先數(shù)據(jù)倉庫用于支持決策,面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫;其次,數(shù)據(jù)倉庫是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組,并包含歷史數(shù)據(jù)并且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。

????????這里有一個(gè)詞是主題，那就是我們集成后的數(shù)據(jù)，又按照了主題進(jìn)行了劃分，而面向主題劃分出來的部分就是數(shù)據(jù)集市，也就是說數(shù)據(jù)集市是數(shù)據(jù)倉庫的一個(gè)子集或者說是集成后的子集。

????????數(shù)據(jù)集市通常是面向部門的或者是部門級(jí)業(yè)務(wù)，或者是面向部門的主題的，舉個(gè)例子例如在金融領(lǐng)域可能會(huì)有結(jié)算部門的數(shù)據(jù)集市、風(fēng)控部部門數(shù)據(jù)集市、市場(chǎng)部門的數(shù)據(jù)集市、運(yùn)營部門的數(shù)據(jù)集市，這里的特點(diǎn)就是面向部門的，但是對(duì)于有的部門它的組織結(jié)構(gòu)可能比較大，所以它所負(fù)責(zé)的業(yè)務(wù)線也有多個(gè)，這個(gè)時(shí)候就會(huì)出現(xiàn)，數(shù)據(jù)集市是面向部門的子業(yè)務(wù)，總之一句話，數(shù)據(jù)集市是面向主題的，一般公司的主題就是部門或者業(yè)務(wù)線。

二、為什么要構(gòu)建數(shù)據(jù)集市？

????????上面了解了什么是數(shù)據(jù)集市，接下來我們就看看一下為什么要有數(shù)據(jù)集市，開始之前我們線回顧一下前面的數(shù)倉建模分層理論數(shù)據(jù)倉庫——分層原理_糾結(jié)&安然的程序猿的博客-CSDN博客數(shù)倉建模分層理論,我們知道了數(shù)倉最簡(jiǎn)單的就是ODS+DM，但為什么我們還要分層，在文章中我們解釋了分層的意義是什么，如果你忘記了可以看一下前面的文章。

????????這里我們知道了數(shù)據(jù)集市是數(shù)據(jù)倉庫的子集，我們可以把分層看作是橫向切分，那么數(shù)據(jù)集市就是豎向切分。

?????????所以我們可以得出一個(gè)結(jié)論那就是數(shù)據(jù)集市的劃分也是為了更好的管理數(shù)倉和提高生產(chǎn)效率，但是這個(gè)還是有點(diǎn)抽象，下面我們?cè)儆懻撘幌聻槭裁匆鰯?shù)據(jù)集市層。

靈活性

????????這里我們把數(shù)據(jù)集成也引入進(jìn)來，從宏觀上看一下從數(shù)據(jù)源到數(shù)據(jù)服務(wù)，整個(gè)數(shù)倉的存在形式是怎樣的，當(dāng)然這里我們是一個(gè)簡(jiǎn)化的圖，我們主要反映出問題就行了。

????????上面就是我們當(dāng)前的數(shù)倉形態(tài)，這下我們解釋一下我們?yōu)槭裁匆鰯?shù)據(jù)集市層，數(shù)據(jù)集市層雖然是一個(gè)層，但是這層里有多個(gè)集市，每個(gè)集市面向不同的業(yè)務(wù)線或者是業(yè)務(wù)部門，那我們?yōu)槭裁匆@么做呢，說白了就是為解耦，解耦的目的是為了增加靈活性。

????????如果沒有數(shù)據(jù)集市層，那么我們的數(shù)倉就要面向眾多的業(yè)務(wù)部門，但是由于每個(gè)業(yè)務(wù)部門的數(shù)據(jù)需求或者所關(guān)心的數(shù)據(jù)是不一樣的，這就會(huì)導(dǎo)致我們的數(shù)倉建設(shè)失去核心，就會(huì)出現(xiàn)我們?yōu)榱藵M足某一個(gè)部門而違背了我們數(shù)倉的建設(shè)原則的現(xiàn)象出現(xiàn)，所以我們?cè)黾恿藬?shù)據(jù)集市層，也就是每個(gè)部門的個(gè)性化需求在這里體現(xiàn)。

????????其實(shí)如果你學(xué)習(xí)過設(shè)計(jì)模式或者是Java 的話，其實(shí)很容易立即，這有點(diǎn)類似抽象類Service 和實(shí)現(xiàn)類ServiceImpl。

三、數(shù)據(jù)集市有什么特點(diǎn)

如果你仔細(xì)學(xué)習(xí)了前面的內(nèi)容的話，你肯定可以理解下面的幾個(gè)特點(diǎn)這里我就不一一解釋，而且這些特點(diǎn)也是我總結(jié)出來的，你也可有對(duì)其進(jìn)行擴(kuò)展。

1、規(guī)模小

????????數(shù)據(jù)倉庫是面向企業(yè)的，數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的。

2、面向主題

????????數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的。

3、直接面向用戶

????????數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的。

4、個(gè)性化高

????????數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的，所以就會(huì)出現(xiàn)靈活多變的特點(diǎn)，而且也會(huì)出現(xiàn)流程上更簡(jiǎn)單快速，規(guī)范上要求不嚴(yán)格，使用上要盡量簡(jiǎn)單。其實(shí)這會(huì)反映到我們的表上。

????????就是我們集市層的表一般都是關(guān)聯(lián)好之后的表，使用的時(shí)候基本不需要關(guān)聯(lián)，主要是為了使用方便性能高。

????????還有就是我們集市層的表一般都是冗余了一些相關(guān)的字段，主要是為了應(yīng)對(duì)也無妨多變的請(qǐng)求，舉個(gè)例子業(yè)務(wù)方想看每個(gè)人今年的總消費(fèi)，我可能會(huì)把最大值和平均值都會(huì)計(jì)算出來。

5、滿足需求為第一優(yōu)先級(jí)

????????尤其在一起初創(chuàng)企業(yè)，數(shù)倉建設(shè)跟不上的時(shí)候，為了盡快完成需求我們就會(huì)直接從ods層建設(shè)DM，從而可以對(duì)外提供數(shù)據(jù)。

四、構(gòu)建數(shù)據(jù)集市需要注意哪些問題？

????????數(shù)據(jù)倉庫（集市）的設(shè)計(jì)可以采用迭代式的方法，也就是說我們可以根據(jù)我們的適用方不斷的去迭代我們的數(shù)據(jù)集市，而且也沒有任何數(shù)據(jù)集市是可以一次性建成的。

????????理論上講，應(yīng)該有一個(gè)總的數(shù)據(jù)倉庫的概念，然后才有數(shù)據(jù)集市，但是我們實(shí)際的做法是先確定了數(shù)據(jù)集市以及我們的服務(wù)對(duì)象之后，然后才開始開始建立數(shù)據(jù)倉庫最后才是數(shù)據(jù)集市，也就是我們首先設(shè)計(jì)的是數(shù)據(jù)集市，但是我們建立的時(shí)候卻是首先建立的是數(shù)據(jù)倉庫。

五、其他需要注意的問題？

????????數(shù)據(jù)集市就是數(shù)據(jù)倉庫面向某個(gè)主題的子集,它作為數(shù)倉面向用戶的一層存在，提供數(shù)據(jù)服務(wù)。

? ? ? ? 數(shù)據(jù)集市往往作為數(shù)據(jù)倉庫之上的一個(gè)面向分析應(yīng)用或者是數(shù)倉里面向用戶的一層，也就是說沒有這一層的話，我們的倉庫就要面向用戶了，我們可以將其視作代理，因?yàn)檫@一層要面向用戶，所以它就有多變和不規(guī)范的特性，但是為了保證數(shù)倉整體建設(shè)的合理性和規(guī)范性，所以我們?cè)跀?shù)倉上加了這一層。

????????雖然集市層是面向用戶的，但是由于面向的用戶群體不同，所以又根據(jù)用戶群體的特點(diǎn)，將集市層進(jìn)行了縱向切分，切分成了一個(gè)個(gè)不同的集市。

????????數(shù)據(jù)倉庫是面向企業(yè)的，數(shù)據(jù)集市是面向部門或者特定業(yè)務(wù)的，你可以將其看作一個(gè)小型的數(shù)據(jù)倉庫，其實(shí)這里牽扯出了早期數(shù)據(jù)倉庫的一種存在形體，那就是每個(gè)部門有自己的數(shù)據(jù)倉庫，而不是統(tǒng)一建設(shè)的數(shù)據(jù)倉庫。

柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) 數(shù)據(jù)倉庫——數(shù)據(jù)集市

http://yzkb.51969.com/

精彩鏈接