柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù)領(lǐng)域建模綜述

http://yzkb.51969.com/

1 為什么需要數(shù)據(jù)建模

? ? ? ? 數(shù)據(jù)模型就是數(shù)據(jù)的組織和存儲(chǔ)方法，強(qiáng)調(diào)從業(yè)務(wù)、數(shù)據(jù)存取和使用角度合理存儲(chǔ)數(shù)據(jù)。建立合適的業(yè)務(wù)和基礎(chǔ)數(shù)據(jù)存儲(chǔ)環(huán)境的模型，大數(shù)據(jù)能獲得如下的好處。

?性能：好的數(shù)據(jù)模型提高查詢所需要的數(shù)據(jù)，提高I/O的存儲(chǔ)成本：減少 不必要的數(shù)據(jù)冗余，實(shí)現(xiàn)計(jì)算結(jié)果的復(fù)用，降低大數(shù)據(jù)的存儲(chǔ)和計(jì)算成本效率：改善用戶的使用數(shù)據(jù)的體驗(yàn)，提高數(shù)據(jù)的效率質(zhì)量：改善數(shù)據(jù)統(tǒng)計(jì)口徑的不一致性，減少數(shù)據(jù)計(jì)錯(cuò)誤的可能性

2 典型的數(shù)據(jù)倉(cāng)庫(kù)建模方法論

? ? ? ?ER模型

? ? ? ? 采用ER模型建設(shè)數(shù)據(jù)倉(cāng)庫(kù)模型的出發(fā)點(diǎn)是整合數(shù)據(jù)，將整個(gè)系統(tǒng)中的數(shù)據(jù)以整個(gè)企業(yè)的角度按照主題進(jìn)行相似性組合和合并，并進(jìn)行一致性處理，為數(shù)據(jù)分析決策服務(wù)，建模步驟包括三個(gè)階段 。

高層模型：描述主要的主題和主題之間的關(guān)系中層模型：在高層的基礎(chǔ)上，細(xì)化主題的數(shù)據(jù)項(xiàng)物理模型：在中層的基礎(chǔ)上，考慮物理儲(chǔ)存，基于性能和平臺(tái)特點(diǎn)進(jìn)行物理屬性的設(shè)計(jì)，可以做一些表的合并和分區(qū)的設(shè)計(jì)。?

? ? ? ? 維度模型

? ? ? ? 維度模型從分析決策的需求出發(fā)構(gòu)建模型，為分析需求服務(wù)，重點(diǎn)關(guān)注用戶如何更快速的完成需求的分析。典型的代表是星型模型，特殊場(chǎng)景使用雪花模型。

? ? ? ? 設(shè)計(jì)分為一下幾個(gè)步驟：

?選擇需要進(jìn)行分析和決策的業(yè)務(wù)過(guò)程?？梢允菃蝹€(gè)業(yè)務(wù)事件如交易的支付、退款；也可以是某個(gè)時(shí)間的狀態(tài)如賬戶的余額；還可以是一些列相關(guān)事務(wù)組成的業(yè)務(wù)流程。選擇粒度。所有分析需要細(xì)分的程度，決定選擇的粒度。識(shí)別維表。選擇粒度之后，需要基于此粒度設(shè)計(jì)維表，包括維度屬性，用于分析時(shí)進(jìn)行分組和篩選。選擇事實(shí)。確定分析需要的衡量的指標(biāo)

? ? ? ? Data Vault模型

? ? ? ? 由一下幾部分組成：

Hub：企業(yè)的核心實(shí)體，由實(shí)體key，數(shù)據(jù)倉(cāng)庫(kù)序列代理鍵，裝載時(shí)間，數(shù)據(jù)組成Link：代表Hub之間的關(guān)系。直接描述1:1，1:n，n:n之間的關(guān)系。由Hub的代理健，裝載時(shí)間和數(shù)據(jù)來(lái)源組成。Satellite：是Hub的詳細(xì)描述內(nèi)容，一個(gè)Hub可以有多個(gè)Satellite。由Hub的代理健，裝載時(shí)間，來(lái)源類型，詳細(xì)的Hub信息描述組成。

? ? ? ? Anchor模型

Anchors：代表業(yè)務(wù)實(shí)體，只有主鍵Attributes：類似于Data Vault的Satellite，更加規(guī)范化，將其全部k-v結(jié)構(gòu)化。Ties：Anchors之間的關(guān)系，類似于Data Vault的Link，可以提升整體模型關(guān)系的擴(kuò)展能力。Knots：可能會(huì)在多個(gè)Anchors中公用的屬性的提煉，比如性別、狀態(tài)等這種枚舉且被公用的屬性。

柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù)領(lǐng)域建模綜述

http://yzkb.51969.com/

好文推薦