柚子快報(bào)邀請(qǐng)碼778899分享:數(shù)據(jù)倉(cāng)庫(kù)的建立
柚子快報(bào)邀請(qǐng)碼778899分享:數(shù)據(jù)倉(cāng)庫(kù)的建立
實(shí)驗(yàn) 目的 熟悉Linux系統(tǒng)、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系統(tǒng)和軟件的安裝和使用; 了解大數(shù)據(jù)處理的基本流程; 熟悉數(shù)據(jù)預(yù)處理方法; 熟悉在不同類型數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)相互導(dǎo)入導(dǎo)出; 熟悉使用R語(yǔ)言進(jìn)行可視化分析; 熟悉使用Elipse編寫(xiě)Java程序操作HBase數(shù)據(jù)庫(kù)。 實(shí)驗(yàn)條件 OS:Ubuntu16.04 Hadoop Hive 實(shí)驗(yàn) 內(nèi)容 熟悉Hive數(shù)據(jù)倉(cāng)庫(kù)的使用 熟悉使用HiveQL進(jìn)行數(shù)據(jù)分析 實(shí)驗(yàn) 過(guò)程 數(shù)據(jù)準(zhǔn)備與預(yù)處理 :這一部分上次實(shí)驗(yàn)已經(jīng)完成這次就不展示 啟動(dòng)hadoop 查詢數(shù)據(jù): Hive數(shù)據(jù)分析: 操作hive, 簡(jiǎn)單查詢分析 根據(jù)用戶行為分析 看在2014-12-11購(gòu)買商品的用戶 查詢?cè)?014-12-11有多少用戶點(diǎn)擊了該店 某個(gè)地區(qū)用戶當(dāng)天瀏覽網(wǎng)站的次數(shù) 導(dǎo)入數(shù)據(jù) select?*?from?scan;(顯示結(jié)果) 實(shí)驗(yàn) 總結(jié) 本實(shí)驗(yàn)使用Hive建立數(shù)據(jù)倉(cāng)庫(kù),并使用HiveSQL對(duì)商品銷售數(shù)據(jù)進(jìn)行分析。通過(guò)本實(shí)驗(yàn)可以學(xué)習(xí)把本地?cái)?shù)據(jù)集上傳到數(shù)據(jù)倉(cāng)庫(kù)Hive中,并在Hive上創(chuàng)建數(shù)據(jù)庫(kù)和外部表和使用HiveQL進(jìn)行數(shù)據(jù)分析。 其中大部分問(wèn)題都還是比較簡(jiǎn)單的,查詢語(yǔ)句也比較直觀,唯一的問(wèn)題就是導(dǎo)入數(shù)據(jù)庫(kù)的時(shí)候需要自己構(gòu)建結(jié)構(gòu)比較繁瑣。
柚子快報(bào)邀請(qǐng)碼778899分享:數(shù)據(jù)倉(cāng)庫(kù)的建立
精彩鏈接
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點(diǎn)和立場(chǎng)。
轉(zhuǎn)載請(qǐng)注明,如有侵權(quán),聯(lián)系刪除。