柚子快報激活碼778899分享：大數(shù)據(jù)開發(fā)（Hive面試真題）

http://yzkb.51969.com/

大數(shù)據(jù)開發(fā)（Hive面試真題）

一、Hive基礎(chǔ)概念與區(qū)別1、簡要描述一下Hive表與數(shù)據(jù)庫表之間有哪些區(qū)別？2、請解釋一下Hive的優(yōu)點和缺點。3、Hive中Sort By，Order By，Cluster By，Distribute By分別是什么意思？4、Hive中row_number，rank和dense rank窗口函數(shù)的區(qū)別？5、Hive內(nèi)部表和外部表區(qū)別？6、Hive是什么？跟數(shù)據(jù)倉庫區(qū)別？

二、Hive架構(gòu)與執(zhí)行流程1、Hive架構(gòu)？2、Hive的執(zhí)行計劃是什么樣子？3、Hive的執(zhí)行流程？4、Hive SQL轉(zhuǎn)化為MR的過程？5、Hive的存儲引擎和計算引擎？

三、Hive性能優(yōu)化與操作技巧1、如何調(diào)優(yōu)Hive查詢性能？2、如何避免Hive中Join操作引起全表掃描？3、Hive數(shù)據(jù)傾斜以及解決方案？4、Hive如果不用參數(shù)調(diào)優(yōu)，在map和reduce端應(yīng)該做什么？

四、Hive數(shù)據(jù)處理與查詢1、如何在Hive里刪除一條記錄？2、舉幾個Hive開窗函數(shù)例子？什么要有開窗函數(shù)，和聚集函數(shù)區(qū)別？3、Hive的文件存儲格式都有哪些？4、Hive的count的用法？5、Hive得union和unionall的區(qū)別？6、Hive的join操作原理，left join、right join、inner join、outer join的異同？7、Hive的mapjoin？8、Hive Shuffle的具體過程？

五、Hive函數(shù)與轉(zhuǎn)換1、Hive中行轉(zhuǎn)列、列轉(zhuǎn)行的函數(shù)有哪些？2、Hive HQL：行轉(zhuǎn)列、列轉(zhuǎn)行？3、UDF是怎么在Hive里執(zhí)行的？

六、Hive自定義函數(shù)與數(shù)據(jù)組織1、Hive的三種自定義函數(shù)是什么？實現(xiàn)步驟與流程？它們之間的區(qū)別？作用是什么？2、Hive分區(qū)和分桶的區(qū)別？

一、Hive基礎(chǔ)概念與區(qū)別

1、簡要描述一下Hive表與數(shù)據(jù)庫表之間有哪些區(qū)別？

存儲：Hive表通常存儲再分布式文件系統(tǒng)中，如HDFS；數(shù)據(jù)塊表存儲再關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS）中。查詢語言：Hive使用類SQL語言進行數(shù)據(jù)查詢、分析和處理，而數(shù)據(jù)庫表使用結(jié)構(gòu)化查詢語言（SQL）。索引：數(shù)據(jù)庫表經(jīng)常需要在數(shù)據(jù)中創(chuàng)建索引以提高性能，而Hive表默認(rèn)不支持索引。數(shù)據(jù)模型：數(shù)據(jù)庫表通常以規(guī)范化形式設(shè)計，而Hive更適合用來處理扁平的、臨時的或者半結(jié)構(gòu)化數(shù)據(jù)。

2、請解釋一下Hive的優(yōu)點和缺點。

Hive是一種基于Hadoop的數(shù)據(jù)倉庫工具，它提供了SQL界面和查詢語言來查詢和分析存儲在Hadoop上的大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。以下是Hive的優(yōu)點和缺點：

優(yōu)點：

簡化了復(fù)雜MapReduce任務(wù)：對于熟悉SQL而不是編寫MapReduce代碼的用戶來說，可以更容易地使用SQL語法進行大規(guī)模數(shù)據(jù)分析。支持高度可擴展性：可以運行在一個集群上，并能夠以并行方式執(zhí)行查詢，在海量數(shù)據(jù)情況下保持良好地性能。

缺點：

延遲較高：相對于直接使用Hadoop的原生API，Hive的查詢通常具有較高的延遲。這是由于轉(zhuǎn)換SQL查詢語句為底層MapReduce任務(wù)所帶來的額外開銷。不適合實時處理：Hive更適用于批處理任務(wù)而不是實時數(shù)據(jù)處理，因為它不支持動態(tài)數(shù)據(jù)更新和低延遲查詢。限制：在某些情況下，復(fù)雜的查詢或特殊要求可能無法通過Hive來滿足。

3、Hive中Sort By，Order By，Cluster By，Distribute By分別是什么意思？

在Hive中，Sort By、Order By、Cluster By和Distribute By是用于對表進行排序和分區(qū)的關(guān)鍵字。

Sort By：Sort By用于在查詢結(jié)果中對列進行排序。它會按照指定的列對查詢結(jié)果進行排序，默認(rèn)為升序排序，也可以通過DESC關(guān)鍵詞進行降序排序。Order By：Order By也用于對查詢結(jié)果進行排序，但不同于Sort By，Order By會在最終的查詢結(jié)果中對所有的行進行全局排序。這意味著Order By會將整個結(jié)果集加載到內(nèi)存中進行排序，適用于小規(guī)模數(shù)據(jù)集。Cluster By：Cluster By用于將表的數(shù)據(jù)按照指定的列進行分區(qū)存儲。它類似于數(shù)據(jù)庫中的分區(qū)表概念，可以提高查詢性能。使用Cluster By時，Hive會根據(jù)指定的列值進行數(shù)據(jù)分區(qū)，并將相同的值的行存儲在同一個分區(qū)中。Distribute By：Distribute By用于將表的數(shù)據(jù)按照指定的列進行分發(fā)。它用于控制數(shù)據(jù)在不同的Reducer任務(wù)中的分布情況。Distribute By確保具有相同分發(fā)列值的行都被發(fā)送到同一個Reducer任務(wù)中，但并不保證在Reducer任務(wù)內(nèi)部的排序。

4、Hive中row_number，rank和dense rank窗口函數(shù)的區(qū)別？

在Hive中，row_number、rank和dense rank都是窗口函數(shù)，用于在查詢結(jié)果中對數(shù)據(jù)進行排序和分組。

row_number函數(shù)：它為每一行分配一個唯一的整數(shù)值，這個值根據(jù)窗口排序規(guī)則進行排序。即使兩個行值相同，它們的row_number值也會不同。例如，如果有5行數(shù)據(jù)，排序后的結(jié)果分別為1、2、3、4、5。rank函數(shù)：它為每一行分配一個排名值，根據(jù)窗口排序規(guī)則進行排序。如果兩個行的值相同，它們的rank值也會相同，而下一個行將跳過對應(yīng)數(shù)量的排名。例如，如果有5行數(shù)據(jù)，排序后的結(jié)果分別為1、2、2、4、5。dense rank函數(shù)：它為每一行分配一個緊湊的排名值，根據(jù)窗口排序規(guī)則進行排序。即使兩個行的值相同，它們的dense rank值也會不同，而下一個行將始終增加1。例如，如果有5行數(shù)據(jù)，排序后的結(jié)果分別為1、2、2、3、4。

5、Hive內(nèi)部表和外部表區(qū)別？

Hive內(nèi)部表和外部表的區(qū)別在于數(shù)據(jù)的存儲和管理方式。

內(nèi)部表（Internal Table）： 內(nèi)部表是Hive默認(rèn)創(chuàng)建的表，它的數(shù)據(jù)存儲在Hive的數(shù)據(jù)倉庫中的默認(rèn)路徑下。Hive負(fù)責(zé)管理內(nèi)部表的數(shù)據(jù)和元數(shù)據(jù)，包括數(shù)據(jù)的加載、刪除、備份等操作。當(dāng)刪除內(nèi)部表時，Hive會刪除該表的元數(shù)據(jù)和數(shù)據(jù)。內(nèi)部表適用于Hive獨立管理數(shù)據(jù)的場景。 外部表（External Table）： 外部表是指在Hive中定義的表，但數(shù)據(jù)存儲在Hive之外的位置，例如HDFS上的指定路徑或者其它存儲系統(tǒng)中。外部表的元數(shù)據(jù)由Hive負(fù)責(zé)管理，但數(shù)據(jù)本身由外部存儲系統(tǒng)管理。當(dāng)刪除外部表時，Hive只刪除元數(shù)據(jù)而不刪除實際數(shù)據(jù)。外部表適用于需要與其它系統(tǒng)共享數(shù)據(jù)的場景，如與其它工具或框架進行數(shù)據(jù)交互。

總結(jié)：

內(nèi)部表的數(shù)據(jù)由Hive管理，外部表的數(shù)據(jù)由外部存儲系統(tǒng)管理。刪除內(nèi)部表會同時刪除元數(shù)據(jù)和數(shù)據(jù)，而刪除外部表只刪除元數(shù)據(jù)。內(nèi)部表適用于Hive獨立管理數(shù)據(jù)的場景，而外部表適用于需要與其它系統(tǒng)共享數(shù)據(jù)的場景。

6、Hive是什么？跟數(shù)據(jù)倉庫區(qū)別？

Hive是一種基于Hadoop的數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，它提供了一種類SQL查詢語言（HQL）來查詢和分析大規(guī)模的數(shù)據(jù)集。Hive將查詢轉(zhuǎn)化為MapReduce任務(wù)或Spark任務(wù)來執(zhí)行，以實現(xiàn)在Hadoop集群上進行高效的數(shù)據(jù)處理。 數(shù)據(jù)倉庫（Data Warehouse）是一個用于存儲和管理大量結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)，用于支持企業(yè)的決策支持和數(shù)據(jù)分析工作。數(shù)據(jù)倉庫通常采用ETL（抽取、轉(zhuǎn)換和加載）過程將源系統(tǒng)中的數(shù)據(jù)提取、轉(zhuǎn)換和加載到數(shù)據(jù)倉庫中，以便進行復(fù)雜的分析和查詢。 Hive是一個在Hadoop上構(gòu)建的數(shù)據(jù)倉庫解決方案，它適用HiveQL（類SQL）查詢語言來操作和分析大規(guī)模的數(shù)據(jù)集。它將查詢轉(zhuǎn)化為底層的MapReduce或Spark任務(wù)來執(zhí)行，因此可以在Hadoop集群上進行高效的數(shù)據(jù)分析。與傳統(tǒng)的數(shù)據(jù)倉庫相比，Hive提供了更靈活、可擴展和經(jīng)濟高效的方式來處理大數(shù)據(jù)。

二、Hive架構(gòu)與執(zhí)行流程

1、Hive架構(gòu)？

Hive是一個構(gòu)建在Hadoop之上的數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，它提供了基于SQL的查詢和分析功能。Hive允許用戶使用類似于SQL的查詢語言（稱為HQL）來處理存儲在Hadoop集群上的大規(guī)模數(shù)據(jù)。

Hive的架構(gòu)主要包括以下幾個組件：

Hive客戶端：Hive提供了一個命令行界面和一個Web界面，使用戶可以通過這些界面與Hive進行交互。Hive驅(qū)動程序：Hive驅(qū)動程序負(fù)責(zé)接收用戶提交的HQL查詢，并將其轉(zhuǎn)化為一系列的Hadoop MapReduce任務(wù)。元數(shù)據(jù)存儲：Hive的元數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫中，用于存儲表、分區(qū)、列、表的schema信息等。解析器：Hive的解析器將用戶提交的HQL查詢解析成語法樹。查詢優(yōu)化器：Hive的查詢優(yōu)化器負(fù)責(zé)對解析后的查詢進行優(yōu)化，包括表達式推導(dǎo)、謂詞下推等。查詢執(zhí)行引擎：Hive的查詢執(zhí)行引擎將優(yōu)化后的查詢轉(zhuǎn)化為一系列的MapReduce任務(wù)，這些任務(wù)將在Hadoop集群上執(zhí)行。Hive元數(shù)據(jù)倉庫：Hive的元數(shù)據(jù)倉庫用于存儲表、分區(qū)、列、表的schema信息等，它可以與其它工具（如Apache Atlas）進行集成，以提供更豐富的元數(shù)據(jù)管理功能。

2、Hive的執(zhí)行計劃是什么樣子？

Hive的執(zhí)行計劃是一個邏輯查詢計劃，描述了Hive查詢的執(zhí)行步驟和順序。它由Hive查詢優(yōu)化器生成，并用于指導(dǎo)查詢的執(zhí)行。

Hive執(zhí)行計劃通常包含以下幾個關(guān)鍵組件：

表掃描：指定了需要掃描的表和掃描方式，包括全表掃描或者使用索引進行掃描。過濾條件：指定了查詢的過濾條件，用于減少需要掃描的數(shù)據(jù)量。連接操作：如果查詢涉及到多個表的連接操作，執(zhí)行計劃會指定連接的方式，例如join操作使用的連接算法（如map-join或者sort-merge join）。聚合操作：如果查詢包含聚合函數(shù)（如SUM、COUNT等），執(zhí)行計劃會指定如何進行聚合操作，例如使用hash聚合或者排序聚合。排序操作：如果查詢需要按照特定的排序規(guī)則輸出結(jié)果，執(zhí)行計劃會指定如何進行排序操作，例如使用排序算法（如快速排序或者合并排序）。數(shù)據(jù)傳輸：執(zhí)行計劃會指定數(shù)據(jù)在不同節(jié)點之間的傳輸方式，例如使用shuffle操作將數(shù)據(jù)進行洗牌后再進行下一步計算。

3、Hive的執(zhí)行流程？

法樹（AST）的形式。 2. 語義分析器（Semantic Analyzer）：Hive的語義分析器會對AST進行語義分析，包括驗證表和列的存在性、檢查數(shù)據(jù)類型、解析表達式等==。 3. 查詢優(yōu)化器（Query Optimizer）：在語義分析完成后，Hive會對查詢進行優(yōu)化，包括重寫查詢計劃、選擇合適的連接方式、重新排序操作等，以提高查詢性能。 4. 查詢計劃生成器（Query Plan Generator）：優(yōu)化后的查詢計劃將被傳遞給查詢計劃生成器，生成邏輯查詢計劃。 5. 物理計劃生成器（Physical Plan Generator）：邏輯查詢計劃會被傳遞給物理計劃生成器，生成物理查詢計劃，包括選擇合適的物理操作（如MapReduce、Tez等）和任務(wù)的劃分。 6. 執(zhí)行器（Executor）：生成的物理查詢計劃將被執(zhí)行器執(zhí)行，根據(jù)計劃中的操作類型，將任務(wù)提交給相應(yīng)的計算引擎（如MapReduce、Tez等）進行執(zhí)行。 7. 結(jié)果存儲：執(zhí)行完成后，查詢結(jié)果將被存儲在指定的位置，可以是本地文件系統(tǒng)、HDFS等。

4、Hive SQL轉(zhuǎn)化為MR的過程？

解析Hive SQL語句：首先，Hive會解析輸入的Hive SQL查詢語句，識別出查詢的表、列以及其它相關(guān)的元數(shù)據(jù)信息。查詢優(yōu)化和邏輯計劃生成：Hive會將解析后的查詢語句進行查詢優(yōu)化，根據(jù)表的統(tǒng)計信息和用戶定義的參數(shù)選擇最佳的執(zhí)行計劃。然后，Hive會生成邏輯查詢計劃，該計劃描述了查詢的邏輯執(zhí)行流程。邏輯計劃到物理計劃的轉(zhuǎn)化：在這一步驟中，Hive將邏輯查詢計劃轉(zhuǎn)換為物理查詢計劃，該計劃描述了如何在MapReduce框架下執(zhí)行查詢。轉(zhuǎn)換的過程通常包括將邏輯操作符映射到對應(yīng)的MapReduce任務(wù)（如Map、Reduce、Join等），以及確定數(shù)據(jù)的分區(qū)和排序策略。生成MapReduce作業(yè)：根據(jù)轉(zhuǎn)換后的物理查詢計劃，Hive會生成一系列的MapReduce作業(yè)。每個作業(yè)會包括一個或多個Map任務(wù)和一個Reduce任務(wù)，它們負(fù)責(zé)執(zhí)行查詢并生成結(jié)果。執(zhí)行MapReduce作業(yè)：生成的MapReduce作業(yè)將被提交給Hadoop集群進行執(zhí)行。在執(zhí)行期間，MapReduce框架會負(fù)責(zé)將輸入數(shù)據(jù)按照指定的分區(qū)方式劃分到不同的Map任務(wù)中，并在Map和Reduce任務(wù)之間進行數(shù)據(jù)的傳輸和處理。輸出結(jié)果：一旦所有的MapReduce作業(yè)執(zhí)行完成，Hive會從最后一個Reduce任務(wù)中獲取最終的查詢結(jié)果，并將其返回給用戶或保存到指定的輸出表中。

5、Hive的存儲引擎和計算引擎？

Hive的存儲引擎是基于Hadoop的HDFS，它將數(shù)據(jù)以文件的形式存儲在分布式存儲系統(tǒng)中。Hive的計算引擎是基于MapReduce，通過將查詢轉(zhuǎn)換為MapReduce作業(yè)來執(zhí)行數(shù)據(jù)計劃和分析操作。

三、Hive性能優(yōu)化與操作技巧

1、如何調(diào)優(yōu)Hive查詢性能？

數(shù)據(jù)壓縮：使用壓縮格式（如Snappy、LZO）壓縮數(shù)據(jù)文件以節(jié)省存儲空間，并減少I/O讀寫時間。分區(qū)和分桶：通過在數(shù)據(jù)上進行分區(qū)和分桶操作，可以僅僅查詢所需的數(shù)據(jù)子集，提高查詢效率。數(shù)據(jù)傾斜處理：當(dāng)數(shù)據(jù)傾斜導(dǎo)致某些任務(wù)運行時間過長時，可以使用隨機抽樣，增加Hive連接器或預(yù)先聚合等方法來解決。適當(dāng)調(diào)整并行度：根據(jù)集群資源調(diào)整Hive任務(wù)的并行度以利用更多計算資源，提高查詢性能。使用表緩存：對于小型維度或經(jīng)常使用的查詢結(jié)果可以將其緩存在內(nèi)存中，避免反復(fù)加載和計算。

2、如何避免Hive中Join操作引起全表掃描？

可以采用以下幾種策略：

使用合適的Join算法：根據(jù)數(shù)據(jù)的特點選擇合適的Join算法，例如使用Map Join、Sort-Merge Join等。調(diào)整表的存儲格式：使用支持索引和列式存儲等高效查詢的存儲格式，如Parquet或ORC。對Join操作進行拆分：將大表進行水平分片或者預(yù)分區(qū)（Pre-partitioned）處理，以達到局部性原則，并使用Bucketing對小表數(shù)據(jù)進行哈希劃分。合理設(shè)置Join關(guān)聯(lián)條件：確保關(guān)聯(lián)條件可以做到快速過濾。

3、Hive數(shù)據(jù)傾斜以及解決方案？

Hive數(shù)據(jù)傾斜是指在Hive查詢中，某些分區(qū)或數(shù)據(jù)塊的數(shù)據(jù)量過大，導(dǎo)致查詢性能下降的情況。這種情況可能會使查詢變慢，甚至導(dǎo)致作業(yè)失敗。以下是一些常見的解決方案：

數(shù)據(jù)傾斜的原因通常是由于某些鍵的數(shù)據(jù)量過大，可以通過將數(shù)據(jù)進行重新分區(qū)或者使用更細(xì)粒度的分區(qū)來解決。例如，對于常見的join操作，可以將大表進行拆分，將大表的數(shù)據(jù)均勻分布在多個小表中?？梢允褂秒S機數(shù)和哈希函數(shù)等技術(shù)來解決數(shù)據(jù)傾斜。例如，可以使用隨機數(shù)為每個分區(qū)生成一個隨機數(shù)，并將其與分區(qū)鍵進行組合，從而使數(shù)據(jù)更加均勻地分布在不同的分區(qū)中?？梢允褂脙A斜表連接技術(shù)來解決數(shù)據(jù)傾斜。這種方法基于前綴或者哈希等方式對傾斜鍵進行拆分，然后將其連接到其它表中。可以通過使用Bloom過濾器來減少數(shù)據(jù)傾斜的影響。Bloom過濾器可以幫助過濾掉不可能匹配的數(shù)據(jù)，減少查詢的數(shù)據(jù)量。可以使用動態(tài)分區(qū)或者分桶來解決數(shù)據(jù)傾斜。這種方法可以將數(shù)據(jù)分散到多個分區(qū)或者桶中，從而降低單個分區(qū)或者桶的數(shù)據(jù)量?？梢允褂脡嚎s算法來減少數(shù)據(jù)傾斜的影響。壓縮算法可以在減少存儲空間的同時，提高查詢性能。

4、Hive如果不用參數(shù)調(diào)優(yōu)，在map和reduce端應(yīng)該做什么？

Map端：

增加map任務(wù)的數(shù)量：可以通過設(shè)置’mapred.map.tasks’參數(shù)來增加map任務(wù)的數(shù)量，從而提高并行度和整體處理速度。壓縮中間數(shù)據(jù)：可以使用Hive的壓縮功能，如設(shè)置’hive.exec.compress.intermediate’參數(shù)為true，將中間數(shù)據(jù)進行壓縮，減少磁盤I/O開銷。

Reduce端：

增加reduce任務(wù)的數(shù)量：可以通過設(shè)置’mapred.reduce.tasks’參數(shù)來增加reduce任務(wù)的數(shù)量，從而提高并行度和整體處理速度。合理設(shè)置shuffle階段的內(nèi)存大?。嚎梢酝ㄟ^調(diào)整’hive.shuffle.memory.limit’參數(shù)來控制shuffle階段的內(nèi)存大小，避免內(nèi)存溢出或過多的磁盤I/O操作。使用Combiner函數(shù)：如果Reduce端的數(shù)據(jù)量較大，可以使用Combiner函數(shù)來進行部分聚合操作，減少傳輸給Reducer的數(shù)據(jù)量，提高性能。

四、Hive數(shù)據(jù)處理與查詢

1、如何在Hive里刪除一條記錄？

在Hive中，直接刪除單條記錄是不支持的，因為Hive是為大規(guī)模數(shù)據(jù)批處理設(shè)計的，而不是為單條記錄的操作設(shè)計的。但是，你可以通過以下方法間接地刪除一條或多條記錄： 使用INSERT OVERWRITE： 1、創(chuàng)建一個與原表結(jié)構(gòu)相同的臨時表。 2、將不想刪除的記錄插入到這個臨時表。 3、使用INSERT OVERWRITE語句將臨時表的數(shù)據(jù)覆蓋回原表。

使用分區(qū)： 如果你的表是分區(qū)的，并且你想刪除的記錄都在一個特定的分區(qū)中，那么你可以簡單地刪除整個分區(qū)。

2、舉幾個Hive開窗函數(shù)例子？什么要有開窗函數(shù)，和聚集函數(shù)區(qū)別？

開窗函數(shù)是一種在查詢結(jié)果中進行窗口操作的函數(shù)，它可以在查詢結(jié)果集中的每一行執(zhí)行計算，并返回結(jié)果集中的一個窗口。以下是幾個開窗函數(shù)的例子：

ROW_NUMBER()：返回結(jié)果集中每一行的唯一編號。RANK()：返回結(jié)果集中每一行的排名。DENSE_RANK()：返回結(jié)果集中每一行的稠密排名。LAG()：返回結(jié)果集中當(dāng)前行之前的指定行數(shù)的值。LEAD()：返回結(jié)果集中當(dāng)前行之后的指定行數(shù)的值。SUM()：計算結(jié)果集中指定列的總和。 開窗函數(shù)的作用是對結(jié)果集中的每一行進行計算，而不是對整個結(jié)果集進行計算，它可以用于實現(xiàn)分組、排序、排名等功能，以及計算每一行與其它行的關(guān)聯(lián)值。 與聚合函數(shù)不同，開窗函數(shù)不會對結(jié)果集進行分組或匯總。聚合函數(shù)用于計算整個結(jié)果集或每個分組的匯總值，而開窗函數(shù)用于在結(jié)果集中的每一行上執(zhí)行計算。

3、Hive的文件存儲格式都有哪些？

文本文件格式（TextFile）：以文本形式存儲數(shù)據(jù)，每一行都是一個記錄，字段之間使用分隔符進行分割。序列文件格式（SequenceFile）：一種二進制文件格式，數(shù)據(jù)以鍵值對的形式存儲，適用于大數(shù)據(jù)量的存儲和讀取。列式存儲格式（Columnar formats）：例如Parquet和ORC等，以列為單位存儲數(shù)據(jù)，提供更高的壓縮比和查詢性能。Avro格式：一種數(shù)據(jù)序列化系統(tǒng)，支持動態(tài)類型，適用于復(fù)雜數(shù)據(jù)結(jié)構(gòu)的存儲。RCFile格式（Record Columnar File）：一種列式存儲格式，將每個列的數(shù)據(jù)存儲在單獨的文件中，提供高效的讀取和查詢性能。JSON格式（JsonFile）：以JSON格式存儲數(shù)據(jù)，適用于半結(jié)構(gòu)化數(shù)據(jù)的存儲。CSV格式：以逗號分割的文本文件格式，適用于簡單的表格數(shù)據(jù)存儲。

4、Hive的count的用法？

Hive中的count函數(shù)用于計算指定列或整個表中的行數(shù)。它的用法如下：

SELECT COUNT(*) FROM table_name;

計算指定列的非空值的個數(shù)：

SELECT COUNT(column_name) FROM table_name;

計算指定列的唯一值的個數(shù)：

SELECT COUNT(DISTINCT column_name) FROM table_name;

5、Hive得union和unionall的區(qū)別？

Hive中的UNION和UNION ALL都是用于合并多個查詢結(jié)果集的操作，但它們之間有一些區(qū)別。

UNION會刪除重復(fù)的行，而UNION ALL會保留所有行，包括重復(fù)的行。UNION操作符會對兩個查詢結(jié)果的列進行匹配，要求它們的數(shù)據(jù)類型和順序完全一致，而UNION ALL不會進行列匹配。UNION操作符會對結(jié)果進行排序，以消除重復(fù)行，而UNION ALL不會進行排序，因此性能上可能會更快一些。UNION操作符默認(rèn)會去除NULL值，而UNION ALL會保留NULL值。 因此，如果你需要合并多個結(jié)果集并消除重復(fù)行，你可以使用UNION操作符。而如果你想保留所有行，包括重復(fù)的行，可以使用UNION ALL操作符。

6、Hive的join操作原理，left join、right join、inner join、outer join的異同？

Inner Join（內(nèi)連接）：它返回兩個表中滿足連接條件的記錄。只有在兩個表中都有匹配的記錄時，才會返回結(jié)果。Left Join（左連接）：它返回左表中所有記錄以及與右邊匹配的記錄。如果右表中沒有匹配的記錄，則返回NULL。Right Join（右連接）：它返回右表中所有記錄以及與左表匹配的記錄。如果左表中沒有匹配的記錄，則返回NULL。Outer Join（外連接）：它返回左表和右表中的所有記錄。如果兩個表中沒有匹配的記錄，則返回NULL。

7、Hive的mapjoin？

Hive的mapjoin是一種優(yōu)化技術(shù)，用于加快Hive查詢的速度。它通過將小表加載到內(nèi)存中，然后在Map階段將大表的數(shù)據(jù)與小表的數(shù)據(jù)進行連接，從而減少了磁盤讀寫操作和網(wǎng)絡(luò)傳輸開銷。 具體來說，Hive的mapjoin分為兩種類型：

Map端的mapjoin（Map-side Join）：當(dāng)一個表的數(shù)據(jù)量足夠小，可以將其全部加載到內(nèi)存中時，Hive會將這個表的數(shù)據(jù)復(fù)制到所有的Map任務(wù)中，然后在Map任務(wù)中直接進行連接操作。這樣可以避免Shuffle階段的數(shù)據(jù)傳輸和磁盤I/O，大大提高了查詢速度。Bucket Map端的mapjoin：當(dāng)兩個表都被分桶時，Hive可以使用Bucket Map端的mapjoin。它將兩個表的桶按照相同的桶號分發(fā)到同一個Map任務(wù)中，然后再Map任務(wù)中進行連接操作。這樣可以減少Shuffle階段的數(shù)據(jù)傳輸和磁盤I/O，提高查詢效率。 需要注意的是，使用mapjoin的前提是小表可以完全加載到內(nèi)存中，否則可能會導(dǎo)致內(nèi)存不足的問題。此外，mapjoin也只適用于等值連接（Equi-Join），不支持其它類型的連接操作。

8、Hive Shuffle的具體過程？

Hive的Shuffle過程是在Hive執(zhí)行MapReduce任務(wù)時發(fā)生的數(shù)據(jù)重分區(qū)和排序過程。它是為了將具有相同鍵的數(shù)據(jù)項聚集再同一個Reducer任務(wù)中，以便進行數(shù)據(jù)的合并和計算。 具體的Hive Shuffle過程如下：

Map階段：在Map階段，輸入數(shù)據(jù)會根據(jù)指定的分區(qū)鍵進行哈希分區(qū)，即根據(jù)分區(qū)鍵的哈希值將數(shù)據(jù)分配到對應(yīng)的Reducer任務(wù)中。同時，Map階段會對每個分區(qū)鍵進行局部排序，保證每個分區(qū)內(nèi)的數(shù)據(jù)按照分區(qū)鍵的順序排列。Combiner階段：如果在Hive查詢中定義了Combiner函數(shù)，那么在Map階段的輸出結(jié)果會經(jīng)過Combiner函數(shù)的合并操作。Combiner函數(shù)可以對相同分區(qū)鍵的數(shù)據(jù)進行合并，以減少數(shù)據(jù)傳輸量和提高性能。Partitioner階段：在Map階段結(jié)束后，Hive會調(diào)用Partitioner函數(shù)對Map輸出結(jié)果進行再次分區(qū)。Partitioner函數(shù)決定了數(shù)據(jù)項如何分布到不同的Reducer任務(wù)中。通常情況下，Partitioner函數(shù)會根據(jù)分區(qū)鍵的哈希值將數(shù)據(jù)項均勻地分配到不同的Reducer任務(wù)中。Sort階段：在Partitioner階段之后，Hive會對每個Reducer任務(wù)的輸入數(shù)據(jù)進行全局排序。這個排序操作保證了每個Reducer任務(wù)的輸入數(shù)據(jù)按照分區(qū)鍵的順序進行處理。Reduce階段：在Reduce階段，每個Reducer任務(wù)會接收到屬于自己分區(qū)的數(shù)據(jù)塊，并進行最終的聚合和計算操作。Reducer任務(wù)會對輸入數(shù)據(jù)進行迭代處理，輸出最終的結(jié)果。

五、Hive函數(shù)與轉(zhuǎn)換

1、Hive中行轉(zhuǎn)列、列轉(zhuǎn)行的函數(shù)有哪些？

行轉(zhuǎn)列：

TRANSPOSE：將行數(shù)據(jù)轉(zhuǎn)置為列數(shù)據(jù)。COLLECT_SET：將行數(shù)據(jù)按照指定的列進行分組，并將每組中的某一列的值收集到一個數(shù)組中。

列轉(zhuǎn)行：

EXPLODE：將一個數(shù)組或者一個Map類型的列拆分成多行，每行包含原列中的一個元素或者鍵值對。STACK：將多個列按照指定的順序進行堆疊，每個輸入列生成一行輸出。

2、Hive HQL：行轉(zhuǎn)列、列轉(zhuǎn)行？

Hive HQL中可以使用Pivot操作實現(xiàn)行轉(zhuǎn)列和列轉(zhuǎn)行的功能。 行轉(zhuǎn)列（行數(shù)據(jù)轉(zhuǎn)為列）： 在 Hive 中，可以使用 Pivot 操作將行數(shù)據(jù)轉(zhuǎn)為列。Pivot 操作需要使用聚合函數(shù)和 CASE WHEN 語句來實現(xiàn)。 例如，假設(shè)我們有一個表格包含以下數(shù)據(jù)：

+----+------+-------+

| ID | Name | Value |

+----+------+-------+

| 1 | A | 10 |

| 1 | B | 20 |

| 2 | A | 30 |

| 2 | B | 40 |

+----+------+-------+

我們可以使用 Pivot 操作將上述數(shù)據(jù)按 ID 列進行行轉(zhuǎn)列：

SELECT ID,

MAX(CASE WHEN Name = 'A' THEN Value END) AS Value_A,

MAX(CASE WHEN Name = 'B' THEN Value END) AS Value_B

FROM table_name

GROUP BY ID;

執(zhí)行上述查詢后，可以得到如下結(jié)果：

+----+---------+---------+

| ID | Value_A | Value_B |

+----+---------+---------+

| 1 | 10 | 20 |

| 2 | 30 | 40 |

+----+---------+---------+

列轉(zhuǎn)行（列數(shù)據(jù)轉(zhuǎn)為行）： Hive 中可以使用 UNION ALL 操作將列數(shù)據(jù)轉(zhuǎn)為行數(shù)據(jù)。 假設(shè)我們有一個表格包含以下數(shù)據(jù)：

+----+------+-------+

| ID | Name | Value |

+----+------+-------+

| 1 | A | 10 |

| 1 | B | 20 |

| 2 | A | 30 |

| 2 | B | 40 |

+----+------+-------+

我們可以使用 UNION ALL 操作將上述數(shù)據(jù)按 Name 列進行列轉(zhuǎn)行：

SELECT ID, 'A' AS Name, Value FROM table_name WHERE Name = 'A'

UNION ALL

SELECT ID, 'B' AS Name, Value FROM table_name WHERE Name = 'B';

執(zhí)行上述查詢后，可以得到如下結(jié)果：

+----+------+-------+

| ID | Name | Value |

+----+------+-------+

| 1 | A | 10 |

| 2 | A | 30 |

| 1 | B | 20 |

| 2 | B | 40 |

+----+------+-------+

這樣我們就可以將列數(shù)據(jù)轉(zhuǎn)為行數(shù)據(jù)。.

3、UDF是怎么在Hive里執(zhí)行的？

UDF是在Hive中執(zhí)行的一種自定義函數(shù)。當(dāng)在Hive中定義一個UDF后，它可以在Hive查詢中使用，以對數(shù)據(jù)進行轉(zhuǎn)換、計算或其它操作。

執(zhí)行過程如下：

首先，開發(fā)人員需要使用Java或其它編程語言編寫UDF的代碼。UDF代碼需要實現(xiàn)Hive UDF接口，并定義輸入和輸出參數(shù)的類型。然后，將編寫的UDF代碼編譯成可執(zhí)行的JAR文件。接下來，將JAR文件上傳到Hive的集群環(huán)境中，并將其添加到Hive的類路徑中。在Hive中創(chuàng)建一個函數(shù)，將該數(shù)據(jù)與上傳的JAR文件中的UDF代碼關(guān)聯(lián)起來。這可以通過使用Hive的CREATE FUNCTION語句來完成。一旦函數(shù)創(chuàng)建完畢，就可以在Hive查詢中調(diào)用該函數(shù)，并將其應(yīng)用于數(shù)據(jù)。當(dāng)Hive查詢中調(diào)用UDF時，Hive會根據(jù)函數(shù)的定義和輸入?yún)?shù)類型，調(diào)用上傳的JAR文件中的對應(yīng)UDF代碼。UDF代碼將執(zhí)行相應(yīng)的計算或轉(zhuǎn)換操作，并返回結(jié)果給Hive查詢。

六、Hive自定義函數(shù)與數(shù)據(jù)組織

1、Hive的三種自定義函數(shù)是什么？實現(xiàn)步驟與流程？它們之間的區(qū)別？作用是什么？

Hive的三種自定義函數(shù)包括UDF（User-Defined Function（用戶定義函數(shù)））、UDAF（User-Defined Aggregate Function（用戶定義聚合函數(shù)））和UDTF（User-Defined Table-Generating Function（用戶定義表生成函數(shù)））。 UDF是最常見的自定義函數(shù)類型，用于對單個輸入值進行處理并返回一個輸出值。實現(xiàn)UDF的步驟包括編寫Java或Python代碼來定義函數(shù)邏輯，然后將代碼打包為JAR文件，并將其添加到Hive的classpath中。UDF可以在Hive查詢中使用，并通過SELECT或WHERE子句來調(diào)用。 UDAF用于對一組輸入值進行聚合計算，返回一個聚合結(jié)果。實現(xiàn)UDAF的步驟與UDF類似，但需要額外定義一個聚合邏輯來處理多個輸入值。UDAF可以在Hive查詢中使用，并通過GROUP BY子句來進行分組操作。 UDTF用于生成一個或多個輸出表，可以將其視為一種特殊的UDF。UDTF的實現(xiàn)步驟與UDF相似，但需要定義生成輸出表的邏輯。UDTF可以在Hive查詢中使用，并通過LATERAL VIEW關(guān)鍵字來調(diào)用。 UDF對單個輸入值進行處理，返回一個輸出值；UDAF對多個輸入值進行聚合計算，返回一個聚合結(jié)果；UDTF生成一個或多個輸出表。

2、Hive分區(qū)和分桶的區(qū)別？

Hive分區(qū)： Hive分區(qū)是基于數(shù)據(jù)的某個列（通常是日期、地理位置等）進行的邏輯劃分。分區(qū)可以將數(shù)據(jù)按照指定的列值劃分成多個目錄或文件，使得查詢時只需要掃描特定分區(qū)的數(shù)據(jù)，從而提高查詢性能。分區(qū)可以在創(chuàng)建表時定義，也可以在已有的表進行動態(tài)分區(qū)操作。分區(qū)的主要目的是減少查詢時需要掃描的數(shù)據(jù)量，提高查詢效率。Hive分桶： Hive分桶是將數(shù)據(jù)分散存儲到多個文件中，每個文件稱為一個桶。分桶是通過對某些列的哈希函數(shù)計算得到的，可以在創(chuàng)建表時定義分桶數(shù)和分桶列。分桶的目的是將數(shù)據(jù)均勻地分布在多個桶中，使得查詢時只需要掃描特定桶地數(shù)據(jù)，進一步提高查詢性能。與分區(qū)不同的是，分桶不是將數(shù)據(jù)按照某些列值進行劃分，而是通過哈希函數(shù)進行隨機分配。

總結(jié)：

Hive分區(qū)是按照某個列的值進行劃分，目的是減少查詢時需要掃描的數(shù)據(jù)量。Hive分桶是通過哈希函數(shù)進行數(shù)據(jù)的隨機分配，目的是將數(shù)據(jù)均勻地分散在多個桶中。分區(qū)適用于根據(jù)某個列進行過濾查詢的場景。分桶適用于需要隨機訪問的場景，可以提高數(shù)據(jù)的讀取效率。

柚子快報激活碼778899分享：大數(shù)據(jù)開發(fā)（Hive面試真題）

http://yzkb.51969.com/

精彩鏈接