柚子快報激活碼778899分享：Hadoop vs Spark

http://yzkb.51969.com/

Hadoop 和 Spark 都是apache基金會下、在大數(shù)據(jù)架構(gòu)中廣泛使用的開源框架，兩個框架都各自有各自的開源技術(shù)生態(tài)系統(tǒng)，用于準備、處理、管理和分析大數(shù)據(jù)集。

Hadoop 生態(tài)系統(tǒng)由四個主要模塊組成:

HDFS): Hadoop的數(shù)據(jù)存儲系統(tǒng)，用于管理運行在普通硬件上的大型數(shù)據(jù)集，提供高吞吐量的數(shù)據(jù)訪問和高容錯性。

YARN?: 集群資源管理器，它為應(yīng)用程序安排任務(wù)并分配資源(例如 CPU 和內(nèi)存)。

Hadoop MapReduce: 將大型數(shù)據(jù)處理任務(wù)拆分為小型任務(wù)，再將小型任務(wù)分布在不同的節(jié)點上運行；

Hadoop Common (Hadoop Core) : 其他三個模塊所依賴的一組通用庫和實用程序

Spark生態(tài)圈包括：

Spark Core: 底層執(zhí)行引擎，用于調(diào)度和分派任務(wù)，協(xié)調(diào)I/O操作，內(nèi)存管理等；

Spark SQL: 處理結(jié)構(gòu)化數(shù)據(jù)；

Spark streaming：實時流處理引擎，Spark Streaming 從不同的數(shù)據(jù)源獲取數(shù)據(jù)，并將其劃分為微批處理以形成連續(xù)的流，將處理后的結(jié)果輸出到HDFS、關(guān)系型數(shù)據(jù)庫等；

機器學(xué)習(xí)庫(MLlib) : 一組機器學(xué)習(xí)算法，以及用于特征選擇和構(gòu)建機器學(xué)習(xí)管道的工具；

GraphX: 提供圖計算能力，支持交互式構(gòu)建、修改和分析可伸縮的圖形結(jié)構(gòu)數(shù)據(jù)。

Spark 是基于 Hadoop ?MapReduce 的增強。Spark 和 MapReduce 的主要區(qū)別在于，Spark 將中間結(jié)果保存在內(nèi)存以提高處理速度，而 MapReduce 的中間結(jié)果保存在HDFS磁盤上。因此，對于較小的工作負載，Spark 的數(shù)據(jù)處理速度比 MapReduce 快。

此外，與 MapReduce 中的兩階段執(zhí)行過程不同，Spark 創(chuàng)建了一個有向無環(huán)圖(DAG)來調(diào)度任務(wù)并利用Hadoop 集群中節(jié)點的編排。這個任務(wù)跟蹤過程支持容錯，容錯將記錄的操作重新應(yīng)用于來自以前狀態(tài)的數(shù)據(jù)。

總結(jié)對比：

性能: Spark 更快，因為它使用內(nèi)存而不是磁盤來保存中間結(jié)果。

成本: Hadoop 的運行成本較低，因為它依賴于普通磁盤存儲進行數(shù)據(jù)處理；Spark 的運行成本更高，它依賴于內(nèi)存進行實時數(shù)據(jù)處理，這需要使用大量的 RAM 做中轉(zhuǎn)節(jié)點。

場景: Hadoop 適用于批處理和線性數(shù)據(jù)處理，spark適用于實時處理和處理實時非結(jié)構(gòu)化數(shù)據(jù)流。

可伸縮性: 當(dāng)數(shù)據(jù)量快速增長時，Hadoop 通過 HDFS快速擴展以滿足需求。反過來，Spark 依賴于容錯 HDFS 來處理大量數(shù)據(jù)。

安全性: Spark 通過共享秘密或事件日志來增強身份驗證的安全性，而 Hadoop 使用多種身份驗證和訪問控制方法。綜合來講，Hadoop 更安全。?Spark可以通過與 Hadoop 集成以達到更高的安全級別。

機器學(xué)習(xí)(ML) : Spark更勝一籌，因為它包括 MLlib；它通過內(nèi)存 進行ML 計算，還包括回歸、聚類、評估等工具。

在實際應(yīng)用中，spark能很好融入hadoop的生態(tài)圈，Spark 替代 Hadoop 中的 MapReduce 計算模型，存儲大多仍然使用 HDFS，且使用YARN 實現(xiàn)資源調(diào)度管理。

柚子快報激活碼778899分享：Hadoop vs Spark

http://yzkb.51969.com/

精彩鏈接