柚子快報邀請碼778899分享：大數(shù)據(jù) hdfs Hadoop
柚子快報邀請碼778899分享：大數(shù)據(jù) hdfs Hadoop
一、簡述
hadoop1.x的HDFS默認塊大小為64MB；hadoop2.x的默認塊大小為128MB。 1）文件塊：Block，datanode中存放數(shù)據(jù)最小邏輯單元，默認塊大小為64M，便于管理，不受磁盤限制，數(shù)據(jù)可在datanode的總block中進行冗余備份，存儲的副本數(shù)量要少于datanode節(jié)點的數(shù)量，當一個或多個塊出現(xiàn)故障，用戶可以直接去其他地方讀取數(shù)據(jù)副本； 2）NameNode：管理文件系統(tǒng)的命名空間，屬于管理者角色，維護文件系統(tǒng)樹內(nèi)所有文件和目錄，記錄每個文件在各個DataNode上的位置和副本信息，并協(xié)調(diào)客戶端對文件的訪問； 3）DataNode：負責處理文件系統(tǒng)客戶端的文件讀寫請求，存儲并檢索數(shù)據(jù)塊，并定期向NameNode發(fā)送所存儲的塊的列表，屬于工作者角色。負責所在物理節(jié)點的存儲管理，按照一次寫入，多次讀取的原則，存儲文件按照Block塊進行存儲； 4）Secondary NameNode：相當于NameNode的快照，也稱之為二級NameNode，能夠周期性的備份NameNode，記錄NameNode上的元數(shù)據(jù)等。為防止NameNode進程出現(xiàn)故障，起到備份作用；
Hadoop的優(yōu)勢 1）高可靠性：因為Hadoop假設(shè)計算元素和存儲會出現(xiàn)故障，因為它維護多個工作數(shù)據(jù)副本，在出現(xiàn)故障時可以對失敗的節(jié)點重新分布處理。 2）高擴展性：在集群間分配任務(wù)數(shù)據(jù)，可
柚子快報邀請碼778899分享：大數(shù)據(jù) hdfs Hadoop
推薦閱讀
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理，出于傳遞更多信息之目的，不代表金鑰匙跨境贊同其觀點和立場。
轉(zhuǎn)載請注明，如有侵權(quán)，聯(lián)系刪除。
Trademe出海交易坊
