柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) 分布式 Hadoop

http://yzkb.51969.com/

1.分布式和集群介紹

分布式: 多臺(tái)機(jī)器做不同的事情, 然后組成1個(gè)整體. 集群: 多臺(tái)機(jī)器做相同的事情. 多臺(tái)機(jī)器既可以組成 中心化模式(主從模式), 也可以組成 去中心化模式(主備模式)

2.Hadoop框架國(guó)內(nèi)外應(yīng)用

國(guó)外

Yahoo雅虎, 節(jié)點(diǎn)4.2W+, 超10W核, 總存儲(chǔ)350PB+, 每月提交作業(yè) 1000W+ 國(guó)內(nèi)

阿里巴巴, 節(jié)點(diǎn)3000+, 超4W核心, 內(nèi)存超100TB, 每月提交作業(yè) 450W+ Hadoop的組成

HDFS: 分布式存儲(chǔ)框架 MapReduce: 分布式計(jì)算框架 Yarn: 任務(wù)接收和調(diào)度器

?

3. Hadoop的架構(gòu)圖

? ? ?①Hadoop1.X = HDFS + MapReduce ???

②Hadoop2.X, 3.X = HDFS + MapReduce + Yarn

③Hadoop集群高可用模式圖解

4.HDFS的特點(diǎn)

HDFS文件系統(tǒng)可存儲(chǔ)超大文件，時(shí)效性稍差。 HDFS具有硬件故障檢測(cè)和自動(dòng)快速恢復(fù)功能。 HDFS為數(shù)據(jù)存儲(chǔ)提供很強(qiáng)的擴(kuò)展能力。 HDFS存儲(chǔ)一般為一次寫入，多次讀取，只支持追加寫入，不支持隨機(jī)修改。 HDFS可在普通廉價(jià)的機(jī)器上運(yùn)行。

?5.HDFS的架構(gòu)圖

6.HDFS的Shell命令

# HDFS的Shell命令, 類似于Linux的Shell命令, 格式稍有不同, 具體如下: hadoop fs -選項(xiàng) 參數(shù)?? ??? ?# 既能操作HDFS文件系統(tǒng), 還能操作本地文件系統(tǒng). hdfs dfs -選項(xiàng) 參數(shù)?? ??? ??? ?# 只能操作HDFS文件系統(tǒng).?

# 細(xì)節(jié): 操作HDFS路徑的時(shí)候, 建議加上前綴 ?hdfs://node1:8020/

# -ls命令, 查看指定的HDFS路徑下所有的內(nèi)容.? hadoop fs -ls /?? ??? ??? ?# 查看根目錄下所有內(nèi)容(不包括子級(jí)) hadoop fs -lsr /?? ??? ?# 查看根目錄下所有內(nèi)容(包括子級(jí)), 該命令已過時(shí), 不推薦用. hadoop fs -ls -R /?? ??? ?# 查看根目錄下所有內(nèi)容(包括子級(jí)), 該命令已過時(shí), 不推薦用.

# mkdir命令, 創(chuàng)建目錄 hdfs dfs -mkdir /aa?? ??? ??? ??? ?# 創(chuàng)建單級(jí). hdfs dfs -mkdir -p /aa/bb/cc/dd?? ?# 創(chuàng)建多級(jí)目錄.

# cat命令, 查看文件內(nèi)容. hadoop fs -cat /input/word.txt

# mv命令, 剪切. 只能是 HDFS路徑 => HDFS路徑 hadoop fs -mv /input/word.txt /aa

# cp命令, 拷貝. 只能是 HDFS路徑 => HDFS路徑 hadoop fs -cp /input/word.txt /aa

# rm命令, 刪除. hadoop fs -rm /aa/bb/word.txt hadoop fs -rmr /aa?? ??? ?# 遞歸刪除aa文件夾 hadoop fs -rm -r /aa?? ?# 遞歸刪除aa文件夾, 效果同上.

# put命令, 把Linux系統(tǒng)的文件 上傳到 HDFS文件系統(tǒng)中.? hadoop fs -put 1.txt /input?? ??? ?# 1.txt是Linux的文件路徑, /input是HDFS的目錄路徑

# get命令, 把HDFS文件系統(tǒng)的某個(gè)文件 下載到 Linux系統(tǒng)的文件中. hadoop fs -get /input/1.txt ./?? ?# 1.txt是HDFS的文件路徑, ?./Linux的路徑.

柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) 分布式 Hadoop

http://yzkb.51969.com/

相關(guān)鏈接