柚子快報(bào)激活碼778899分享：Hadoop的安裝和使用

http://yzkb.51969.com/

1. Hadoop簡(jiǎn)介

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，并且是以一種可靠、高效、可伸縮的方式進(jìn)行處理的，它具有以下幾個(gè)方面的特性。

高可靠性。高效性。高可擴(kuò)展性。高容錯(cuò)性。成本低。運(yùn)行在Linux平臺(tái)上。支持多種編程語(yǔ)言。

2. 分布式文件系統(tǒng)HDFS

簡(jiǎn)介

Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）是Hadoop項(xiàng)目的兩大核心之一，是針對(duì)谷歌文件系統(tǒng)（Google File System，GFS）的開(kāi)源實(shí)現(xiàn)。 總體而言，HDFS要實(shí)現(xiàn)以下目標(biāo)：

兼容廉價(jià)的硬件設(shè)備。流數(shù)據(jù)讀寫。大數(shù)據(jù)集。簡(jiǎn)單的文件模型。強(qiáng)大的跨平臺(tái)兼容性。

體系結(jié)構(gòu)

HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型，一個(gè)HDFS集群包括一個(gè)名稱節(jié)點(diǎn)和若干個(gè)數(shù)據(jù)節(jié)點(diǎn)。

安裝

Hadoop包括三種安裝模式：

單機(jī)模式：只在一臺(tái)機(jī)器上運(yùn)行，存儲(chǔ)是采用本地文件系統(tǒng)，沒(méi)有采用分布式文件系統(tǒng)HDFS；偽分布式模式：存儲(chǔ)采用分布式文件系統(tǒng)HDFS，但是，HDFS的名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)都在同一臺(tái)機(jī)器上；分布式模式：存儲(chǔ)采用分布式文件系統(tǒng)HDFS，而且，HDFS的名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)位于不同機(jī)器上。 這里介紹Hadoop偽分布式模式的安裝方法。

3. Hadoop的安裝

4. HDFS的基本使用方法

1>使用WEB管理頁(yè)面操作HDFS

首先啟動(dòng)Hadoop，然后可以在瀏覽器中輸入“http://localhost:9870”，就可以訪問(wèn)Hadoop的WEB管理頁(yè)面 在WEB管理頁(yè)面中，點(diǎn)擊頂部右側(cè)的菜單選項(xiàng)“Utilities”，在彈出的子菜單中點(diǎn)擊“Browse the file system”，會(huì)出現(xiàn)HDFS文件系統(tǒng)操作頁(yè)面，在這個(gè)頁(yè)面中可以創(chuàng)建、查看、刪除目錄和文件。

2>使用命令操作HDFS

除了在瀏覽器中通過(guò)WEB方式操作HDFS以外，還可以在cmd窗口中使用命令對(duì)HDFS進(jìn)行操作。 首先，創(chuàng)建一個(gè)名稱為“user”的目錄，命令如下：

cd c:\hadoop-3.1.3\bin hadoop fs -mkdir hdfs://localhost:9000/user/ hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming

然后，在“C:\”下創(chuàng)建一個(gè)文件test.txt，里面輸入一行語(yǔ)句“I love hadoop”，使用如下命令把該文件上傳到HDFS中：

hadoop fs -put C:\test.txt hdfs://localhost:9000/user/xiaoming 使用如下命令查看HDFS中的目錄和文件： hadoop fs -ls hdfs://localhost:9000/user/xiaoming

使用如下命令把HDFS中的文件內(nèi)容顯示到本地屏幕上： hadoop fs -cat hdfs://localhost:9000/user/xiaoming/test.txt

把上面的HDFS中的文件test.txt下載到本地文件系統(tǒng)，并重命名為test1.txt：

hadoop fs -get hdfs://localhost:9000/user/xiaoming/test.txt C:\test1.txt

使用如下命令刪除HDFS中的一個(gè)文件：

hadoop fs -rm hdfs://localhost:9000/user/xiaoming/test.txt

使用如下命令刪除HDFS中的一個(gè)目錄及其下面的文件：

hadoop fs -rm -r hdfs://localhost:9000/user/xiaoming

柚子快報(bào)激活碼778899分享：Hadoop的安裝和使用

http://yzkb.51969.com/

推薦閱讀