柚子快報(bào)激活碼778899分享：Hadoop單機(jī)搭建及問(wèn)題解決

http://yzkb.51969.com/

Hadoop環(huán)境搭建

前言一、Hadoop搭建準(zhǔn)備二、Hadoop單機(jī)搭建1.下載Hadoop版本2.相關(guān)機(jī)器設(shè)置/etc/hosts免密登錄防火墻

3.開(kāi)始進(jìn)行相關(guān)配置/hadoop-3.3.6/etc/hadoop/hadoop-nv.sh/hadoop-3.3.6/etc/hadoop/core-site.xml/hadoop-3.3.6/etc/hadoop/hdfs-site.xml/hadoop-3.3.6/etc/hadoop/workers

三、啟動(dòng)之前的準(zhǔn)備操作1、初始化2、啟動(dòng)

四、出現(xiàn)的問(wèn)題及解決方案1、but there is no *** defined. Aborting operation.2、Permission denied3、Permission denied: user=dr.who, access=WRlTE,

五、啟動(dòng)總結(jié)

前言

例如：開(kāi)始接觸大數(shù)據(jù)相關(guān)的知識(shí)。然后想著先搭建一個(gè)Hadoop環(huán)境，結(jié)果在搭建的過(guò)程中出現(xiàn)了各種各樣的問(wèn)題。所以特此在這寫(xiě)一個(gè)文檔進(jìn)行記錄。

按此文檔進(jìn)行搭建，80%的情況下可以一次性搭建成功。如果有其他問(wèn)題歡迎留言一起學(xué)習(xí)。也歡迎各位大佬指正文章中的不足之處

提示：以下是本篇文章正文內(nèi)容，下面案例可供參考

一、Hadoop搭建準(zhǔn)備

查閱了大部分搭建資料，并且自己在第一次搭建的過(guò)程中，發(fā)現(xiàn)JDK版本確實(shí)有影響。因此特此說(shuō)明： JDK版本需要安裝1.8；高版本可能存在一些兼容性問(wèn)題。由于本文不是處理兼容性的，因此不在此進(jìn)行贅述。

同時(shí)JDK1.8版本的搭建，網(wǎng)上有各種各樣的教程，本文章重點(diǎn)在于Hadoop下載后的各種配置，在此只是說(shuō)明版本。

二、Hadoop單機(jī)搭建

1.下載Hadoop版本

我在搭建過(guò)程中，使用的是最新版本的Hadoop。 各位看官也可以去官網(wǎng)下載需要的Hadoop版本：https://www.apache.org/dyn/closer.cgi/hadoop

基于Linux搭建時(shí)，可以通過(guò)wget命令直接下載對(duì)應(yīng)的安裝包。下載完成之后，在想要解壓的位置，解壓Hadoop包

tar -zxvf hadoop-3.3.6.tar.gz

2.相關(guān)機(jī)器設(shè)置

/etc/hosts

# 配置本機(jī)的主機(jī)名，如果需要配置從節(jié)點(diǎn)，也需要對(duì)從節(jié)點(diǎn)對(duì)應(yīng)的IP和從節(jié)點(diǎn)主機(jī)名做指定

ip name

# eg.

# 127.0.0.1 server

免密登錄

這個(gè)目前還沒(méi)有找到其他處理方式。因?yàn)闄C(jī)器的配置，設(shè)置免密登錄，一旦ip暴露出去，所有人都有登錄機(jī)器的可能性。存在安全隱患，但對(duì)于當(dāng)前Hadoop搭建，需要進(jìn)行處理

cd ~/.ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

防火墻

部分機(jī)器可能需要單獨(dú)處理防火墻。但我個(gè)人的機(jī)器不存在此問(wèn)題，因此無(wú)截圖。若因?yàn)榉阑饓Φ膯?wèn)題導(dǎo)致Hadoop啟動(dòng)失敗，可以執(zhí)行以下命令：

# 查看防火墻狀態(tài)

sudo firewall-cmd --state

# 關(guān)閉防火墻:

sudo systemctl stop firewalld

# 禁止開(kāi)機(jī)啟動(dòng)

sudo systemctl disable firewalld

3.開(kāi)始進(jìn)行相關(guān)配置

這部分配置操作及文件路徑說(shuō)明，均基于上述解壓后的文件夾所在路徑

/hadoop-3.3.6/etc/hadoop/hadoop-nv.sh

# 配置自己機(jī)器上的JDK路徑

# 每個(gè)人的安裝路徑不同，不要原樣抄襲

export JAVA_HOME=$JAVA_HOME

/hadoop-3.3.6/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://server:8020

hadoop.tmp.dir

/home/hadoop/data

/hadoop-3.3.6/etc/hadoop/hdfs-site.xml

dfs.replication

1

/hadoop-3.3.6/etc/hadoop/workers

# 配置所有從屬節(jié)點(diǎn)的主機(jī)名或 IP 地址，由于是單機(jī)版本，所以指定本機(jī)即可：

# 配置自己設(shè)定的主機(jī)名，不要照抄

server

三、啟動(dòng)之前的準(zhǔn)備操作

1、初始化

cd /hadoop-3.3.6/bin

./hdfs namenode -format

2、啟動(dòng)

cd /hadoop-3.3.6/sbin

./start-all.sh

四、出現(xiàn)的問(wèn)題及解決方案

1、but there is no *** defined. Aborting operation.

問(wèn)題： 解決方案： 找到以下文件：/hadoop-3.3.6/etc/hadoop/hadoop-env.sh

cd /hadoop-3.3.6/etc/hadoop/

view hadoop-env.sh

并在文件中插入如下內(nèi)容

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"

export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"`

2、Permission denied

問(wèn)題： 解決方案： 因?yàn)镠adoop在機(jī)器中互相訪(fǎng)問(wèn)，使用的ssh的方式，此時(shí)錯(cuò)誤提示說(shuō)明機(jī)器無(wú)法通過(guò)無(wú)密碼的方式，直接進(jìn)行ssh連接。 因此執(zhí)行以下內(nèi)容

cd ~/.ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

3、Permission denied: user=dr.who, access=WRlTE,

解決方案： /hadoop-3.3.6/etc/hadoop/core-site.xml

hadoop.http.staticuser.user

你的用戶(hù)名

五、啟動(dòng)

檢驗(yàn)是否啟動(dòng)成功，可以輸入以下命令

jps

正常啟動(dòng)的情況如下： 同時(shí)，可以訪(fǎng)問(wèn)對(duì)應(yīng)的端口1下查看HDFS

總結(jié)

本文只是對(duì)Hadoop搭建單機(jī)進(jìn)行了處理，之后會(huì)再去嘗試搭建真正的Hadoop集群。有問(wèn)題會(huì)再持續(xù)更新。歡迎各位大佬指正不足之處。

localhost:9870。其中9870是Hadoop默認(rèn)的端口，localhost是自己機(jī)器的公網(wǎng)IP ??

柚子快報(bào)激活碼778899分享：Hadoop單機(jī)搭建及問(wèn)題解決

http://yzkb.51969.com/

精彩內(nèi)容