柚子快報(bào)邀請碼778899分享：hdfs hadoop環(huán)境搭建

http://yzkb.51969.com/

今天整理資料，偶然間發(fā)現(xiàn)以前的hadoop筆記，整理發(fā)出來

注意：：： ?? ?網(wǎng)絡(luò)配置： ?? ??? ?外網(wǎng)主機(jī)防火墻攔截 防火墻-高級設(shè)置-入站規(guī)則-文件和打印共享（回顯請求 – ICMPv4-In） 設(shè)置為允許。 ?? ?vi在粘貼時(shí)會(huì)自動(dòng)添加縮進(jìn)，容易把代碼搞亂，在編輯前需要把自動(dòng)縮進(jìn)關(guān)閉 ?? ??? ?vi /etc/virc ?? ??? ?#關(guān)閉自動(dòng)縮進(jìn) ?? ??? ?set paste ?? ??? ?#設(shè)置tab的空格數(shù) ?? ??? ?set tabstop=4 ?? ?掛載共享文件夾 ?? ??? ?如果沒有權(quán)限則需要切換到root用戶 ?? ??? ?mount -t vmhgfs .host:/ /mnt/hgfs ?? ??? ?如果報(bào)錯(cuò) ERROR: can not mount filesystem: No such device，則輸入如下命令： ?? ??? ?sudo vmhgfs-fuse .host:/ /mnt/hgfs

jdk 1.安裝jdk ? ? ?? ?rpm -ivh jdk-8u73-linux-x64.rpm

2.查看Java安裝目錄 ?? ?rpm -ql jdk1.8.0_73

3.并添加環(huán)境變量：： ?? ?vi /etc/profile ?? ??? ?JAVA_HOME=/usr/java/jdk1.8.0_73 ?? ??? ?PATH=$JAVA_HOME/bin:$PATH ?? ??? ?CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar ?? ??? ?export JAVA_HOME ?? ??? ?export PATH ?? ??? ?export CLASSPATH ?? ? ?? ?source /etc/profile Hadoop安裝 ?? ?1.拷貝并解壓文件 ?? ??? ?#新建文件夾存放hadoop ?? ??? ??? ?mkdir -p /usr/soft ?? ??? ?#把hadoop文拷貝到/usr/soft ?? ??? ??? ?cp /mnt/win/tools/Jar/hadoop-2.7.2.tar.gz /usr/soft/ ?? ??? ?#解壓文件 ?? ??? ??? ?tar -zvxf hadoop-2.7.2.tar.gz

?? ?2.添加環(huán)境變量 ?? ??? ?#修改環(huán)境變量文件 ?? ??? ??? ?vi /etc/profile ?? ??? ?#添加安裝目錄，主要為了方便進(jìn)入，沒有實(shí)際意義 ?? ??? ??? ?HADOOP_HOME=/usr/soft/hadoop-2.7.2 ?? ??? ?#把hadoop下的bin和sbin添加到PATH環(huán)境變量中 ?? ??? ??? ?$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH ?? ??? ??? ?export HADOOP_HOME ?? ??? ?#測試 ?? ??? ??? ?echo $HADOOP_HOME ?? ??? ??? ?env ?? ??? ??? ?hadoop version

偽分布式配置（HDFS ? 和 ? yarn）：： 配置hdfs：：： ?? ?1.修改core-site.xml ?? ? ? ? ?? ? ? ? ?? ??? ?fs.defaultFS ?? ??? ?hdfs://localhost:9000 ?? ? ? ? ?? ? ? ? ?? ? ? ? ?? ??? ?hadoop.tmp.dir ?? ??? ?/usr/soft/hadoop-2.7.2/tmp ?? ? ? ?

?? ?2.修改hdfs-site.xml ?? ? ? ? ?? ? ? ? ?? ??? ?dfs.replication ?? ??? ?1 ?? ? ? ? ?? ? ? ? ?? ??? ?dfs.namenode.name.dir ?? ??? ?file:/usr/soft/hadoop-2.7.2/tmp/dfs/name ?? ? ? ? ?? ? ? ? ?? ??? ?dfs.datanode.data.dir ?? ??? ?file:/usr/soft/hadoop-2.7.2/tmp/dfs/data ?? ? ? ?

?? ?3.修改 JAVA_HOME ?? ? ? ?JAVA_HOME變量，把JAVA_HOME的絕對目錄賦給該變量。 ?? ??? ?hadoop-2.7.2/etc/hadoop/hadoop-env.sh

?? ?4.格式化namenode ?? ??? ?hdfs namenode -format

?? ?5.啟動(dòng)HDFS ?? ??? ?start-dfs.sh

配置yarn：：： ?? ?1.復(fù)制配置文件（讓配置文件加載）：： ?? ??? ?cp mapred-site.xml.template mapred-site.xml ?? ?2.修改mapred-site.xml： ?? ??? ?vi mapred-site.xml ?? ? ? ? ?? ? ? ? ?? ??? ?mapreduce.framework.name ?? ??? ?yarn ?? ? ? ? ?? ?3.修改yarn-site.xml ?? ? ? ? ?? ? ? ? ?? ??? ?yarn.resourcemanager.hostname

柚子快報(bào)邀請碼778899分享：hdfs hadoop環(huán)境搭建

http://yzkb.51969.com/

參考文章