hadoop 2.x分布式安裝

　　這個安裝過程經歷曲折，遇到了許多坑。

　　環(huán)境：Windows 7 Vm

　　我用了三臺虛擬機 centos

　　192.168.188.128 hadoop1(作為主服務器)

　　192.168.188.129 hadoop2

　　192.168.188.130 hadoop3

　　如果你們的安裝環(huán)境好了，接下來我們就開始安裝hadoop之旅吧!

　　1.配置jdk

　　jdk的配置這里不做講解，百度太多了。

　　2.下載hadoop

　　官網下載hadoop，我用的是3.0.3的版本。

　　3.我的hadoop 安裝目錄是 /home/user/hadoop

　　解壓出來。

　　4.修改hosts

　　vi /etc/hosts

　　輸入

　　192.168.188.128 hadoop1

　　192.168.188.129 hadoop2

　　192.168.188.130 hadoop3

　　保存退出

　　三臺機器都需要。

　　配置好了之后 可以試試 ping hadoop2 試試 ping hadoop3 。各個機器都可以試試 是否配置好了。

　　5.配置ssh免密登錄。

　　以上都是準備工作，準備工作做好了之后。

　　分別在三臺機器上運行以下

　　ssh-keygen -t rsa

　　一路回車(ENTER)到底

　　然后在主服務器上生成的id_rsa.pub 發(fā)送到從服務器

　　ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(換成你對應的IP) -p (端口)

　　兩臺從服務器都要.如果遇到了需要輸入密碼，輸入密碼即可。

　　完成后，

　　在主服務器上試試 ssh hadoop2 ssh hadoop3，如果不需要密碼就能登錄說明配置成功.

　　注意：配置ssh我遇到的坑：出現了 WARING:REMOTE HOST IDENFIATE HAS CHANGED

　　這是因為我之前配置的時候 將公鑰已經添加到了ssh.pub里面。在ssh.pub里面找到出錯對應的IP，將ip和公鑰一并刪除。然后在運行ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(換成你對應的IP) -p (端口) 就好了。

　　6.配置各種文件

　　進入到 hadoop里面的etc文件夾下 會看到一個hadoop的文件。然后進去

　　(1)配置core-site.xml

　　fs.defaultFS

　　hdfs://hadoop1:9000

　　hadoop.tmp.dir

　　/home/usr/hadoop/hadoopwork

　　下面的那個tmp.dir是臨時工作目錄，建議最好自己設定。如果是系統(tǒng)默認的，linux會在每次開機之前清空。

　　所以最好自己設定一個。

　　(2)配置hdfs-site.xml

　　dfs.replication

　　2

　　dfs.namenode.secondary.http-address

　　hadoop3:50090

　　(3)配置mapred-site.xml

　　mapreduce.framework.name

　　yarn

　　mapreduce.jobhistory.address

　　hadoop1:10020

　　mapreduce.jobhistory.webapp.address

　　hadoop1:19888

　　(4)配置yarn-site.xml

　　yarn.nodemanager.aux-services

　　mapreduce_shuffle

　　yarn.resourcemanager.hostname

　　hadoop2

　　yarn.log-aggregation-enable

　　true

　　yarn.log-aggregation.retain-seconds

　　600000

　　(5)修改hadoop-env.sh

　　修改 java_home 改為你的jdk安裝目錄

　　Java_home在27行

　　(6)添加slaves文件 在etc/hadoop下面 沒有slaves文件需要自己去建立

　　vi slaves

　　添加如下內容

　　hadoop1

　　hadoop2

　　hadoop3

　　(7)進入 hadoop 下面的sbin修改

　　start-yarn.sh文件

　　在頭部加入

　　YARN_RESOURCEMANAGER_USER=root

　　HADOOP_SECURE_DN_USER=yarn

　　YARN_NODEMANAGER_USER=root

　　同樣的在stop-yarn.shyexu也需要加入

　　(8)修改start-dfs.sh和stop-dfs.sh 同樣在頭部加入

　　HDFS_DATANODE_USER=root

　　HADOOP_SECURE_DN_USER=hdfs

　　HDFS_NAMENODE_USER=root

　　HDFS_SECONDARYNAMENODE_USER=root

　　7.啟動

　　以上就算配置完成。接下來就是啟動

　　./start-all.sh啟動

　　./stop-all.sh 停止

　　至此，hadoop的安裝環(huán)境完成。以上是根據我的hu回憶寫成的，可能多多少少存在著瑕疵，歡迎各位指出。

　　作者：傳智播客云計算大數據培訓學院

　　首發(fā)：http://cloud.itcast.cn/