ambari离线安装以及hadoop环境搭建详细过程

原创 2016年10月14日 14:13:39 

标签：hadoop /ambari

来源：http://blog.csdn.net/jacklin929/article/details/52815518

一、安装环境
六台相同配置的虚拟机
OS:CentOS release 6.5 (Final)(x86_64)
Cores (CPU):8 (8)
Disk:50GB
Memory:8GB

最好先安装自己的jdk，配置好环境变量。

二、安装包下载
安装包过大(最大的hdp包3GB)，虚拟机环境外网网络不稳定，在线安装太耗时，只能用制作离线源方式进行安装，so，先下载以下安装包，备用。
http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.2.0.0-centos6-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

三、配置hostname以及hosts
以便节点间通讯，hadoop集群管理。

1. vi /etc/sysconfig/network ，修改 HOSTNAME=master12. 3. vi /etc/hosts4. 172.16.1.137 master15. 172.16.1.138 master26. 172.16.1.139 slave17. 172.16.1.140 slave28. 172.16.1.149 slave39. 172.16.1.136 slave4

以master1节点为例，其他同理。

四、关闭iptables，关闭SELinux
避免节点间通讯问题，关闭iptables&SELinux。

1. service iptables stop2. setenforce 0

五、安装ntp服务
节点间需要时间同步，否则会失败

1. yum install ntp2. service ntpd start

六、ssh无密码登陆配置
只需设置ambari安装节点（这里选取slave4为安装节点）到其他节点的无密码登陆即可。
在slave4上依次执行：

1. ssh-keygen2. chmod 700 ~/.ssh  3. chmod 600 ~/.ssh/authorized_keys 4. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

至此，本机ssh无密码登陆配置成功，可以ssh slave4尝试下是否成功，接下来将生成的authorized_keys复制到其他节点对应位置：

1. scp ~/.ssh/authorized_keys root@master1:/root/.ssh/authorized_keys2. scp ~/.ssh/authorized_keys root@master2:/root/.ssh/authorized_keys3. scp ~/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys4. scp ~/.ssh/authorized_keys root@slave2:/root/.ssh/authorized_keys5. scp ~/.ssh/authorized_keys root@slave3:/root/.ssh/authorized_keys

至此，slave4对其他节点ssh无密码登陆配置成功，可以ssh下对应节点尝试是否成功。

七、制作离线安装源
选一台机器，作为离线源服务器，这里同样是slave4（ps.为什么都是slave4，主要是之前其他机子都有点问题，手动苦笑ing）。

1. yum install httpd2. service httpd start

访问slave4的80端口

启动成功，
接着，创建两个目录：

1. mkdir  /var/www/html/ambari2. mkdir  /var/www/html/hdp

解压ambari-1.7.0-centos6.tar.gz 和HDP-UTILS-1.1.0.20-centos6.tar.gz 到目录 /var/www/html/ambari
命令：

1. tar  zxvf  ambari-1.7.0-centos6.tar.gz  -C /var/www/html/ambari2. tar  zxvf  HDP-UTILS-1.1.0.20-centos6.tar.gz  -C /var/www/html/ambari

进入/var/www/html/ambari 目录，执行命令：

1. createrepo  ./ 

ambari本地源制作完成

解压HDP-2.2.0.0-centos6-rpm.tar.gz 到目录 /var/www/html/hdp
命令：tar zxvf HDP-2.2.0.0-centos6-rpm.tar.gz -C /var/www/html/hdp
进入/var/www/html/hdp 目录，执行命令：

1. createrepo  ./ 

hadoop本地源制作完成

进入http://slave4/ambari/

以及http://slave4/hdp/

至此，离线源制作部分成功。

八、安装ambari
vim /etc/yum.repos.d/ambari.repo 添加以下内容

1. [ambari-1.7]2. name=Ambari 1.73. baseurl=http://slave4/ambari/4. gpgcheck=05. enabled=16.7. [HDP-UTILS-1.1.0.20]8. name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.209. baseurl=http://slave4/ambari/10. gpgcheck=011. enabled=1

slave4为上一步制作离线源的主机。
执行安装ambari 命令：

1. yum -y install ambari-server

开始配置ambari 服务：

2. ambari-server setup

最好选择3，jdk提前自己安装，只需要设置JAVA_HOME的路径即可，否则选择1、2的话，需要通过网络下载，速度很慢。
Success后，可以启动了：

1. ambari-server start

九、给ambari配置本地hadoop
进入目录：/var/lib/ambari-server/resources/stacks/HDP/2.2/repos

1.  vi repoinfo.xml2.  <os type="redhat6">3.     <repo>4.       <baseurl>http://slave4/hdp</baseurl>5.       <repoid>HDP-2.2</repoid>6.       <reponame>HDP</reponame>7.     </repo>8.     <repo>9.       <baseurl>http://slave4/ambari</baseurl>10.      <repoid>HDP-UTILS-1.1.0.20</repoid>11.      <reponame>HDP-UTILS</reponame>12.    </repo>13.  </os>

修改redhat6中的配置，node3为ambari安装的节点，根据自己安装的实际节点配置
这样在ambari执行hadoop安装时，会将本地源地址配置到所有主机上，在为所有主机安装ambari-agent时，会将ambari节点下的/etc/yum.repo/ambari.repo文件复制到所有主机源地址。

十、安装hadoop集群环境以及各组件
浏览器进入http://slave4:8080/
账户：admin 密码：admin
接下来一步步按提示即可，有一些要注意的点：
第三步手动设置下redhat6的源地址为之前做的离线源：
redhat6 (HDP-2.2):
http://slave4/hdp/HDP/centos6/2.x/GA/2.2.0.0/

redhat6 (HDP-UTILS-1.1.0.20):
http://slave4/ambari/HDP-UTILS-1.1.0.20/repos/centos6/

第四步INSTALL OPTION
配置hosts里的节点hostname
把slave4下生成的私钥导入

然后第五步会检查是否可以跟各节点通讯，可能会失败，查看详情，但无非是防火墙没禁，ntp服务没装之类的，warm尽量全部解决掉，要不然可能会影响后面的安装。

最后第二步，会开始到个节点安装各组件，此处出现问题可能性最大，有两个很明显的问题
①遇到的关于yum的错误(异常当时忘记记录了orz)，无法连接映像地址等，解决办法：
清空&重建yum缓存

1. yum clean2. yum makecache

②('ERROR 2015-02-06 20:09:43,441 NetUtil.py:56 - [Errno 1] _ssl.c:492: error:100AE081:elliptic curve routines:EC_GROUP_new_by_curve_name:unknown group
ERROR 2015-02-06 20:09:43,442 NetUtil.py:58 - SSLError: Failed to connect. Please check openssl library versions.
这是openssl版本导致的错误
解决办法：yum upgrade openssl

Bingo