ambari平台的搭建过程

2017年04月15日 16:14:15 

标签：Ambari hadoop hadoop集群 服务器

来源：http://blog.csdn.net/qq_33776334/article/details/70185106

要求搭建一个四台服务器组成的hadoop集群，做一些小中型数据集的数据处理工作。

赶鸭子上架，尝试了一下ambari平台的一键式安装，感觉很方便，来分享一下过程。

需要的软件和硬件：

1.三台ubuntu12的虚拟机

2.HDP-2.4.0.0-ubuntu12-deb.tar.gz

3.ambari-2.2.1.0-ubuntu12.tar.gz

4.HDP-UTILS-1.1.0.20.tar.gz

上面的三个包相对较大，我是把他放到了本地的master上，做成了一个本地库，不然每个每个节点在安装过程从网上下载速度可能有些慢，当然。。。网速够快的可以忽略。

一、虚拟机配置

1.修改主机名，参照如下表

(可以不改，我是为了方便辨认)

master	master.bigdata.com
slave1	slave1.bigdata.com
slave2	slave2.bigdata.com

2.修改各个虚拟机的hosts文件

10.10.0.98	master.bigdata.com	master
10.10.0.97	slave1.bigdata.com	slave1
10.10.0.96	slave2.bigdata.com	slave2

3.把上面的三个包放到/var/www/html路径下，解压命令tar -zxvf

4.在master的/var/www/html路径下执行命令

python -m SimpleHTTPServer开启http服务。

5.下载一个ambari的存储库地址文件到虚拟机

命令：

（1）wget -nv http:/public-repo-1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.2.1.0/ambari.list -O /etc/apt/sources.list.d/ambari.list

（2）apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD（这条命令很重要，因为它可能会提示你缺少key导致不能继续进行，执行此条命令即可）

（3）apt-get update

6.修改官方源库配置文件/etc/apt/sources.list.d/ambari.list，注释掉原有地址，添加一行本地库地址：

deb http://master.bigdata.com:8000/AMBARI-2.2.1.0/ubuntu12/2.2.1.0-161/ Ambari main

此处可能还会用到这条命令apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD

7.在各个虚拟机上都执行apt-get update命令更新源库文件

8.可以通过以下命令确认是否下载成功

apt-cache showpkg ambari-server

apt-cache showpkg ambari-agent

apt-cache showpkg ambari-metrics-assembly

9.在master上安装ambari-server和ambari-agent,在slave上安装ambari-agent,

命令为：apt-get install ambari-serber

               apt-get install ambari-agent

10.修改ambari-agent配置，位置为/etc/ambari-agent/conf/ambari-agent.ini

把hostname修改为master.bigdata.com

11.在master上安装mysql数据库

apt-get install mysql

创建数据库用户ambari，密码为bigdata，并给用户添加权限。

12.修改mysql的配置文件，路径为/etc/mysql/my.cnf

注释掉bind-address =127.0.0.1这句，用以开启mysql的远程连接。

13.在master中执行ambari-serber setup配置ambari服务

14.在master上执行命令ambari-server start开启ambari server

查看服务开启状态命令：ambari-server status

关闭服务命令：ambari-server stop

15.完成以上步骤后，开始进行hdp平台的安装

二、HDP安装过程

访问地址  master.bigdata.com:8080，开始进行配置。用户名admin，密码admin。

安装过程如下列图片：

解决hugepage问题方法，输入以下命令：

echo never >/sys/kernel/mm/transparent_hugepage/defrag

echo never >/sys/kernel/mm/transparent_hugepage/enabled

解决ntp服务问题

apt-get install ntp

配置mysql服务和hive存储库

ambari-server setup --jdbc-driver /usr/share/java/mysql-connector-java-5.1.40-bin.jar

mysql -u root -p

create database hive;

create user 'hive'@'%' identified by 'bigdata';

grant all pribileges on hive.* to hive;

flush pririleges;

谢谢观看！！