打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
基于Centos7.6上Ambari2.7.4+HDP3.1.4离线安装
概述
Ambari:基于Web的工具,支持Apache Hadoop集群的创建 、管理和监控。可以从apache官网下载源码,自己定义开发自己需要的样式。这里先设下一个伏笔,有兴趣的可以跟着我的博客。后面会有apache-ambari二次开发。
HDP:包含了hadoop生态系统的所有软件项目,比如HBase,Zookeeper,Hive,Pig等等。
HDP-UTILS:工具类库。
HDP-GPL:LZO压缩库软件包存储在单独的HDP-GPL存储库中。
Ambari的最新版本为2.7.5,HDP的最新版本为3.1.5,通过 https://supportmatrix.hortonworks.com/ 可以查询Ambari和HDP各个版本支持情况。本来想安装最新版,但因为从2.7.5之后,访问Ambari存储库需要身份验证。具体官网截图如下,(浏览器以翻译为中文):
废话不多说,开始搞起。
环境
系统:CentOS Linux release 7.6.1810 (Core)
内存:16G
cpu:1C
磁盘:100G
安装介质:[ ambari-2.7.4.0-centos7.tar.gz | HDP-3.1.4.0-centos7-rpm.tar.gz | HDP-GPL-3.1.4.0-centos7-gpl.tar.gz | HDP-UTILS-1.1.0.22-centos7.tar.gz ]
设置主机名:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》
设置root用户登录:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》
设置集群免密:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》
设置selinux,集群时间同步,防火墙:
方法:之前博客 《TDH(Transwarp Data Hub)社区版安装教程》
补充:时间同步,这里配置的集群间,所有节点以主节点时间为准,都同步主节点时间
步骤:
注意事项:要注意的是,ntpd 有一个自我保护设置: 如果本机与上源时间相差太大, ntpd 不运行. 所以新设置的时间服务器一定要先 ntpdate 从上源取得时间初值, 然后启动 ntpd服务。ntpd服务 运行后, 先是每64秒与上源服务器同步一次, 根据每次同步时测得的误差值经复杂计算逐步调整自己的时间, 随着误差减小, 逐步增加同步的间隔.每次跳动, 都会重复这个调整的过程。
主节点配置
修改两处:
restrict 10.32.8.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
修改后具体参数:
View Code
修改配置后需要重启ntpd服务:systemctl restart ntpd
从节点配置
根据上面的注意事项,先同步主节点时间:ntpdate nn1
从节点修改一处:server nn1
修改后具体参数:
View Code
启动ntpd服务:systemctl start ntpd
除了上面的方法外还有一种,就是在从节点添加定时任务,同步主节点时间。
安装jdk
所有节点安装jdk:
View Code
关闭THP
所有节点在文件/etc/rc.d/rc.local中添加以下内容:
View Code
[root@dn1 opt]# chmod +x /etc/rc.d/rc.local
修改文件打开最大限制
语言方法
351691G24erw51
K8d99抖音vlog怎么拍
51882007.04.27 16-10-03
修改文件/etc/security/limits.conf,添加已下内容:
View Code
设置本地源
在主节点安装httpd服务,将所有的安装介质解压到httpd的网页根目录:
创建repo文件
View Code
更新yum源查看
View Code
分发repo文件到所有节点
View Code
安装ambari-server
[root@nn1 yum.repos.d]# yum -y install ambari-server
View Code
启动ambari
View Code
成功启动后在浏览器输入Ambari地址:
http://10.32.8.33:8080 即可进入hdp安装导航,用户/密码(admin/admin):
登录后点击进入导航流程
设置集群名
版本选择
集群列表
集群节点注册
选择安装的服务
服务主组件分布
分配 Slaves and Clients
为一些服务设置密码
为一些服务设置元数据存储
在配置前需要先配置一下postgresql,如下:
View Code
设置完后需要测试一下
后面就一路next就可以了
至此结束!!!
我看了下后台资源使用,三个节点,负载都不低,cpu爆满,建议最小资源:4C+ 16G+ 100G+;
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
CentOS 7.4 安装 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop集群
007.基于CentOS7.8安装Ambari2.7 HDP3.1大数据平台
使用ambari搭建hadoop集群(local)
Ambari系列(一):在离线环境中自动化安装Hadoop集群
Redis主从复制、哨兵模式、集群
安装 OushuDB Ambari 插件
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服