文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。
软件 | 版本 |
Linux系统 | CentOS7 |
JDK | jdk-8u221-linux-x64.tar.gz |
Zookeeper | zookeeper-3.4.5-cdh5.14.2.tar.gz |
主机名 | hadoop01 | hadoop02 | hadoop03 |
内存 | 8G | 8G | 8G |
CPU | 4核 | 4核 | 4核 |
硬盘 | 500G | 500G | 500G |
服务 | QuorumPeerMain | QuorumPeerMain | QuorumPeerMain |
firewall-cmd --state # 查看防火墙状态systemctl stop firewalld.service # 停止防火墙systemctl disable firewalld.service # 禁止开机启动防火墙
sudo vi /etc/hostsip1 hadoop01ip2 hadoop02ip3 hadoop03
useradd bigdata # 添加普通用户passwd bigdata # 为普通用户设置密码
ssh-keygen -t rsa # 生成密钥对(一路回车即可)ssh-copy-id hadoop01 # 分别拷贝公钥到三台机器上
待更新
tar zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local
vi ~/.bash_profile
## 在行末添加以下内容,并保存关闭############# JAVA_HOME ################export JAVA_HOME=/usr/local/jdk1.8.0_221export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile
java -version
tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software
mkdir -p /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData
mv zoo_sample.cfg zoo.cfg # 重命名配置文件vi zoo.cfg# 修改dataDir属性dataDir=/opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData# 添加以下内容server.1=hadoop01:2888:3888server.2=hadoop02:2888:3888server.3=hadoop03:2888:3888
scp -r zookeeper-3.4.5-cdh5.14.2 hadoop02:/opt/softwarescp -r zookeeper-3.4.5-cdh5.14.2 hadoop03:/opt/software
# 在hadoop01上执行echo 1 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid# 在hadoop02上执行echo 2 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid# 在hadoop03上执行echo 3 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid
vi ~/.bash_profile## 在行末添加以下内容,并保存关闭############# ZK_HOME ################export ZK_HOME=/opt/software/zookeeper-3.4.5-cdh5.14.2export PATH=$PATH:$ZK_HOME/bin
source ~/.bash_profile
zkServer.sh start # 启动zk
zkServer.sh status # 查看zk状态
zkServer.sh stop # 停止zk
至此,zookeeper分布式集群搭建完成,可以通过jps命令查看QuorumPeerMain进程是否存在,或者使用zkCli.sh进入zk客户端,来验证集群是否安装成功。
欢迎大家提出建议或疑问。
联系客服