创建文件夹:mkdir apps
以后将安装所有的软件放入到该文件夹中。
rz 打开本地上传hadoop包。
解压:tar -zxvf hadoop-2.6.4.tar.gz -C apps 解压到apps文件夹中。
cd hadoop-2.6.4/
cd etc/
cd hadoop/
首先修改hadoop-env.sh配置,该文件是启动脚本的文件。
echo $JAVA_HOME
此时会看到java的配置目录(/usr/local/jdk1.7.0_80
1、vi hadoop-env.sh
查找到export JAVA_HOME=${JSVC_HOME}
将其注释并修改为java的配置路径:
export JAVA_HOME= /usr/local/jdk1.7.0_80
wq!退出并保存。
修改core-site.xml
2、vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value> //说明:hadoop1 表示namenode
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
</configuration>
wq!退出保存。
3、vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value> //说明:文件备份两份
</property>
</configuration>
退出并保存。
先修改一下名字:cp mapred-site.xml.template mapred-site.xml
4、vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value> //maprecude运行框架是yarn
</property>
</configuration>
退出并保存。
5、vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-service</name>
<value>mapreduce_shuffer</value>
</property>
</configuration>
退出保存。
将该台上的配置文件发送到其他三台机子上。
cd ~
scp -r apps hadoop2:/home/hadoop
输入密码后可以看到上传
依次上传到剩余两台机子上。
scp -r apps hadoop3:/home/hadoop
scp -r apps hadoop4:/home/hadoop
还需要格式还一下节点:
cd /usr/local/apps/
cd hadoop-2.6.4
cd bin
hadoop namenode -format 此时会发现未找到命令,是因为没有配置hadoop的环境
vi /etc/profile
export HADOOP_HOME=/apps/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
退出保存。
再将该文件发送到其他三台文件
scp /etc/profile hadoop2:/etc/ //第二台
输入密码即可上传。
scp /etc/profile hadoop3:/etc/ //第三台
scp /etc/profile hadoop4:/etc/ //第四台
最后加载一下环境变量:
source /etc/profile
//格式化节点
hadoop namenode -format
cd apps/
cd hadoop-2.6.4/
cd sbin
ll
进入该目录下会发现一个文件:hadoop-daemons.sh该文件是启动集群的一个脚本
启动集群:hadoop-daemon.sh start namenode
jps 查看进程
jps
namenode
只会发现这两个进程。
如何完成快速的,只需要启动一个脚本,就会把整个集群启动起来。
先关闭hadoop-daemons.sh
hadoop-daemon.sh stop namenode
接下来运行整个集群:
start-all.sh
此时输入jps 会发现几个进程 jps、 secondaryNameNode 、 ResourceManager 、NameNode
在从节点输入jps会发现几个进程:jps 、NodeManager
这样,集群就启动好了。现在可以试着访问一下:
192.168.50.146.8088 (ip.8088)
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请
点击举报。