打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Ubuntu安装hadoop并做单机测试

1.配置jdk

见前文

2. 下载解压hadoop

这里以2.7.7版本为例,将文件剪切到/usr/local里面并更改名字为hadoop方便后续配置

3. 为hadoop配置jdk版本呢

设置hadoop目录下的env文件,hadoop/etc/hadoop-env.sh文件,注意这里的etc是在hadoop目录下的etc,大家注意命令执行的路径,在里面定义jdk目录,建议将hadoop_home和path也定义一下

4. 为hadoop设置环境变量

这里直接设置~/.bashrc,设置相关配置即可,HADOOP_HOME是我的hadoop文件路径,大家根据个人情况更改即可,最后的PATH因为我在bashrc里面同时配置了jdk、hadoop和hbase,所以如果有和我情况相同的小伙伴建议将PATH下在一起,像注释那样云控爆粉

5. 设置ip映射

配置hosts文件,为主机增加IP映射

6. 增加用户并授权

一般我们测试的时候都会使用hadoop或者hduser一类的用户,当测试的时候切换到对应用户并进行操作,也可以使用其他用户(主机用户),但是记得对用户进行授权,否则当后面操作的时候会因为不能访问文件而导致错误。

7. 单机测试

进入hadoop目录,建立input文件夹,复制几个文件当作输入数据源(这里采用的是hadoop/etc/*.xml),然后执行haddop自带的关键字提取方法进行检验,将结果输出到output文件当中,__注意:__二次实验时需要事先删除output文件

8. 结果

执行完毕后目录下会出现output文件夹,查看里面的文件的内容即可

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
Eclipse下使用Hadoop单机模式调试MapReduce程序
Linux下jdk的安装
Linux下的Jmeter运行测试
Hadoop系列之(一):Hadoop单机部署
VirtualBox环境下基于多台ubuntu虚拟机的Hadoop分布式计算环境搭建
Ubuntu Spark 环境搭建
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服