Distcp
用于在两个多个集群之间进行数据的迁移,复制文件
hadoop distcp hdfs://namenode:9000/user hdfs://namenode:9000/hadoop
1.看了distcp的执行结果你会发现,他其实是个mapreduce任务,但是只有map没有reduce
distcp会把文件平均分给map去执行,每个文件一个maop 任务,首先会按照文件大小分配,如果大小小于256m纠纷给一个map任务,但是如果大于256m就会平均分配给不同的map任务,一般情况下每个节点的个数不会超过20map任务
你可以通过-m手动设置,如果为了hdfs的均衡,最好是将maps设的多一些,将block分摊开来。
如果两个集群间的版本不一致,那么使用hdfs可能就会产生错误,因为rpc系统不兼容1.推荐用hftp的替代协议webhdfs,源地址和目标地址都可以使用webhdfs,可以完全兼容
hadoop distcp webhdfs://namenode:50070/user/hadoop/input webhdfs://namenode:50070/user/hadoop/input1
Archive
hdfs并不擅长存储小文件,因为每个文件最少一个block,每个block的元数据都会在namenode节点占用内存,如果存在这样大量的小文件,它们会吃掉namenode节点的大量内存
hadoop Archives可以使用archive工具创建,同上讲的distcp一样,archive也是一个mapreduce任务
hadoop archive -archiveName input.har -p /user/hadoop/ input har
archiveName指定archive的文件名,-p代表父目录,可以把多个目录文件放到archive里,我们来看下创建好的har文件,input输入路径,har输出路径
in(/user/hadoop/input/),out(/user/hadoop/har)
如果用har uri去访问的话,这些文件就会隐藏起来,只显示原文件
hadoop fs -lsr har:///user/hadoop/har/input.har这个是他的访问模式
限制
创建archive文件要消耗和原文件一样多的硬盘空间
archive文件不支持压缩,尽管archive文件看起来象已经被压缩过了。
archive文件一旦创建就无法改变,这就意味这你要改一些东西的话,你需要创新创建archive文件
虽然解决了namenode的内存空间问题,但是在执行mapreduce时,会把多个小文件交给同一个mapreduce去split,这样明显是低效的解决namenode内存的问题可以参照之前的文章中的hdfs federation。(当达到一定阀值时才会去split)
压缩
文件压缩有两个好处
1.减少存储文件所暂用的空间
2.可以提高数据的传输速度
压缩算法是'空间'和'时间'的转换
压缩格式是否可以被分割,也就是说是否可以支持随机读(不用从头扫描,浪费时间)
压缩格式是否可以被分割是非常关键的(考虑到他的并发性)
例子
举个例子,一个未压缩的文件有1GB大小,hdfs默认的block大小是64MB,那么这个文件就会被分为16个block作为mapreduce的输入,每一个单独使用一个map任务。如果这个文件是已经使用gzip压缩的呢,如果分成16个块,每个块做成一个输入,显然是不合适的,因为gzip压缩流的随即读是不可能的。实际上,当mapreduce处理压缩格式的文件的时候它会认识到这是一个gzip的压缩文件,而gzip又不支持随即读,它就会把16个块分给一个map去处理,这里就会有很多非本地处理的map任务,整个过程耗费的时间就会相当长。
支持分割的格式: bzip2,lzo
1.lzo解压缩的速度值最快的,但是他的压缩率是一般的
2.gzip压缩率是比较高的,各种都比较适中
3.bzip2的压缩率是最高的,适用于对压缩速度要求不会是很高
但是对压缩率要求比较高的时候
4.gzip适用于日志输入格式
联系客服