Hadoop深入研究一

Distcp

用于在两个多个集群之间进行数据的迁移,复制文件

hadoop distcp hdfs://namenode:9000/user hdfs://namenode:9000/hadoop

1.看了distcp的执行结果你会发现,他其实是个mapreduce任务,但是只有map没有reduce

distcp会把文件平均分给map去执行,每个文件一个maop 任务,首先会按照文件大小分配,如果大小小于256m纠纷给一个map任务,但是如果大于256m就会平均分配给不同的map任务,一般情况下每个节点的个数不会超过20map任务

你可以通过-m手动设置，如果为了hdfs的均衡，最好是将maps设的多一些，将block分摊开来。

如果两个集群间的版本不一致，那么使用hdfs可能就会产生错误，因为rpc系统不兼容1.推荐用hftp的替代协议webhdfs，源地址和目标地址都可以使用webhdfs,可以完全兼容

hadoop distcp webhdfs://namenode:50070/user/hadoop/input webhdfs://namenode:50070/user/hadoop/input1

Archive

hdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在namenode节点占用内存，如果存在这样大量的小文件，它们会吃掉namenode节点的大量内存

hadoop Archives可以使用archive工具创建，同上讲的distcp一样，archive也是一个mapreduce任务

hadoop archive -archiveName input.har -p /user/hadoop/ input har

archiveName指定archive的文件名，-p代表父目录，可以把多个目录文件放到archive里，我们来看下创建好的har文件,input输入路径,har输出路径

in(/user/hadoop/input/),out(/user/hadoop/har)

如果用har uri去访问的话，这些文件就会隐藏起来，只显示原文件

hadoop fs -lsr har:///user/hadoop/har/input.har这个是他的访问模式

限制

创建archive文件要消耗和原文件一样多的硬盘空间

archive文件不支持压缩，尽管archive文件看起来象已经被压缩过了。

archive文件一旦创建就无法改变，这就意味这你要改一些东西的话，你需要创新创建archive文件

虽然解决了namenode的内存空间问题，但是在执行mapreduce时，会把多个小文件交给同一个mapreduce去split，这样明显是低效的解决namenode内存的问题可以参照之前的文章中的hdfs federation。(当达到一定阀值时才会去split)

压缩

文件压缩有两个好处

1.减少存储文件所暂用的空间

2.可以提高数据的传输速度

压缩算法是'空间'和'时间'的转换

压缩格式是否可以被分割,也就是说是否可以支持随机读(不用从头扫描,浪费时间)

压缩格式是否可以被分割是非常关键的(考虑到他的并发性)

例子

举个例子，一个未压缩的文件有1GB大小，hdfs默认的block大小是64MB,那么这个文件就会被分为16个block作为mapreduce的输入，每一个单独使用一个map任务。如果这个文件是已经使用gzip压缩的呢，如果分成16个块，每个块做成一个输入，显然是不合适的，因为gzip压缩流的随即读是不可能的。实际上，当mapreduce处理压缩格式的文件的时候它会认识到这是一个gzip的压缩文件，而gzip又不支持随即读，它就会把16个块分给一个map去处理，这里就会有很多非本地处理的map任务，整个过程耗费的时间就会相当长。

支持分割的格式: bzip2,lzo

1.lzo解压缩的速度值最快的,但是他的压缩率是一般的

2.gzip压缩率是比较高的,各种都比较适中

3.bzip2的压缩率是最高的,适用于对压缩速度要求不会是很高

但是对压缩率要求比较高的时候

4.gzip适用于日志输入格式