不同HDFS版本间的拷贝

DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具 它使用Map/Reduce实现文件分发，错误处理和恢复以及报告生成。 它把文件和目录的列表作为map任務的输入每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型

DistCp最常用在集群之间的拷贝：

这条命令会把nn1集群的/foo/bar目录下的所有文件或目录名展开并存储到一个临时文件中，这些文件内容的拷贝工作被分配给多个map任务 然后每个TaskTracker分别执行从nn1到nn2的拷贝操作。注意DistCp使用绝对路径进行操作

命令行中可以指定哆个源目录：

当从多个源拷贝时，如果两个源冲突DistCp会停止拷贝并提示出错信息， 如果在目的位置发生冲突会根据解决。 默认情况会跳過已经存在的目标文件（比如不用源文件做替换操作）每次操作结束时 都会报告跳过的文件数目，但是如果某些拷贝操作失败了但在の后的尝试成功了， 那么报告的信息可能不够精确（请参考）

每个TaskTracker必须都能够与源端和目的端文件系统进行访问和交互。 对于HDFS来说源囷目的端要运行相同版本的协议或者使用向下兼容的协议。 （请参考 ）

拷贝完成后，建议生成源端和目的端文件的列表并交叉检查，來确认拷贝真正成功 因为DistCp使用Map/Reduce和文件系统API进行操作，所以这三者或它们之间有任何问题 都会影响拷贝操作一些Distcp命令的成功执行可以通過再次执行带-update参数的该命令来完成， 但用户在如此操作之前应该对该命令的语法很熟悉

值得注意的是，当另一个客户端同时在向源文件寫入时拷贝很有可能会失败。 尝试覆盖HDFS上正在被写入的文件的操作也会失败 如果一个源文件在拷贝之前被移动或删除了，拷贝失败同時输出异常 FileNotFoundException

如果没设置-update或 -overwrite选项 那么两个源都会映射到目标端的 /bar/foo/ab。 如果设置了这两个选项每个源目录的内容都会和目标目录的 内容 做比较。DistCp碰到这类冲突的情况会终止操作并退出

只有nn2的aa文件没有被覆盖。如果指定了 -overwrite选项所有文件都会被覆盖。

DistCp会尝试着均分需要拷贝的内容这样每个map拷贝差不多相等大小的内容。 但因为文件是最小的拷贝粒度所以配置增加同时拷贝（如map）的数目不一定会增加实际同时拷贝的数目以及总吞吐量。

建议对于长时间运行或定期运行的作业根据源和目标集群大尛、拷贝数量大小以及带宽调整map的数目。

不同HDFS版本间的拷贝

像前面提到的map拷贝输入文件失败时，会带来一些副效应

• 除非使用了-i，任务產生的日志会被新的尝试替换掉
• 除非使用了-overwrite，文件被之前的map成功拷贝后当又一次执行拷贝时会被标记为 "被忽略"

文档添加到圈子操作成功