❏ 站外平台:

高效的大文件拷贝

| 2014-03-04 09:48   评论: 16 收藏: 6    

当你要两台机器之间拷贝一些大文件的时候,把nc(netcat)和pigz(parallel gzip)组合起来会是一个简单高效的选择。不过,如果要把这些文件同时分发到多台机器,有什么好法子吗?在Tumblr,这还算蛮常见的需求,比如我们要快速的同时增加几台MySQL Slave的时候。

你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。

还好,借助一些UNIX工具可以做的更好。把tee和FIFO组合起来,可以形成一个文件快速分发链:处于分发链中的每台机器会保存文件,同时还分发给它的下一环。

首先,选定一台目标机器做为分发链的最后一环,在这台机器上只需要用nc监听(假定端口是1234),再通过管道由pigz解压缩,继续通过管道把数据交由tar来分解。

nc -l 1234 | pigz -d | tar xvf -

然后,再从分发链的末端往上走,设置其它目标机器,同样要经过监听、解压、分解,不过在解压之前我们通过tee命令将数据输出到命名管道(FIFO),另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环:

mkfifo myfifo
nc hostname_of_next_box 1234 nc -l 1234 | tee myfifo | pigz -d | tar xvf -

最后,在源机器上启动分发链,让数据传输到分发链的第一环:

tar cv some_files | pigz | nc hostname_of_first_box 1234

在我的测试中,分发链中的每台机器大概损失了3%-10%的性能(相对于1对1的拷贝而言),但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发,效率提升是很明显的。

原文: Efficiently copying files to multiple destinations 

via : http://xiaobin.net/201107/efficiently-copying-files-to-multiple-destinations/ 

 



最新评论

netb2c 2014-03-09 10:13 5 回复
经验~
微博评论 2014-03-04 16:36 4 回复
坠尘子(微博): 转发微博
微博评论 2014-03-04 16:36 3 回复
DD东京(微博): 转发微博
微博评论 2014-03-04 12:21 4 回复
大推力火箭(微博): 转发微博
微博评论 2014-03-04 12:21 5 回复
squirrel20(微博): 转发微博
微博评论 2014-03-04 10:51 3 回复
胳膊不粗(微博): 集群太大的话可以考虑使用p2p分发,这种串联结构会很不可靠
微博评论 2014-03-04 10:51 4 回复
胳膊不粗(微博): 集群太大的话可以考虑使用p2p分发,这种串联结构会很不可靠
微博评论 2014-03-04 10:51 6 回复
larrick的空间(微博): 轉發微博
微博评论 2014-03-04 10:51 4 回复
D_hhhhH(微博): //@Ace_Exp: 转发微博
微博评论 2014-03-04 10:51 5 回复
醉凌风2013(微博): 高效的大文件拷贝
微博评论 2014-03-04 10:51 4 回复
醉凌风2013(微博): 高效的大文件拷贝
微博评论 2014-03-04 10:51 3 回复
戴鱼鱼(微博): 转发微博
微博评论 2014-03-04 10:51 5 回复
Ace_Exp(微博): 转发微博
微博评论 2014-03-04 10:51 4 回复
行动印迹(微博): 转发微博
微博评论 2014-03-04 10:51 3 回复
KawaruNagisa(微博): 转发微博
soli 2014-03-04 10:39 5 回复
一传十,十传百,百传千,千传万。

第一台给第二台传完后可以接着向第三台传。

    +--2   +--5
    |       |
1--+--3--+--6
    |       |
    +--4   +--7

返回顶部

分享到微信

打开微信,点击顶部的“╋”,
使用“扫一扫”将网页分享至微信。