WDT 大文件传输利器WDT,跨网、跨国效果非常赞

一、WDT介绍
信息技术地址:https://github.com/facebook/wdt
WDT(曲速数据传输),多链路数据传输,基于传输控制协议;它是FaceBook的开源项目,旨在通过使用多条TCP路径来提高两个系统之间传输文件的效率,同时最大限度地减少资源(CPU/内存等)的消耗。).
在传输机制上,WDT采用阻塞线程IO的方式,保证线程在任一点都在读写。这样就可以在双向传输路径上缓冲数据,使得最小内核/用户空切换时各个子系统仍然忙碌。正是这种双向传输机制进一步确保了系统的最大吞吐量。
二,WDT特色
WDT将文件分割成多个部分,并通过多个tcp连接传输一个文件,每个TCP连接传输一个不同的文件块。
如果点A和点B之间的一个tcp连接的速率是S,理论上,如果链路容量足够大,那么N个tcp连接的速率是N * S..
WDT通常使用20-30个线程,每个线程都有一个tcp连接。如果要发送的文件足够大,它可以被切割成多个块,这是wget(单个tcp连接传输文件)速率的几倍。
第三,WDT限制
只能传输文件,不能对应用透明,不能通过wdt传输http等协议的数据。
WDT对大文件有效,但对小文件有限。因为切片小文件会导致拆分合并等操作成本相对较高,所以速度不如用tcp连接传输小文件。
WDT对吞吐量敏感场景有很好的影响,但对响应时间敏感场景的影响有限。因为具有最高序列号的文件块没有被优先传输,所以它甚至可能因为与具有较低序列号的文件块竞争链路带宽而变慢。
四.WDT的使用
服务器端:
yum安装wdt
cat /etc/sysconfig/wdt
目录=/mnt //需要本地加速的目录
Transfer_id=letv //传输密钥
Start_port=22357 //用于侦听的数据接收端口
/etc/init.d/wdtstart
客户:
yum安装wdt
调整wdtc传输脚本和日志输出级别
【WDT 大文件传输利器WDT,跨网、跨国效果非常赞】

    推荐阅读