SFTP传很多小文件很慢:打包传输前后该怎样核对
相同总大小,几万个小文件往往比一个大文件更难传快。每个文件都需要打开、读写和处理属性,网络往返及磁盘元数据操作可能成为瓶颈。这时单纯购买更大带宽,不一定能明显改善。先确认问题是不是集中在“小文件多”,再选择传输方式。
先做一个可比的检查
从同一电脑、同一网络向同一服务器传送一组自己准备的测试文件:观察大量小文件和相近总大小的大文件是否差别明显。只做短时测试,记录总大小、文件数和耗时;不要持续占满带宽,也不要以一个测速结果替代实际SFTP传输。
如果连大文件也很慢,先看客户端上传、服务器磁盘和CPU,以及SSH加密开销。若大文件正常而小文件明显慢,才更适合尝试打包。目录打不开或权限被拒绝则属于另一类问题,参见SSH正常而SFTP异常。
一次性搬迁:先生成固定归档
以下命令适用于GNU tar环境。假设site是准备传输的目录,site-transfer.tar是新的归档名称。不要覆盖已有同名归档;归档放在site外面,避免把自身打进去。打包期间目录应保持稳定,运行中的数据库不能直接当普通目录复制。
du -sh site
test ! -e site-transfer.tar && test ! -L site-transfer.tar && tar -cf site-transfer.tar -C site . && sha256sum site-transfer.tar
第二行先检查归档名没有被现有文件或符号链接占用;检查或打包失败时不会继续计算哈希。出现同名路径时换一个新归档名,不删除旧文件来强行继续。不加压缩也能把多次文件操作合成一条连续传输。图片、视频、现成压缩包通常不需要再反复压缩;纯文本是否压缩,可以结合CPU占用和网络情况决定。权限及备份细节可对照Linux目录打包与解压验证。
先在接收端准备私有传输目录,核对剩余空间能容纳归档与解包结果。不要把包含配置或秘密的归档上传到网站公开目录。确认远端目标归档名尚不存在;put会覆盖已有同名文件,已有归档时应使用本批专用的新名称。通过已经核验主机指纹的SFTP连接上传:
sftp -P 22 deploy@203.0.113.10
put site-transfer.tar /home/deploy/transfer/site-transfer.tar
bye
账号、IP、端口和路径都要换成真实值,put和bye在sftp提示符内执行。首次或变化后的主机指纹应核验,不能为了提速关闭主机身份检查。
先核对哈希,再解到新目录
在具有Shell权限的接收端执行:
sha256sum /home/deploy/transfer/site-transfer.tar
mkdir /home/deploy/transfer/unpacked && tar -xf /home/deploy/transfer/site-transfer.tar -C /home/deploy/transfer/unpacked
先单独执行SHA256命令,确认与发送端完全一致,再执行下一行。mkdir失败就不会继续解包。unpacked应是新建空目录;若已存在,换新名称,不直接覆盖线上目录。解包后检查文件数量、关键文件、隐藏文件及应用所需权限,验证通过后再安排业务切换。
只有受限SFTP权限而不能执行Shell命令时,不能假定服务器会替你自动解包。这种环境需要使用对方实际提供的解压功能,或继续采用客户端支持的批量队列;先确认能力再上传大型归档。
经常更新时,避免每次搬完整份
少量文件频繁变化时,重复生成和上传整份归档也可能浪费时间。若两端允许SSH和rsync,可按rsync传输方法只同步变化部分;它不是SFTP协议本身的功能。
传输中断后,只有确认本地归档未变化、远端已有部分属于同一份文件,才考虑续传。盲目把不同版本拼在一起可能得到损坏文件。最终以哈希一致、文件核验和实际应用结果为准,不把进度条到100%当成全部验收。