日期:2014-05-16  浏览次数:20687 次

linux目录下百万级文件应如何处理?
我的网站附件图片有100多G,解压出来的的文件个数可能在百万级吧!
刚买了一个云服务器,我把100来G的文件分别打包在5-6G左右的zip格式上传到服务器目录中,用unzip命令解压,开始解压二个压缩文件速度还可以,当解压第三个压缩文件的时候,发现很慢,很慢!解压一个文件要好长时间,可能1个小时,具体时间没测试!不知道为什么?

我的文件存放格式为
upload_files/a/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg

upload_files/b/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg



------解决方案--------------------
重新解压第一个文件试试 是不是也变慢了
------解决方案--------------------
upload_files/a/1.zip &
upload_files/a/2.zip &
upload_files/a/3.zip &

并行
------解决方案--------------------
单一目录下不要超过1000个文件。
------解决方案--------------------
直接tar,不要压缩,可以省点压缩世界,哈哈。
------解决方案--------------------
引用:
也是一样的慢

先看看I/O是不是瓶颈
------解决方案--------------------

limits.conf 这个的问题?
------解决方案--------------------
你是写一个bash程序自动运行的?还是手动的?
运行完一个unzip,释放一下内存再运行下一个。