linux目录下百万级文件应如何处理?
我的网站附件图片有100多G,解压出来的的文件个数可能在百万级吧!
刚买了一个云服务器,我把100来G的文件分别打包在5-6G左右的zip格式上传到服务器目录中,用unzip命令解压,开始解压二个压缩文件速度还可以,当解压第三个压缩文件的时候,发现很慢,很慢!解压一个文件要好长时间,可能1个小时,具体时间没测试!不知道为什么?
我的文件存放格式为
upload_files/a/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/a/
N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/1/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/2/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/3/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
upload_files/b/
N……/1.jpg 2.jpg 3.jpg 4.jpg 5.jpg
------解决方案--------------------重新解压第一个文件试试 是不是也变慢了
------解决方案--------------------upload_files/a/1.zip &
upload_files/a/2.zip &
upload_files/a/3.zip &
并行
------解决方案--------------------单一目录下不要超过1000个文件。
------解决方案--------------------直接tar,不要压缩,可以省点压缩世界,哈哈。
------解决方案--------------------
先看看I/O是不是瓶颈
------解决方案--------------------
limits.conf 这个的问题?
------解决方案--------------------你是写一个bash程序自动运行的?还是手动的?
运行完一个unzip,释放一下内存再运行下一个。