日期:2014-05-20  浏览次数:20880 次

遍历100万个文件
在window系统中有一个大约100万个文件的文件夹,大小大约29g。现在想用java/C# 或其它语言 遍历这个文件夹中的所有文件,按照文件创建时间分到不同的文件夹中。
自己尝试用java,但内存溢出(主要是文件太多)。不知有没有其它方法?

------解决方案--------------------
探讨
当我像这样列一下所有的文件名时,java内存已经溢出了。
现在就是想获取这个文件夹下面的所有文件名。

------解决方案--------------------
建议直接用批处理FOR命令,建立一个move1m.bat

Java code
@ECHO OFF
SET HOME=D:\test\1M

FOR /R %HOME% %%I IN (*.*) DO (
  SET LAST_MODIFIED=%%~tI
  SET YEAR=%LAST_MODIFIED:~0,4%
  SET MONTH=%LAST_MODIFIED:~5,2%
  SET DIR=%HOME%\%YEAR%%MONTH%
  MD %DIR%
  MOVE %%I %DIR%\%%~nxI
)

------解决方案--------------------
计算机组成原理→DOS命令→汇编语言→C语言(不包括C++)、代码书写规范→数据结构、编译原理、操作系统→计算机网络、数据库原理、正则表达式→其它语言(包括C++)、架构……

在cmd窗口里面执行以下命令
cd /d d:\mydir
dir /tc /o-d /a-d *.* >d:\allfiles.txt
之后d:\allfiles.txt中为d:\mydir下所有文件按创建日期时间从新到旧排序的文件。
Java code
 驱动器 D 中的卷是 xxx
 卷的序列号是 xxx

 D:\mydir 的目录

2011-09-08  14:58                27 135.txt
2011-08-16  10:51                 9 uid.txt
2011-04-19  16:23            25,189 cl.txt
2010-12-24  09:11            16,898 出租.txt
2010-12-14  14:08            13,085 出租1.txt
2010-12-14  14:08            54,629 gcc.txt
               6 个文件        109,837 字节
               0 个目录  9,263,505,408 可用字节

------解决方案--------------------
探讨
引用:

嚯嚯,楼上,100多万的文件信息,你以为写到一个txt文件里面,速度很快?读这个TXT速度会慢得和蜗牛差不多。


2楞子,又不是一次写入,呆!
创建文件夹的时候,就写入啊!
我就不信,哪个2B手工创建的100万个文件夹,肯定也是程序实现。那程序实现的,就可以加以控制。创建完一个,写一条记录,有问题吗?

------解决方案--------------------
探讨
引用:
按照文件创建时间分到不同的文件夹中。
...


(本来写了一大堆,结果发现是Java区的。。)
有2个Win32的API: FindFirstFile FindNextFile, 但是 Java/C#的就不知道了。
一次只获取一个文件信息,分类的话……有一次遍历就完成的算法。
希望不要产生1W个文件夹……

------解决方案--------------------
用doc tree命令 列出文件列表重定向到文件,解析该文件。
dos下 cd到目录
tree > d:/temp.txt
解析temp.txt