日期:2014-05-20  浏览次数:20791 次

大数据量统计的问题?
有两个文本文件
数据量都在10万级别
要统计出这两个文件里面有多少个相同的数据
不用数据库,有什么好的方法吗?

------解决方案--------------------
.Net 2.0下使用Dictionary <TKey, TValue> .
先读取第一个文件内的数据,将数据本身当作Key,0当作Value存入Dictionary。
如果有重复,就把相对应的Key的Value+1,如果没有重复,就新加入一个 <Key,Vlaue> 对。
接下来读取第二个文件,方法同上。
------解决方案--------------------
学习
------解决方案--------------------
问题很不明确,最好是把你的数据列一些例子出来。
------解决方案--------------------
数据大的话先外部排序,再比较,不大的话直接用.net类库里的东东就行了