日期:2014-05-18  浏览次数:20878 次

吃10元盒饭的程序员,来看看这个问题


C# 中 数组容量最大可以定义到多少。考虑机器内存,我电脑内存4个G的。

求建议和见解

string [] ooxx =new string [??????];

我有大批量数据(至少数十万级的)要在数组中进行处理,可行么。
给点建议

------解决方案--------------------
ArrayList 太慢了,平凡的封包,解包

懒人写法,建个数据库,把数据全整数据库里

如果数据量太大的话可能要考虑分布式计算了,最近Hadoop好像很火,没研究过

俺吃0○饭盒,自己掏钱,苦
------解决方案--------------------
数据量大,放在数据库中还是比较好的,处理起来也方便
------解决方案--------------------
探讨
是这样的。
数据表中一条日志10来个字段,
日志N条,
根据事先定制好的某几条ooxx规则来分析
按时间分组,
时间相同的分为一组

比较日志之间某某某某字段的组合是否满足ooxx规则,

这就需要一条一条来分割,然后比较,晕死啊。

是个文件监控程序(vc写的)发过来的临时日志的。
让我来分析用户都干了什么坏事。晕死啊

------解决方案--------------------
嗯 为什么要一次性进行处理呢?为什么不先进行分段再进行处理呢? 一次性处理大数据量 卡死