日期:2014-05-18  浏览次数:20988 次

大量数据的处理!
public class Data
{
  public int DID;

  public List<int> Items; //长度为16

  //统计字段 有50个
  public int C010; //统计 前0-10个范围为真的个数

  .......


  public int C5001000; //统计 500-1000范围为真的个数

}

Data对象有30W个

public class HistData
{
  public int HID;

  public List<int> Items; //长度为6
}

HistData对象 现有1000多条 (可增长,)

要求是 用每个HistData对象 跟 Data做比较 并判断 Data.Items 是否包含 HistData.Items的数据
假如HistData 对象为10条 ,Data为1条的话.将会产生以下结果 (T = true or F = false)

T
F
T
F
T
F
T
F
T
T


并且统计 如 0-10 中 为真的个数 ! 而且每拿HistData 对象 跟Data (30W个)对象 选择某些满足条件的Data对象保留下来!

怎么速度最快!



------解决方案--------------------
如果自己没有更好的办法,可以使用LINQ
------解决方案--------------------
使用线程池,分批处理。
HistData假如有30W个,你开20个线程(根据你的电脑配置开更高),每个线程处理100个HistData。
哪条线程工作完成,继续处理后面的数据。
再开一条线程用来处理完成的数据。

------解决方案--------------------
问题没有说清楚
但我认为你可以考虑数组结合指针来提高效率.
------解决方案--------------------
如果你确保你的机器cpu数量够多,就用线程吧,如果是单cpu线程只会降低效率
------解决方案--------------------
數據若都是取自數據庫,可以先在數據庫中用存儲過程處理,然後只需取出結果即可,並不是什麼都有必要在程序中實現的。。。
------解决方案--------------------
现在的CPU都是多核超线程。20个线程应该可以的吧
------解决方案--------------------
学习一下,一直对于大数据量没有什么好办法呢!
------解决方案--------------------
耗时操作只不过是Items与Items之间的比对。而且好像这个整体的设计上也有问题,但是说不出是哪儿,可能我不知道业务逻辑的具体内容吧。

不过其余的地方,注意精简代码即可。比对可以用下面这一招,前提,你内存要大。

public bool InHistData(Data data,HistData histData)
{
Dictionary<string[Item的唯一标识],Item[HistData里面的Item]> histDataMapping = new 
Dictionary<string,Item>();
foreach(Item item in histData.Items)
{
histDataMapping.Add(item.[唯一标识],item);
}

foreach(Item item in data.Items)
{
if(!histDataMapping.ContainsKey(item.唯一标识))
{
return false;
}
}
return true;
}
------解决方案--------------------
1:都在内存中,多线程没有意义。
2:其实就是一个 sql连接查询:
所有 Data.Items 组成 表1 (数据所在的index需要保存)
所有 HistData.Items 组成 表2 连接条件是

所以简单的办法是写到两张表,然后执行连接查询,使用top之类的条件获得结果。

3:如果硬要在内存
如果硬要在内存中完成,思路应该是: 
对Data.items排序
对HistData.Items排序,建立链表说明HistData.Items中的值和HistData的映射关系
执行查找
   排序和查找,使用二分就可以了,使用B+或B-算法也不错。
------解决方案--------------------
并判断 Data.Items 是否包含 HistData.Items的数据
你的定义里用的是List,而List是通过遍历整个数组进行比较的,建议修改定义为Dictionary
如:
public class Data
{
public int DID;
public Dictionary<int, bool> Items; //key为原来的元素,value无作用,仅作填充


不过具体还要看你的业务,因为你的每个Items都才16个,所以上面的修改,作用不大,还是要看你的业务,来修改成具体可用的优化代码


------解决方案--------------------
探讨
1:都在内存中,多线程没有意义。
2:其实就是一个 sql连接查询:
所有 Data.Items 组成 表1 (数据所在的index需要保存)
所有 HistData.Items 组成 表2 连接条件是

所以简单的办法是写到两张表,然后执行连接查询,使用top之类的条件获得结果。

3:如果硬要在内存
如果硬要在内存中完成,思路应该是:
对Data.i……

------解决方案--------------------