日期:2014-05-19  浏览次数:20928 次

50分求解一效率优化问题
用数据库方式实现文档的倒排索引,数据库有3张表,表一:文档表,字段有url,文档id,文档内容,标题等,表二:单词表,字段有单词id,单词和单词出现频率,表三:文档单词关系表,字段有文档id,单词id,和单词在文档出现的位置号.

我现在的做法是这样的,首先把数据填入表二
while(从表一读取文档内容)
{   split文档内容,得到单词的字符串数组
    for(循环数组,对每一个单词)
    {
            1。对每个单词还作了些字符串处理并舍弃一些不要的单词
            2。先判断单词是否已经在表二中出现过,没有则3,有的话词频加一
            3。插入表二
    }
}

做完表二后再做表三。基本和上面差不多,只是在循环数组的时候要取出该单词在表二的id。

这样一个结构效率很低下,不知有什么办法可以提高效率,请高手指点,谢谢


------解决方案--------------------
基本的算法可能也就这样,个人觉得实现上可以作一点改进
1、程序开始的时候把表二中的所有单词的信息读进来,放到HashTable(.net 1.1)或是Dictionary <key,word> 里面(.net 2.0 wrod是程序定义的单词结构);同时定义另一个Dictionary <key,word> 的容器,用于存放表二里没有的单词信息
2、程序处理的时候,只是要字典里去查,省去数据库查找过程(对大数据量的处理节省很多时间)。前面不用ArrayList或是List <word> 是因为查找性能上HashTable更优
3、当然咯,程序处理完了,把这些信息update或是insert到表二就OK了

楼主如果对容器不是很熟悉的话,看一下交资料很快就明白了
------解决方案--------------------
建议:
1、减少数据库读取次数。一次性读取所有需要的数据,怎么读取? 可以构造 sql,存放在DataTable 或则其他什么地方;
2、suxe() 提到的使用字典加速。

看你的思路中,看第一句就感觉问题比较大。如果你这句:while(从表一读取文档内容)。有数据库操作(读取数据,即使只读取一条数据)是比较耗时的,像提高,可以按照suxe()意见,见数据一次性读取出来放在字典中,然后再字典中查找数据,速度会快很多。

------解决方案--------------------
我写了一个大概,完整了代码就可以了

public struct Word
{
public int Id;
public string Characters;
public int Frequency;
public static bool operator ==(Word x, Word y)
{
return x.Characters == y.Characters;
}
}

public class WordManager
{
//初始容器
private WordManager()
{// 。。。}

public static WordManager Instance
{
get
{
if (__instance != null)
{
return __instance;
}
__instance = new WordManager();
return __instance;
}
}

//从数据库把单词信息加载到m_primaryWords
public void Load()
{ //。。。}

//更新单词信息,如果单词在m_primaryWords中,则frequency++,否则新加单词到m_newWords
public void Update(ref Word item)
{
if (m_primaryWords.ContainsKey(item.Characters))
{
m_primaryWords[item.Characters].Frequency++;
}
else
{
m_newWords.Add(item.Characters, item);
}
}

//把m_primaryWords和m_newWords容器中的单词信息保存到数据库
public void Save()
{
foreach (Word item in m_primaryWords)
{
//update进表或者可以先把表清空了再插入
}
foreach (Word item in m_newWords)
{
//insert 进表
}
}

private Dictionary <string, Word> m_primaryWords;

private Dictionary <string, Word> m_newWords;

private static WordManager __instance;

}