日期:2014-05-17  浏览次数:20588 次

大数据量表的汇总问题
日志表每天生成一个,每个表都是千万数据记录。
现在我要汇总90天的数据做一些统计,有啥办法啊?
前阵子做了一个uv的统计,我是把每一天的userid取出来放在txt里面,现在要做版本统计,因为涉及到关联另外一个表,所以不好用txt啊。
各位有什么好思路都丢给我吧!

------解决方案--------------------
引用:
引用:用BI的方法来搞,千万数据不成问题,同问,干嘛要导出txt

BI是啥。
感觉比较专业,没有更直接一点的办法吗?
数据库不是我建的,也不归我管,所以总是不想动数据库太多。


这类情况用ssis比较合适,数据的筛选,汇总等优化,也可以交给ssis来做,lz只是需要进行一些配置和简单语句编写即可。 

------解决方案--------------------
引用:
引用:引用:引用:用BI的方法来搞,千万数据不成问题,同问,干嘛要导出txt

BI是啥。
感觉比较专业,没有更直接一点的办法吗?
数据库不是我建的,也不归我管,所以总是不想动数据库太多。

这类情况用ssis比较合适,数据的筛选,汇总等优化,也可……



不用代理的话,lz可以直接运行写好的ssis包,关键是看lz是否有权限进行ssis包的执行。

------解决方案--------------------
你什么权限都没有,怎么搞啊,你以为select * 就能解决问题啊?
------解决方案--------------------
没有权限的话,很多数据的获取本身都是问题了,后续的处理,以及相应的优化,也就无从谈起了。 

实在没有,千万级别的数据处理,lz可以试试看excel 2010 ,之前看到过演示 ,支持亿级别的计算和存储。 
不过没有测试过,lz可以查查看。 
------解决方案--------------------
大数据量、统计这些信息已经表明,用BI(包括使用SSIS/SSAS/SSRS等)来实现会比较现实,但是按照你的目前情况,一时半刻会用的确又不可能。SELECT *不是不可以,但是要合理使用,大家都是这样走过来的。问题就是你不够权限做很多事情。单纯靠写语句解决,不是不可以,但是很难,大数据量要搭配数据库设计、还有SQLServer带有的很多功能来辅助。