大数据量表的汇总问题
日志表每天生成一个,每个表都是千万数据记录。
现在我要汇总90天的数据做一些统计,有啥办法啊?
前阵子做了一个uv的统计,我是把每一天的userid取出来放在txt里面,现在要做版本统计,因为涉及到关联另外一个表,所以不好用txt啊。
各位有什么好思路都丢给我吧!
------解决方案--------------------
这类情况用ssis比较合适,数据的筛选,汇总等优化,也可以交给ssis来做,lz只是需要进行一些配置和简单语句编写即可。
------解决方案--------------------
不用代理的话,lz可以直接运行写好的ssis包,关键是看lz是否有权限进行ssis包的执行。
------解决方案--------------------你什么权限都没有,怎么搞啊,你以为select * 就能解决问题啊?
------解决方案--------------------没有权限的话,很多数据的获取本身都是问题了,后续的处理,以及相应的优化,也就无从谈起了。
实在没有,千万级别的数据处理,lz可以试试看excel 2010 ,之前看到过演示 ,支持亿级别的计算和存储。
不过没有测试过,lz可以查查看。
------解决方案--------------------大数据量、统计这些信息已经表明,用BI(包括使用SSIS/SSAS/SSRS等)来实现会比较现实,但是按照你的目前情况,一时半刻会用的确又不可能。SELECT *不是不可以,但是要合理使用,大家都是这样走过来的。问题就是你不够权限做很多事情。单纯靠写语句解决,不是不可以,但是很难,大数据量要搭配数据库设计、还有SQLServer带有的很多功能来辅助。