日均10万数据,如何处理?来点思路!畅所欲言!
现在主要有两张表,
一张主表,一张子表。主表日均1万条左右,子表日均9万条左右。
现在主要是对这两张表做 增、改、查。
增改就不说了,查的话需要按当天、周、月、季度、年等范围进行查询。
还有各种的汇总查询。
请问需要怎么去建这个库?
还有目前公司用的是UltraWebGrid的第三方网格,感觉不给力。查询的数据绑定会很慢,用户体验比较差。有什么好的网格控件推荐的?
请大家指教!
------解决方案--------------------
LZ这个问题,主要在查询。
对应多时间分区的查询,如果没有历史数据的变更问题。大致可以分成两块
1、定期汇总(周次,月次),由数据库侧发送报表的方案是否可行?
2、单日数据,做好索引即可。(数据量过大的时候,可以考虑分区,比如5年前数据)
参考!
------解决方案--------------------
这种对统计要求高,要求全的需求,最好就是使用SSAS来做,建立合适的维度,使用ETL设置成自动作业方式更新数据到OLAP,然后针对OLAP读取数据进行统计,尽可能减少对OLTP的影响。后期还可以使用SSRS生成各种报表,或者供其他BI工具进行二次开发。
------解决方案--------------------如果涉及到保留历史数据,那么建议做分区表。不保留的话,一年365天,每天10w,不过也才365x10w=3650w
索引设计的合理,硬件条件保证,不需要用分区表也能做好的个人愚见
------解决方案--------------------如果你的查询条件里总是有日期作为条件,那么用日期为分区字段是不错的选择。
另外,你说的汇总结果放到其它表中保存,是非常不错的方法,很常用。