公司要我改统计方案，求毒药也求解药
进公司快1年了，一直在做一些与数据统计有关的开发工作。我公司做考试学习相关的，所以常常是统计一些如报名情况、付费情况、学习情况等数据，然后在以表格形式呈现在页面上。用的方法大致是：每天通过sql作业调用存储过程，从原始表中提取数据并处理（如：聚合）再将处理好的数据保存在新的统计表中。页面呈现的数据基本出自这些统计表或统计表相关的视图。
目前系统要升级，考虑到现在这样的做法存在很多问题（比如数据抽取的可靠性、大量数据抽取产生的性能问题、报表的灵活等等），所以领导希望我能提供一套新的方案，从数据的存储到页面的呈现，要安全、可靠、灵活。

我希望项目中能用到BI的一些知识和技术，但却苦于公司及身边没有了解这方面知识的人，不知如何下手。

最近在学习ETL，但只知道怎样抽却不知道要抽成什么样子，数据仓库又该如何创建……我们这样的需求需要用到数据仓库吗……代价会不会很大？……我表示很迷惑、鸭梨很大。

希望大家帮帮我，能提些建议，我将表示发自肺腑的感谢。




求毒药也求解药

------解决方案--------------------

数据要抽成什么样子，这个要看你需要什么样的数据
你要从展示层往回推，看你要展示那些东西，这些东西从哪里来，而不是先确定ETL要抽那些东西，再到展现。
毕竟业务数据有很多，不是所有的都可用于分析和需要分析。
即使同一个表里，也不是所有的字段都要，只抽取需要的字段就行了。


个人建议，如果你的数据表就10来个，建议你维持现状。仍用存储过程来实现即可
能实现增量抓取，对业务数据进行分区，建好基础索引基本上都能满足了。
注意上亿条数据这个业务你应该有多维度的聚合，而不是将这个数据直接用于展现。
当然，从个人提升来讲，完整走下SSIS，SSAS,SSRS 也不错。
------解决方案--------------------

探讨

进公司快1年了，一直在做一些与数据统计有关的开发工作。我公司做考试学习相关的，所以常常是统计一些如报名情况、付费情况、学习情况等数据，然后在以表格形式呈现在页面上。用的方法大致是：每天通过sql作业调用存储过程，从原始表中提取数据并处理（如：聚合）再将处理好的数据保存在新的统计表中。页面呈现的数据基本出自这些统计表或统计表相关的视图。
目前系统要升级，考虑到现在这样的做法存在很多问题（比如数据抽……

------解决方案--------------------
如果你的表不多，那么就进一步分析下表结构，把主要的条件维度之类的分析分析，以这些来建模
毕竟这种分析应该主要基于数字，而不是语义，表不多的话，还比较容易些。
说起来存储过程结合一点应用编码，也可以实现11楼的需求。
当然用SSIS的控制流更方便实现。

我倒觉得你可以先找本SSIS的书看看，从工具的角度切入，然后再往大方向上去走
一开始就从BI宏观入手，看到人发晕，呵呵。


这篇文章可以看看，先有个认识：
http://archive.cnblogs.com/a/2079883/
当然MS的宝库也不能放过
http://technet.microsoft.com/zh-cn/library/ms141026.aspx