日期:2014-05-17  浏览次数:20705 次

ssis的etl过程中日志问题
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
------最佳解决方案--------------------
SSIS里面好像没有什么控件可监控的,,如果想用SQLProfiler监控的话,必须要用到SSIS里面的SQL任务才可以。如果想看里面的具体SQL代码,还可以通过脚本任务,把他打印回来看。
------其他解决方案--------------------
日志里面记录的都有的。

------其他解决方案--------------------
引用:
日志里面记录的都有的。


记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql

是不是需要服务器端的性能分析抓取?还是有别的方法呢?
------其他解决方案--------------------
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
------其他解决方案--------------------
引用:
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx


文档参考过了,只有OnProgress事件会在某个包或者组件执行时记录sql语句

请问如何记录详细的sql信息

我遇到的问题是,etl过程需要50分钟作用,但是整个过程cpu(16核)和内存(50g)的使用率都非常低
在analysis service任务时 cpu利用率才会上来

试了很多方法没有解决


------其他解决方案--------------------
引用:
引用:
日志里面记录的都有的。


记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql

是不是需要服务器端的性能分析抓取?还是有别的方法呢?


Profiler 可以。但是性能消耗较大。

------其他解决方案--------------------
引用:
引用:

引用:
日志里面记录的都有的。


记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql

是不是需要服务器端的性能分析抓取?还是有别的方法呢?


Profiler 可以。但是性能消耗较大。


profiler连接到as服务,只能监测到as部分的sql
而整个过程的sql还是不全吧,难道需要开两个profiler,一个as,一个dw?
------其他解决方案--------------------
求教解决办法!
------其他解决方案--------------------
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
------其他解决方案--------------------
引用:
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢

因为业务的特殊性,需要两个小时抽取一次,由于太频繁和数据量比较大,数据完整性不能保证,总是出错,所以想记录下所有的sql

目前这个问题已经解决,另一个问题:

http://topic.csdn.net/u/20111207/21/a85d8c9d-4fc4-43b6-9e9e-2f739d5dcbff.html