informatica使用记录
1、informatica powerCenter client工具介绍
powerCenter designer :定义源及目标数据结构 设计转换规则,生成etl映射
repository manager: 元数据资料库,依赖性分析,安全性管理等
repository server administrator console : repository的建立于维护
workflow manager : 合理的实现复杂的etl 工作流,基于时间或时间的作业调度
workflow monitor : 监控workflow和session,生成工作日志及报告
2、工作流程
整体流程:创建mapping->创建workflow->运行
具体流程:
3、informatica中的mapping、flow不能跨包
4、workflows设置DB_connection与抽取条件:
a. 双击S_T_AGENT 打开Edit Tasks窗体,选择mapping项;
选择sources,Type处有DB选择;
b.source filter设置抽取条件, eg: --t_agent.update_time>to_date('$$last_extract_time','mm/dd/yyyy hh24:mi:ss')
t_agent.update_time>to_date('01/01/2011','mm/dd/yyyy hh24:mi:ss')
c.设置完成保start workflows即可
10.17
informatica操纵流程:
1、数据源设置
2、designer中设计mapping:
a、点击source analyzer:在sources处导入源表
b、点击target designer:在targets处导入目标表
c、点击mapping designer:在mapping处create新的mapping
d、将目标表与源表均拖放到mapping designer处,连接保存
3、workflow manager中设计
a、点击worklet designer:新建worklets
b、点击tasks创建session,选择mapping中设计的mapping
source: readers ->relational reader
target: writers ->file writer
connections -> loader sybase_IQ
c、点击tasks创建link task,连接保存
4、workflows设计:
新建拖入workflow即可
start task
11.23
PowerCenter Repository Manager操作流程:
1、 大概速度:一百万/分钟 一万三千条/秒
大概输出文件:1G/一百万
日志:
E:\Informatica\PowerCenter8.5.1\server\infa_shared\TgtFiles\t_agent11.out.ldrlog
11.28
informatica数据转换规则添加:
a、在mapping与目标表之间添加 f(x)
b、双击exptrans expression选择ports
c、对需要转换的行copy一份,分别作为IN与OUT
d、在expression处输入规则,如:REPLACECHR(1,RECEIPT_CODE,chr(10),' ')
日期转换
问题:oracle中日期有0000-0-0格式,装载到sybaseIQ时候不支持0000-0-0格式,
出现: -- Could not execute statement.
-- Cannot convert 12/01/???? to a date(4) (column SERVICE_DATE)
-- SQLCODE=-157, ODBC 3 State="07006"
informatica转换规则:
iif(substr(to_char(SERVICE_DATE,'yyyy-mm'),0,2)<>'00',SERVICE_DATE)