信息交换总线平台IEB



2.产品介绍



2.1 产品简介



    信息交换总线平台产品是构建在企业服务总线ESB平台基础上，能够让用户在简单的配置下就轻松实现信息传输、抽取、过滤、清洗、转换、交换存储等ETL功能。降低了应用本平台产品的学习成本，缩短了项目实施周期，真正做到易学、易用、易维护、高效、稳定、安全。平台支持SOA应用部署、支持海量数据高效处理、支持数据FTP传输加密压缩功能等。
注：企业服务总线ESB用于企业级应用，支持复杂业务、海量数据处理，通过适配器可无限制扩展的平台企业级应用中间件产品。



2.2 产品功能介绍



2.2.1 产品技术简介



1） 信息交换总线平台是采取微内核引擎技术、信息交换总线Bus技术。采用J2EE技术研发，基于SOA设计、架构，支持各种SOA应用的部署，采用XML协议进行信息处理、传输。具备ETL功能，能够实现数据抽取、过滤、转换、交换存储等功能。能够很方便地实现复杂业务逻辑处理、ETL海量数据处理、复杂信息源和目标实体间信息交换等功能的企业级应用中间件平台。
2） 信息交换总线平台分为后台任务处理平台和前台管理功能两部分，将配置和实际处理功能分开，支持集群部署，其前台管理平台为BS架构，可管理任意多个后台任务平台。操作、部署、管理方便、快捷。
3） 信息交换总线平台具备支持第三方应用程序部署、存储过程、Web Service、复合JOB等运行在该平台上。
4）信息交换总线平台可运行在不同的操作系统上，如：Windows Xp、Win7、Windows2002/2003/2008或者Linux系列、Unix、Aix等操作系统。
5） 支持多种主流数据库，如：Oracle8i及以上、Sql server2000及以上、DB2、Sybase12.0及以上等。
6） 支持多种数据源，如：各种格式文件；支持多种开发语言环境的应用程序，如：VC、.net、JAVA、PB、Delphi等。
7） 支持多种方式的信息交换，如：XML、Socket、MQ、Adpter、JMS、FTP等。
8）平台可监控各个任务运行状态，记录运行日志和发送邮件通知等。平台容错采用断点续传功能，加密、压缩等功能保证数据传输过程中的完整性、准确性和安全性。

9)  采用配置方式轻松实现海量数据抽取、过滤、清洗、转换、交换存储等功能。



2.2.2 复杂业务逻辑处理功能



     此功能用于支持企事业单位、集团、各个行业针对内部来源于相同或不同信息系统的数据采集、处理、过滤、分析、汇总、集成的业务，支持复杂业务处理。采用SOA方式，即部署即用。能够快速实现用户管理需求，同时延长了在用信息系统的生命周期。



2.2.3 信息交换处理功能



1） 信息交换处理功能是采用配置的方式来实现信息的交换。信息交换总线平台将数据源视为源实体，与之对应的目标为目标实体，从源实体获取到数据后，经过中间各种规则转换后，存入目标实体，中间规则转换视为规则设置。



2.2.4  ETL海量数据处理功能



1) ETL海量数据处理的配置方式同2.2.3，按照2.2.3配置好源实体、目标实体、转换规则、调度计划后，平台会自动按计划调度执行，对大数据量平台有对应的优化策略。
2) 目前平台很好的支持海量数据处理，不需要对源数据库做任何更改，只需要能够读取数据库中的数据的权限即可。支持海量数据直接抽取、过滤、转换、转移，同时也支持海量数据分片、分层抽取。采用取数单线程、多线程和多JOB结合应用，中间处理按照规则设置进行数据转换并存储到目标服务器，采用多线程方式读写，优化了整个海量数据处理流程，同时平台具备断点续传、容错、异常保护等功能，保证数据处理的完整性和准确性。



2.2.5  平台其他功能



1）FTP文件下载并把数据存入目标数据库功能
    FTP文件下载导入数据库因为涉及数据转换规则，因此需要在2.2.3信息交换处理UI进行配置。文件下载下来需要先解压缩、解密，转换为XML格式数据并按照规则进行转换后存入数据库中。由平台自动在后台运行。
2）FTP 文件直接下载、上传
    对于不需要进入数据库，只需要进行归档的文件，可直接进行FTP传输。传输前文件会进行加密、压缩处理，上传后文件会进行解压缩、解密处理。
    配置好信息源后，可配置FTP上传和下载的源和目标实体，中间不进行转换。
    文件在源头先进行加密、压缩处理，然后下载下来并上传到目标服务器。
3) 文件压缩/解压缩
    文件压缩为：ZIP格式。用于优化网络负载和带宽，提高平台处理性能。文件到本地服务器后，平台会根据配置自动解压缩文件。
4） 文件数据加密/解密功能
    文件传输过程中，为了数据安全，采用数据加密传输方式。
5） XML文件导入目标数据库中
    对于XML文件直接导入目标数据中，因不需要数据转换规则，因此可直接用于FTP直传相同的处理画面设置源路径和目标数据库即可。