日期:2014-05-17  浏览次数:20475 次

每天定时调用接口传输5万条数据。这个需要什么技术呢?新手,求思路和关键词~~谢谢
每天定时调用接口传输5万条数据。这个需要什么技术呢?新手,求思路和关键词~~谢谢
------最佳解决方案--------------------
引用:
每天定时调用接口传输5万条数据。这个需要什么技术呢?新手,求思路和关键词~~谢谢
如果只抽一次,那倒没所谓。如果你的定时是间隔很短,那很占带宽。以前晚上一次导入300万数据都没啥问题。所以应该不用什么特殊处理
------其他解决方案--------------------
一条一条估计没多久就出问题了。我们当时是导出300万到一个txt,然后传过去再用DTS导入这个txt
------其他解决方案--------------------

--如果你能一次性把你要插入的数据组织好,那就一次性插入吧,搞成job,作业都行
insert into
          FROM OpenDataSource('sqloledb', 'Data  Source= "*.*.*.*";User ID=sa;Password=***').[DEVTEST].[dbo].[Person]) 
       (SELECT *
          FROM OpenDataSource('sqloledb', 'Data  Source= *.*.*.*";User ID=sa;Password=123qwe!@#').[MyTestDataBase].[dbo].[Person1]) 


------其他解决方案--------------------
引用:
DTS这种方法可能不被批准,我们有规定跨系统的数据传输都要通过 ESB企业服务总线


LZ方法路径都定了,只要依循esb的要求即可。5万左右的数据量并不是很大,关键看跟现有业务是否有冲突,
无冲突直传即可。 有冲突,可以考虑压缩.
------其他解决方案--------------------
业务有规定要就按照业务要求处理,定时传数据数据量不大的话没什么特殊要求
------其他解决方案--------------------
5万数据也不多,直接传 问题应该不大
如果量大的话 可以考虑先把数据压缩后传输,解压查看。
------其他解决方案--------------------
那这些数据具体怎么传有哪些方式呢,是一条一条传5万次,还是说别的方法?是不是可以写在job里?
------其他解决方案--------------------
DTS这种方法可能不被批准,我们有规定跨系统的数据传输都要通过 ESB企业服务总线