SYN同步作业配置过程

发布 2022-06-28 03:29:28 阅读 2300

syn同步作业配置流程:(以tb_mid_bll_gg_user_day为例)

特别声明:现在的配置都是测试的配置,完全为测试服务,只有上线时候才会配置完全正式版本,修改起来非常简单,文档中都已经说明,请大家熟知!

首先新建作业,作业名字为syn_mid_bll_gg_user_day,所有同步作业都以syn打头。

目录配置为自己需要开发目标,poc为td开发的目录。

然后作业配置。

作业配置分为4个步骤。

1. td端清空临时表和错误表,配置登陆信息为tddtetl,而且建表一定要建立成no primary index 的表,预防重复数据的剔除,不带分区!同步库为pte***,同步只能是空表。

例子:create table $.syn_mid_bll_gg_user_day

as (select * from $.tb_mid_bll_gg_user_day ) with no data no primary index;

配置信息完成记得一定要点击保存,才会生效。

2.数据同步,登陆信息无需配置,注意,gg表示没有中文字段的,有中文字段的需要加参数。

-无中文字段举例。

insert into

databasename

tablename

tx_date

load_time

loaded_row_count

error_row_count

select

'pte***','syn_mid_bll_gg_user_day','txdate',current_timestamp(0),sum(loaded_row_count),sum(error_row_count)

from load_to_teradata(

on ( select * from where deal_date='$txdate'::date )

tdpid('sxdw')

username('dtetl')

password('dtetl2013')

target_table(''

error_tables(''

-有中文字段举例。

insert into

databasename

tablename

tx_date

load_time

loaded_row_count

error_row_count

select

'pmid4','tb_mid_par_user_day','20140120',current_timestamp(0),sum(loaded_row_count),sum(error_row_count)

from load_to_teradata(

on ( select * from iconv (on (select * from 'td'))

tdpid('sxdw')

username('dtetl')

password('dtetl2013')

target_table(''

error_tables(''

端作业清洗,配置登陆信息为tddtetl

特别注意:作业测试的时候目标表为pmid4,作业正式上线时候请改成pmid3参数配置。

作业状态修改,地市库作业插入,下游触发作业插入,配置登陆信息为tddwetl

涉及表,测试时候一定不要对正式表操作,以免照成严重的后果。

作业表)同步地市和前端,只有同步地市和同步前端的作业才用)

触发下游)特别注意:由于测试原因,暂时把配置登陆信息为tddtetl,因为他有权限,实际登陆信息为tddwetl!而参数$对应的是td端pte***库,作业正式上线会改成dwetl

4个步骤整体配置完成一定要记得保存。

具体参考syn_mid_bll_gg_user_day,这个作业是按测试流程配置的!上线后会改成正式流程,请大家一定要注意!

第二步的 aster同步表只是开发了临时同步表。

数据100条,实际上同步表正式上线会改正;

详细说明:insert into

databasename

tablename

tx_date

load_time

loaded_row_count

error_row_count

select

'pte***','syn_mid_bll_gg_user_day','txdate',current_timestamp(0),sum(loaded_row_count),sum(error_row_count)

from load_to_teradata(

on ( select * from where deal_date='$txdate'::date )

tdpid('sxdw')

username('dtetl')

password('dtetl2013')

target_table(''

error_tables(''

标蓝的部分会改成。

第三步的插入目标表为测试pmid4,实际为pmid3.正式上线会改正。

-删除历史数据。

delete from where deal_date--删除当前数据。

delete from where deal_date=cast('$txdate' as date format 'yyyymmdd');

-数据插入。

insert into

select * from $.syn_mid_bll_gg_user_day;

-删除临时表。

drop table $.syn_mid_bll_gg_user_day;

标蓝的部分会改成pmid3

第四步的测试配置登陆信息为tddtetl,实际为tddwetl,正式上线会改正。

作业触发设置。

在aster端,实际作业跑完就会触发同步作业,现在先配置好就可以,触发开关已经关闭。

作业上线。前3步作业配置完成,就可以上线作业了。但是,现在的统一是先不上线,先在作业维护中测试通过,然后在上线前把参数配置都改成正式上线的配置,最后上线。

(上线一但完成,将会自动同步!)

备注:一共开发了3个作业,在测试配置下都跑的成功,达到预期效果。

测试每个作业前一定要删除 这个表,否则有可能报错,因为去id的max的值会加1

正式上线需要做:

syn_mid_bll_gg_user_day 需要修改配置信息和参数配置以及同步表。

syn_mid_bll_gg_user_mon需要修改配置信息和参数配置以及同步表,还要配置触发,但考虑到数据量很大,有可能要分作业!

syn_mid_bll_gg_user_mon 需要修改配置信息和参数配置以及同步表,还要配置触发。

风险:触发作业的插入是同一时刻,是否都能触发,需要割接时候在正式库测试一次!

仓库作业设备配置

单元六仓库作业设备配置。项目导向一。石家庄万隆仓储有限责任公司是刚刚注册的一家新公司,公司坐落在石家庄裕华区,主要经营各种螺丝 螺母 螺栓等型号多样的小五金的存储服务。任务驱动 试为该公司配置货架 装卸搬运作业设备。梳理 仓库的作业设备主要有两大类 一是保管作业设备,比如货架 苫垫 托盘 计量设备 ...

资源配置作业指引

1.目的。确保资源统一有序管理,按需配置,节约费用,合理利用,充分发挥资源效能。2.适用范围。公司各类工作资源的配置管理。3.术语和定义。4.职责。4.1.人力资源部是公司资源管理的主管部门,负责对资源配置及管理提出合理化建议,确保满足办公需要,并对各部门资源管理利用情况进行监督检查。4.2.总经理...

电力专业作业队机具配置

名称工程指挥车载重汽车面包车大卡车汽车起重机电力工程车交流发电机电焊机混凝土搅拌机插入式振捣器。规格3t3t7kg1kg2m50m50m100mdx型 38 100mm 38 100mmqbs 单位辆辆辆辆辆辆台台台台辆台台座座组套台台把把把把把把把台台台台台台台台台套套。数量13311313123...