数据装载工具(ETL)设计(Extract Transform Load)[3]

[入库:2005年8月18日] [更新:2007年3月24日]

本文简介:选择自 yun15291li 的 blog

完成以上两部分设置后则最终将数据文件内容按照指定的规则导入到目标数据库中。

以上过程仅仅只是做了整个装库过程的配置步骤说明,在实际装库操作中可直接选择装库模板,此模板为包括每个阶段模板的总模板。可直接选择此模板进行所有各阶段的装库设置,之后点击确定进行装库操作。

 

4.功能实现

系统在装入数据文件时采用外部格式统一方式,选用相应的数据格式解释器(parser)并设置其转换规则将不同格式的数据文件统一转换成同一种数据格式。之后可将设置内容保存为文件格式转换模板进行保存。

将经过格式转换的数据文件导入系统后对数据文件的各段内容与预处理数据库字段之间进行映射操作。并为预处理数据库字段的字段类型进行指定。映射操作中支持字段合并及字段拆分和字段截取操作,分别用符号“+”、“方向箭头”、“substring(字符串开始位置,截取字符数量)来对标识及对对应的操作进行支持。

字段映射操作后,对字段内容进行过滤,过滤操作实现了将指定字段内容进行替换、删除、判断如果等于某个值就替换为某值、如果不等于某值就替换为某值操作。过滤字段(为所有可选择的字段)、字段内容(字段内容的某个值或整个字段)另外还支持将日期格式“04/12/2004”转换成“2004/04/12”等日期格式转换操作。

本文关键:数据装载工具(ETL)设计(Extract Transform Load)
  相关方案
Google
 

本站最佳浏览方式为 分辨率 1024x768 IE 6.0(或更高版本的 IE浏览器)

go top