数据装载工具(ETL)设计(Extract Transform Load)[2]

[入库:2005年8月18日] [更新:2007年3月24日]

本文简介:选择自 yun15291li 的 blog

映射(mapping ---  将数据文件中的各段内容与预处理库中的字段进行对应,在对应过程中支持合并、拆分、字串截取等操作。

过滤(filter    ---  对指定字段中的内容进行替换、删除、判断不等于某值时替换、判断等于某值时替换等操作。

3.系统描述

系统采用图形界面进行配置,其主要工作流程分为两大部分:分别为预处理部分和处理部分。预处理部分工作流程为:首先将各种格式的数据文件通过预定义的分析器(parser)进行格式统一转换。根据转换后的数据文件的结构(格式)在系统中生成预处理表(prd),然后根据业务规则对该结构进行一定的转换(transformation)其中包括字段映射(mapping)及字段内容过滤(filter)操作,最后将数据文件中的相应内容按照映射关系和过滤规则添加到生成的预处理表中,并记录日志。至此预处理部分结束。在预处理部分中每个阶段都有其相应的模板,设置时可直接选择其相应模板即可完成设置工作。

处理部分工作流程为:首先选定源数据库即(预处理库),选定目的数据库即(采购交接库,加工库),然后选择装库规则(预先定义好的adaptor配置文件)最后设置日志信息。在此阶段可直接选择已定义的模板进行设置。

本文关键:数据装载工具(ETL)设计(Extract Transform Load)
  相关方案
Google
 

本站最佳浏览方式为 分辨率 1024x768 IE 6.0(或更高版本的 IE浏览器)

go top