玩转“可视化ETL”，这个BI工具有能力！
2020-03-27 06:41:49   来源：东方头条   

看看一个ETL工程师的吐槽：

ETL工程师 : 我是食物链最底层的苦逼ETL工程师，我会写shell、我会搭hadoop/hive/hbase、会写超复杂逻辑的sql，今天那个不会自己计算数据的BI又让我跑几个数据，我本想让她提需求流程的，但她说这是老板要的(运营惯用的杀手锏！！！)，要加急处理，我只能放下手头的活儿给她跑数据了，花了半个小时把数据跑好给她，希望能就这么交差吧。

如果你以为我每天就做这点事那你就错了，我平时的工作可不仅仅就是完成上面交给我的任务哦，我还负责数据ETL过程、数据建模、定时任务的分配、甚至有时Hadoop集群的维护等等都得我去做，每件事单独拿出来都可以拿出来写本书。就拿ETL过程来说吧，你要把原始数据从各种数据库、各种服务器的不同业务日志归一化到同一类格式，要约定好分隔符，然后导入到分布式文件系统HDFS，甚至你还要和业务系统定义数据格式出规范，数据收集完，你还得出中间表，数据过滤，格式统一，ID统一，维度统一，通过不同的数据现象进行数据，完了，你就得出一些日报周报之类的数据了，这时候你要按照需求把数据组织成一定的格式然后导Mysql、或者HBASE等等。总之你就是需要把数据各种收集、各种处理、然后各种导入导出，是不是很有意思？

说到ETL，我们可以先来了解一下，什么是ETL，百度百科给出的答案是这个：ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

ETL是BI项目中重要的一个环节，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据模型，将数据加载到数据仓库中去，为后续的数据分析提供数据支撑。

市面上最常用的是BI+ETL工具，这样就会造成成本高、花费时间长，亿信华辰ABI就自带ETL，省时省力。包含完整抽取、转换、加载过程，通过简单的拖拽就可以轻松完成ETL过程。

场景应用

1 通过数据清洗加工获取目标数据

场景说明：需要根据已知的基础工资和奖金数据，导出实际工资数据。

步骤一：抽取

拖拽表输入组件到设计面板，从SCOTT数据库抽取EMP表.并可以预览数据

步骤二：转换

拖拽清洗组件，并把奖金字段的NULL值替换成0，具体操作如图。

增加表达式组件，增加工资字段=基础工资+奖金.定义字段为浮点型,字段长度7,精度2。

步骤三：加载

拖拽表输出组件，加载到LE_TE数据库,新建EMP表.还可以预览最终数据。

以上通过亿信ABI,完成了简单的拖拽式ETL过程。2 串联ETL过程

场景说明：抽取到最新的学生信息、成绩信息、课程信息，计算学生总成绩并实现每日数据抽取。

步骤一：制作ETL过程流,拉取学生信息,考试成绩信息,课程信息。

步骤二：通过贴源抽取到最新的学生信息,成绩信息,课程信息.计算学生总成绩。

步骤三：设置调度任务,定时执行ETL过程流。这样，一个串行的ETL过程就完成了。

将ETL工具和BI完美融合的数据分析工具，数亿信ABI最厉害！完美融合，省时省力,提高工作效率！