数据集成

为用户提供高效的数据核验、同步、整合、加工等能力,极大降低数据开发的门槛

    产品信息

    数据集成简介

    数据集成服务是一套离线数据处理的作业模版库,以插件形式使用,为用户提供高效的数据检核、同步、整合、加工等能力,用户通过拖拉拽相关算子即可完成数据的处理,极大降低开发门槛。

    产品特性

    低使用门槛

    向导式、拖拽式的开发方式实现数据计算逻辑设计,零代码开发,降低使用门槛,没有SQL经验的业务人员也能够进行快速的数据逻辑开发。

    极大提高数据质量

    可对无效数据、异常数据等进行去重、清洗、规范,有效防止脏数据、垃圾数据的传播

    丰富的行业经验

    结合多年行业经验,沉淀丰富的数据处理算法

    数据安全合规

    丰富的数据脱敏、加密等转换方式,提高数据安全性

    应用场景

    本地数据迁移上云

    业务类型

    需要数据上云的业务系统

    上云建议

    利用数据集成中的数据同步服务,企业可以快速、低成本地创建面向对象存储、标准数据接口服务(JDBC 适配的数据库)、NoSQL 等多种数据源的数据同步任务,通过调度的周期性任务设置,企业可轻松实现不同数据源的周期性数据接入,大大降低企业本地数据上云门槛。

    数据内容转换

    业务类型

    针对已上云数据

    上云建议

    对数据文件内容进行加解密、脱敏、标准化、分隔符替换、字符集转换、字段筛选等操作以完成内容转换

    相关产品推荐

    贴源数据加工

    业务类型

    已上云业务系统

    上云建议

    使用数据整合功能,用户可将业务系统每日产生的数据快速地进行逻辑整合,生成拉链表、切片表等。减少了复杂逻辑脚本的开发,降低了数据整合处理门槛

    相关产品推荐

    产品功能

    数据检核

    与数据质量的业务规则无缝衔接,对数据进行全方位的规则检核

    数据同步

    实现从源端到目标端数据的数据迁移和流转,包括数据的加载、卸载、复制

    数据整合

    结合行业经验,沉淀丰富的贴源数据处理算法

    • 通常在数据转换、数据同步、数据整合或者数据加工之前进行,与数据质量模块相结合,对数据质量、数据波动情况等进行统计查询,使用户了解数据质量情况。

    数据加工

    使用SQL对库表或者非库表数据进行指标、维度、统计等加工计算