大数据开发解决方案

一站式云上大数据应用开发及上线部署

 

方案简介

提供包括数据采集、数据集成、数据开发、沙盒测试、灰度部署等在内的一站式大数据开发环境,帮助客户实现快速、自动、便捷的开发、测试、运维全链路过程。 提供租户级别的安全管理机制。让用户拥有丰富多样、细粒度的数据权限管理能力;提供开发/生产隔离机制,帮助用户在开发过程随时进行代码调试;提供拖拽式的界面开发、在线代码编辑、以及版本管理功能,为用户提供简易、高效的程序开发组件,提升用户的程序开发效率;集成了多种编程语言的代码工具集,支持各种计算引擎以及常用的Hadoop、Spark、HIVE等大数据产品的开发。
 

方案优势

  • 快速创建开发环境

    支持在线租户创建、租户资源配额、资源使用监控、租户成员管理等,以及用户的基本信息、用户群组、用户角色管理、权限管理等,快速创建项目开发环境

  • 多开发语言和计算引擎

    支持包括python、perl、shell、scala、R等在内的多语言代码开发;支持实时/流计算脚本开发;支持各类计算引擎,包括MR、MPP、SPARK、SPARK STREAMING、HIVE、HBASE等

  • 可视化开发模式

    支持使用可视化开发IDE中提供的套件,通过拖拉拽的方式形成加工逻辑,并自动转换成脚本;支持UDF开发,且以插件方式增加到开发套件库中;支持在通过表单式交互,在元数据的基础上,添加必要的字段级映射和表级映射,生成加工脚本。支持可视化的任务编排和调度配置

  • 丰富工具箱和算法库

    支持Python,R, Scala等SDK;支持代码语法扫描和数据权限检查;支持常用的算法库,包括面向金融领域的通用算法库、面向IOT的通用算法库、面向知识库构建的通用工具库等

  • 沙箱测试和快速部署

    支持独立的测试环境,与生产环境隔离,保证生产数据安全;支持离线和实时的工作流测试运行,线上数据环境无缝切换到测试环境;可实时监控测试任务状态和测试结果。具备线上环境管控、滚动升级支持、灰度发布、A/B Test、监控配置管理、服务发现与注册以及日志收集分析等功能

 

应用场景

场景一

数据应用开发

应用系统基于大数据开发平台提供的通用能力,高效创建各类数据应用,实现敏捷开发。

特点:

一站式大数据开发、测试、运维门户,提升开发效率

同时支持向导式和脚本式开发,根据需求灵活切换

丰富的开发框架支持,满足各类数据应用开发需求

具备项目管理工具,有效支持团队协作开发