数盈离线数据开发平台软件
东软数盈离线数据开发平台是一款分布式、易扩展的一站式数据处理作业开发与调度平台,深度适配大规模数据开发与调度场景,提供包含资源管理、脚本开发、作业开发、任务编排、统一调度和运维监控等全流程核心能力。平台为数据开发人员提供在线脚本开发编辑器,帮助用户针对异构数据存储进行统一的数据处理逻辑开发,支持用户自行组合SQL、MR、Shell等多种类型任务进行作业流程编排,完美对接CDH、HDP、EMR、MRS等多种大数据引擎底座,致力于解决组织数据处理流程中错综复杂的依赖关系,帮助用户攻克大数据开发运维困难、技术门槛高的行业痛点,大幅缩短开发周期、提升数据开发效率。

主要功能
在线开发
- 提供灵活的脚本在线编辑器,支持对国内外主流关系数据库、大数据平台进行DDL和DML操作。
- 支持SQL脚本代码智能提示和调试功能,旨在抹平底层技术差异,以标准化的在线开发模式打造统一作业入口,大幅降低多环境切换成本。
- 支持AI辅助数据开发能力,可通过自然语言快速生成数据开发SQL,同时支持AI辅助SQL优化与SQL纠错,全方位辅助开发人员快速完成开发任务。
作业编排
- 提供可视化图形化的数据处理流程设计器,能以拖、拉、拽的方式对作业流程DAG图(有向无环图)进行任意的编排和组合。
- 内置丰富的作业编排组件,常见如离线采集、数据质量、SQL、Shell、PYTHON、PROCEDURE、Spark、MR、HTTP等数据计算组件,及子作业、条件分支、状态分支、条件监听、依赖分支等控制组件,满足组织复杂作业编排需求。
运行监控
- 提供统一的智能流程调度引擎,可根据系统资源情况对作业执行进行智能流程控制。
- 支持对已经发布的作业进行手动运行、停止、查看日志等操作。
- 支持对于已经执行过的作业,提供查看最近一次运行状态,支持对作业的多次运行实例进行查看,可精准查看每次实例中不同的任务的执行状态和执行日志,实现作业运行全追溯。
核心优势
提供AI智能开发引擎,支持智能化SQL生成、优化及语法纠错能力,大幅提升数据开发效率,降低技术门槛。
具备灵活易用的组件关系编辑器,支持图形化调试,作业编排可视化。
兼容40多多款国产化数据库,提供脚本快速开发编辑器与数据调试功能。
成功案例与荣誉
智慧卫健:常州市大数据局超融合大数据管理服务平台
当下各级政府正在如火如荼地推进智慧城市建设,大数据无疑是智慧城市建设的关键核心。从各地智慧城市建设的具体实践来看,最大的痛点和瓶颈正是高质量数据的匮乏,智能化决策难以获得充足的、高质量的数据支持,导致智慧城市建设出现“有城市无智慧”的现象。而各级各部门数据相对独立,未通过有效的办法进行规范整合,无法实现数据共享,更是加剧了这一问题。常州市原有大数据平台在使用中,无法提供复杂数据加工和大数据处理的能力,缺乏统一的数据处理流程调度管控,导致无法进行更深程度的数据挖掘,进而释放更高价值的政府共享数据,已经不能满足现有智慧城市建设的应用要求。
常州市大数据局依托东软数盈离线数据开发平台,构建了基于离线数据开发平台为基础的超融合一体化大数据管理服务平台,实现了政府数据高效、持续的共享和应用,旨在充分发挥数据中蕴含的更高价值,并快速实现业务赋能和应用创新。本项目以“数据资产化、资产服务化”为核心建设理念,将人社、医保、公安等多个部门的核心数据进行全面采集和统一纳管,经过数据标准化、数据开发等治理过程后形成核心资源库。自平台上线以来,已成功完成与40余个部门上百亿余条数据的归集工作,并经清洗、治理、编目后提供了人口、法人、信用、地理影像、电子证照五大基础库以及2000余类政务数据资源。同时,平台设立的数据湖创新实验室进一步促进了创新数据产品的开发,加强了数据应用服务支撑能力和数据要素价值化,使常州市在全国范围内实现了数据资源汇集、共享、开放和应用的领先地位。
辽公网安备 21011202000133号

