东软数盈离线数据开发平台是一款分布式、易扩展的一站式数据处理作业开发与调度平台,深度适配大规模数据开发与调度场景,提供包含资源管理、脚本开发、作业开发、任务编排、统一调度和运维监控等全流程核心能力。平台为数据开发人员提供在线脚本开发编辑器,帮助用户针对异构数据存储进行统一的数据处理逻辑开发,支持用户自行组合SQL、MR、Shell等多种类型任务进行作业流程编排,完美对接CDH、HDP、EMR、MRS等多种大数据引擎底座,致力于解决组织数据处理流程中错综复杂的依赖关系,帮助用户攻克大数据开发运维困难、技术门槛高的行业痛点,大幅缩短开发周期、提升数据开发效率。

主要功能

  • 提供灵活的脚本在线编辑器,支持对国内外主流关系数据库、大数据平台进行DDL和DML操作。
  • 支持SQL脚本代码智能提示和调试功能,旨在抹平底层技术差异,以标准化的在线开发模式打造统一作业入口,大幅降低多环境切换成本。
  • 支持AI辅助数据开发能力,可通过自然语言快速生成数据开发SQL,同时支持AI辅助SQL优化与SQL纠错,全方位辅助开发人员快速完成开发任务。
  • 提供可视化图形化的数据处理流程设计器,能以拖、拉、拽的方式对作业流程DAG图(有向无环图)进行任意的编排和组合。
  • 内置丰富的作业编排组件,常见如离线采集、数据质量、SQL、Shell、PYTHON、PROCEDURE、Spark、MR、HTTP等数据计算组件,及子作业、条件分支、状态分支、条件监听、依赖分支等控制组件,满足组织复杂作业编排需求。
  • 提供统一的智能流程调度引擎,可根据系统资源情况对作业执行进行智能流程控制。
  • 支持对已经发布的作业进行手动运行、停止、查看日志等操作。
  • 支持对于已经执行过的作业,提供查看最近一次运行状态,支持对作业的多次运行实例进行查看,可精准查看每次实例中不同的任务的执行状态和执行日志,实现作业运行全追溯。

核心优势

成功案例与荣誉

当下各级政府正在如火如荼地推进智慧城市建设,大数据无疑是智慧城市建设的关键核心。从各地智慧城市建设的具体实践来看,最大的痛点和瓶颈正是高质量数据的匮乏,智能化决策难以获得充足的、高质量的数据支持,导致智慧城市建设出现“有城市无智慧”的现象。而各级各部门数据相对独立,未通过有效的办法进行规范整合,无法实现数据共享,更是加剧了这一问题。常州市原有大数据平台在使用中,无法提供复杂数据加工和大数据处理的能力,缺乏统一的数据处理流程调度管控,导致无法进行更深程度的数据挖掘,进而释放更高价值的政府共享数据,已经不能满足现有智慧城市建设的应用要求。

常州市大数据局依托东软数盈离线数据开发平台,构建了基于离线数据开发平台为基础的超融合一体化大数据管理服务平台,实现了政府数据高效、持续的共享和应用,旨在充分发挥数据中蕴含的更高价值,并快速实现业务赋能和应用创新。本项目以“数据资产化、资产服务化”为核心建设理念,将人社、医保、公安等多个部门的核心数据进行全面采集和统一纳管,经过数据标准化、数据开发等治理过程后形成核心资源库。自平台上线以来,已成功完成与40余个部门上百亿余条数据的归集工作,并经清洗、治理、编目后提供了人口、法人、信用、地理影像、电子证照五大基础库以及2000余类政务数据资源。同时,平台设立的数据湖创新实验室进一步促进了创新数据产品的开发,加强了数据应用服务支撑能力和数据要素价值化,使常州市在全国范围内实现了数据资源汇集、共享、开放和应用的领先地位。

常见问题

该产品是否支持国产化环境部署?都适配了哪些国产软硬件?

支持全栈国产化环境部署。产品底层架构原生以信创适配为顶层设计,全面兼容国产服务器、国产操作系统、国产中间件、国产数据库全链路软硬件;硬件覆盖鲲鹏、飞腾、海光等国产芯片服务器;系统适配统信、麒麟主流国产操作系统;中间件兼容东方通、金蝶等;数据库适配人大金仓、达梦、南大通用、高斯等国产数据库,可直接对接客户现有信创底座无缝实施交付。

是否可以将产品在全国不同区域、不同行业落地的标杆案例、成熟经验及最佳实践应用到新项目中?

支持任务资产复用。产品积累标准化行业经验资产库,沉淀全国多区域、多赛道成熟标杆方案、业务模板与落地流程,可直接复用成熟落地经验,大幅缩减项目调研、平台搭建周期。

产品使用过程中,会从数据存储、传输、访问权限、防泄露哪些维度保障数据安全,具体如何实现?

搭建全链路一体化数据安全防护体系:①存储层面:数据落地自动加密存储,可对接国产加密机;②传输层面:可SSL/TLS加密传输,防止传输过程数据窃取;③访问权限层面:细粒度分级分权管控,落实三员分立管理,全操作行为日志永久留痕可追溯;④防泄露层面:内置数据脱敏、文件水印溯源、接口访问限流等实时拦截能力,全方位规避数据外泄隐患。

产品整体具备哪些AI智能化能力,可覆盖数据全流程哪些应用场景?

产品依托AI大模型能力,实现数据采集、解析、开发、应用、安全、服务输出全流程智能化赋能。核心包含六大核心能力:一是智能数据采集,在不熟悉原始系统数据结构的情况下,可基于目标数据结构,通过AI智能匹配识别所需的数据表、数据库及各类数据资源,快速完成数据采集;二是非结构化数据解析,针对医疗医嘱等大文本类非结构化数据,依托大模型语义识别能力,智能拆解、提取结构化有效数据,支撑下游业务分析应用;三是配置化MCP服务生成,无需额外开发,平台通过简单配置即可将数据中心数据生成标准化MCP服务,无缝供前端RAG、智能体快速调用使用;四是智能数据开发与纠错,AI自动辅助生成数据处理脚本、智能纠错,大幅提升数据开发人员工作效率;五是AI智能数据分级分类,打破传统人工、固定规则识别模式,通过AI精准智能识别敏感数据,自动按照预设标准完成数据等级划分与分类规整,强化数据安全精细化管控;六是智能问数能力,为年度重点打磨特性,融合问指标、问全量数据双重能力,既支持各类业务指标快速查询,也支持全量明细数据的智能问答查询,极大降低数据使用门槛。

数盈数据资源管理平台是什么产品?核心能力与产品架构包含哪些内容?

数盈数据资源管理平台是东软自研的一站式全生命周期数据处理工具,集数据规划、数据集成、数据治理、数据服务、智能分析、数据资产、平台运维于一体,覆盖数据从接入、加工、管控、应用到价值变现的全流程。平台整体架构包含运行管理中心、数据规划、数据集成、统一数据存储、分析计算引擎、AI分析引擎、数据治理、数据服务、智能分析、数据资产十大核心模块,各模块无缝协同,依托云原生、微服务架构,支持模块化自由装配、智能任务调度,可按需适配不同规模、不同行业的数据建设项目,助力企业搭建自助式、智能化的数据应用体系。

部署数盈数据资源管理平台,能为客户带来哪些核心业务价值与能力提升?

平台可全方位助力客户实现数字化、数智化升级,核心价值覆盖六大维度:一是整合全域数据资源,打破部门、系统、地域数据孤岛,汇聚异构数据,构建统一数据资产目录,实现数据集中管控、可视可查;二是全面提升数据质量,通过数据标准化、清洗校验、质量稽核、问题整改闭环,保障数据准确、完整、一致、时效,盘活数据资产价值;三是支撑实时精准决策,支持秒级实时数据采集与分析,告别传统经验式决策,以数据驱动业务研判;四是快速响应业务需求,适配新项目、新业务的数据支撑需求,缩短业务开发迭代周期,优化业务流程、补齐流程瓶颈;五是实现数据共享协同,打通跨部门数据壁垒,避免重复建设,节约人力、硬件、时间成本,提升组织协同效率;六是严控运营与数据风险,通过实时监测、风险预警、分级管控、脱敏防护等能力,防范合规、业务、数据安全风险,保障业务平稳合规运行。

数盈数据资源管理平台可适配哪些行业?核心落地应用场景有哪些?

平台适配多行业全域数字化建设,广泛应用于人社、医保、智慧城市、政务服务、教育、卫健、医疗、运营商、能源、金融、民航、文化传媒、环保、智能制造等主流行业。核心落地场景包含:全域数据集成汇聚、标准化数据治理、数据安全与隐私保护、高效数据服务共享、实时数据监控分析、数据资产运营六大共性场景。同时可适配行业专属场景,如智慧城市全域数据统筹、人社数智指挥决策、医院科研数据治理、企业数字化转型数据赋能等,可根据行业特性提供定制化场景化解决方案。

联系我们

欢迎致电4006556789,或通过在线方式与我们联系

close

关闭