数盈离线采集平台软件
东软数盈离线采集平台提供可视化ETL配置能力与丰富的智能数据抽取策略,全面兼容国内外主流关系数据库、分布式数据库、结构化/非结构化数据文件、API服务接口及消息中间件,实现组织多源异构数据的统一汇聚与入仓。平台在数据采集环节同步完成数据清洗、转换等加工处理,无需额外环节干预,助力组织快速消除数据孤岛,构建集中、规范、高质量、可用的数据底座,为后续数据分析、数据应用提供坚实的数据基础。


主要功能
图形化拖拽式任务定义
- 提供可视化图形化拖拽工具,支持数据输入、转换、输出控件一键拖拽,直观查看字段及转换节点的映射关系。
- 支持按字段顺序映射、快速批量映射,可直接粘贴Excel映射关系,能基于字段名称/注释相似度自动生成映射。
多种数据抽取方式
- 支持全量、时间戳增量、标志位增量、快照比对增量、抽样等多类型抽取方式,适配组织不同业务场景的数据采集需求。
- 快照比对增量可灵活设置逻辑主键、同步删除目标数据、捕获源表删除数据及源表变化合法阈值,精细化管控增量采集过程。
- AI辅助数据采集,选定目标表后,系统可基于AI算法自动生成采集数据的SQL语句,替代人工编写,提升采集效率,降低技术门槛。
数据转换清洗组件
- 内置60多种转换清洗组件,涵盖拆分、合并、替换、脱敏、加密、连接器等全类型,满足组织多样化数据处理需求。
- 连接器支持跨数据源表关联,脱敏/加密组件可直接选用数据安全模块的规则与算法,实现数据处理与安全的深度融合。
- 搭载AI辅助非结构化数据解析能力,用户输入语义信息后,系统可基于语义从非结构化数据中精准提取业务所需数据,提升非结构化数据利用率。
转换组件扩展
- 支持JS/Java多语言扩展转换组件,可自定义定义输入输出参数及数据类型,适配组织个性化数据处理需求。
- 提供自定义控件在线测试功能,确保自定义组件与系统内置控件使用方式一致。
错误数据处理
- 针对主键重复、字符串超长、非空列空值等常见数据错误情况,可灵活配置抛出异常、存储错误数据、忽略错误数据等处理策略,保障采集任务稳定运行。
动态表名数据采集
- 源表与目标表可按天、月、年递增命名,采集任务可根据系统时间自动识别并采集新增表数据,实现无人值守自动化采集。
文件传输功能
- 全面支持SFTP、FTP、HDFS、S3等主流文件传输协议,可实现文件快速上传、下载,支持配置过滤表达式、实时预览文件。
- 支持文件增量传输、断点续传及变量定义,保障大文件、高频率传输的稳定性与效率性。
核心优势
兼容50+种异构数据源,支持全量、增量等多种离线增量采集方式,兼容SFTP、FTP等多种文件传输协议,一站式满足组织多源数据采集需求。
产品轻量化设计,部署简单、操作便捷,无需复杂环境配置,尤其适配中等体量客户快速落地,实现数据采集能力快速上线。
内置智能采集引擎,支持采集SQL自动生成、非结构化数据智能解析,AI赋能提升采集效率,降低技术门槛。
支持无侵入式高速增量采集,无需在源表新增字段或标记,对组织业务系统无任何干扰,保障业务系统稳定运行。
提供灵活可视化任务编排,支持复杂任务依赖配置、异常数据智能处理、任务恢复、补数与断点续传,保障采集任务稳定、高效运行。
成功案例与荣誉
智慧人社:南京人社数智指挥中心
南京市人社局承担着就业、社保、人才等多项核心政务职责,积极顺应数字化发展趋势,在数字化推进的大背景下,以构建人社数字化底座为核心依托,打造一系列智能化应用场景实现人社工作“智治”。项目核心需求涵盖数智指挥中心对多业务板块数据的统计分析、业务经办大厅实时监控、数据回流、安全监控、数据交互平台分析等,还涉及零工市场智能推荐、多维度数字化画像平台及公共服务等多方面数据分析需求,旨在全面提升人社服务水平与管理效率。
项目依托东软数盈离线采集工具,高效整合省一体化平台回流数据,成功汇聚人社内部10979项数据,外部519项数据,各类数据累计856亿条,实现内外部数据联动融合,通过专业分析研判、归纳应用,有效提升了人社数据的准确性与可用性。在数字化底座的加持下,内部打破各条线业务板块的数据界限,实现全业务数据整合和汇聚,真正达成人社业务“全数据共享、全服务上网”;外部积极与20个市级部门进行数据共享和数据交换,成功实现租房补贴等多个政务服务跨部门“一件事一次办”,通过人社数据能力对外输出,有效助力各部门间业务协同,南京市人社局数据贡献量位列全省前三。
智慧城市:东城区政务大数据平台
北京市东城区科学技术和信息化局肩负贯彻落实国家及北京市科技与信息化政策法规、统筹区域信息化建设等多项核心职责。依据国家及北京市相关文件精神,结合东城区 “十三五” 信息化建设规划,借助区域内完善的基础化设施优势,以推动大数据创新应用为核心导向,东城区启动政务大数据平台建设项目,核心需求包括建设大数据支撑平台、数据资源中心及标准规范体系,打造区域数字化支撑底座;建成目录链系统,梳理三级目录体系;建设领导驾驶舱等智能化应用,完善大数据平台标准规范体系。
项目利用东软数盈离线采集工具,高效完成了街区52家机构近2100项职责目录梳理及系统对接,共收集了全区52个部门(其中包含37个委办局和13个街道)1162项数据资源目录,其中实现了985项数据资源成功挂载。基于采集的数据,整合建设了人口、法人、空间地理等5大基础库,累计汇聚各类政务数据共计3亿多条。数据资源库成功沉淀了全区基础数据、主题数据和高频数据,为整个东城区的大数据应用、政务服务优化和城市管理升级提供了坚实、全面的数据支撑。
常见问题
该产品是否支持国产化环境部署?都适配了哪些国产软硬件?
支持全栈国产化环境部署。产品底层架构原生以信创适配为顶层设计,全面兼容国产服务器、国产操作系统、国产中间件、国产数据库全链路软硬件;硬件覆盖鲲鹏、飞腾、海光等国产芯片服务器;系统适配统信、麒麟主流国产操作系统;中间件兼容东方通、金蝶等;数据库适配人大金仓、达梦、南大通用、高斯等国产数据库,可直接对接客户现有信创底座无缝实施交付。
是否可以将产品在全国不同区域、不同行业落地的标杆案例、成熟经验及最佳实践应用到新项目中?
支持任务资产复用。产品积累标准化行业经验资产库,沉淀全国多区域、多赛道成熟标杆方案、业务模板与落地流程,可直接复用成熟落地经验,大幅缩减项目调研、平台搭建周期。
产品使用过程中,会从数据存储、传输、访问权限、防泄露哪些维度保障数据安全,具体如何实现?
搭建全链路一体化数据安全防护体系:①存储层面:数据落地自动加密存储,可对接国产加密机;②传输层面:可SSL/TLS加密传输,防止传输过程数据窃取;③访问权限层面:细粒度分级分权管控,落实三员分立管理,全操作行为日志永久留痕可追溯;④防泄露层面:内置数据脱敏、文件水印溯源、接口访问限流等实时拦截能力,全方位规避数据外泄隐患。
产品整体具备哪些AI智能化能力,可覆盖数据全流程哪些应用场景?
产品依托AI大模型能力,实现数据采集、解析、开发、应用、安全、服务输出全流程智能化赋能。核心包含六大核心能力:一是智能数据采集,在不熟悉原始系统数据结构的情况下,可基于目标数据结构,通过AI智能匹配识别所需的数据表、数据库及各类数据资源,快速完成数据采集;二是非结构化数据解析,针对医疗医嘱等大文本类非结构化数据,依托大模型语义识别能力,智能拆解、提取结构化有效数据,支撑下游业务分析应用;三是配置化MCP服务生成,无需额外开发,平台通过简单配置即可将数据中心数据生成标准化MCP服务,无缝供前端RAG、智能体快速调用使用;四是智能数据开发与纠错,AI自动辅助生成数据处理脚本、智能纠错,大幅提升数据开发人员工作效率;五是AI智能数据分级分类,打破传统人工、固定规则识别模式,通过AI精准智能识别敏感数据,自动按照预设标准完成数据等级划分与分类规整,强化数据安全精细化管控;六是智能问数能力,为年度重点打磨特性,融合问指标、问全量数据双重能力,既支持各类业务指标快速查询,也支持全量明细数据的智能问答查询,极大降低数据使用门槛。
数盈数据资源管理平台是什么产品?核心能力与产品架构包含哪些内容?
数盈数据资源管理平台是东软自研的一站式全生命周期数据处理工具,集数据规划、数据集成、数据治理、数据服务、智能分析、数据资产、平台运维于一体,覆盖数据从接入、加工、管控、应用到价值变现的全流程。平台整体架构包含运行管理中心、数据规划、数据集成、统一数据存储、分析计算引擎、AI分析引擎、数据治理、数据服务、智能分析、数据资产十大核心模块,各模块无缝协同,依托云原生、微服务架构,支持模块化自由装配、智能任务调度,可按需适配不同规模、不同行业的数据建设项目,助力企业搭建自助式、智能化的数据应用体系。
部署数盈数据资源管理平台,能为客户带来哪些核心业务价值与能力提升?
平台可全方位助力客户实现数字化、数智化升级,核心价值覆盖六大维度:一是整合全域数据资源,打破部门、系统、地域数据孤岛,汇聚异构数据,构建统一数据资产目录,实现数据集中管控、可视可查;二是全面提升数据质量,通过数据标准化、清洗校验、质量稽核、问题整改闭环,保障数据准确、完整、一致、时效,盘活数据资产价值;三是支撑实时精准决策,支持秒级实时数据采集与分析,告别传统经验式决策,以数据驱动业务研判;四是快速响应业务需求,适配新项目、新业务的数据支撑需求,缩短业务开发迭代周期,优化业务流程、补齐流程瓶颈;五是实现数据共享协同,打通跨部门数据壁垒,避免重复建设,节约人力、硬件、时间成本,提升组织协同效率;六是严控运营与数据风险,通过实时监测、风险预警、分级管控、脱敏防护等能力,防范合规、业务、数据安全风险,保障业务平稳合规运行。
数盈数据资源管理平台可适配哪些行业?核心落地应用场景有哪些?
平台适配多行业全域数字化建设,广泛应用于人社、医保、智慧城市、政务服务、教育、卫健、医疗、运营商、能源、金融、民航、文化传媒、环保、智能制造等主流行业。核心落地场景包含:全域数据集成汇聚、标准化数据治理、数据安全与隐私保护、高效数据服务共享、实时数据监控分析、数据资产运营六大共性场景。同时可适配行业专属场景,如智慧城市全域数据统筹、人社数智指挥决策、医院科研数据治理、企业数字化转型数据赋能等,可根据行业特性提供定制化场景化解决方案。
辽公网安备 21011202000133号

