推进人社领域数字化改革,建设人社大数据平台,实现数据资产全周期智能化管理,支撑“人社数字大脑”建设,实现对任务、服务、政策和监管的量化闭环管理,让人社业务数据动起来、用起来、活起来。

人社大数据平台是一个集数据采集、存储、处理、分析、应用为一体的综合性平台。该平台致力于解决人社领域数据资源分散、规模庞大、缺乏统一标准以及管控手段不足等问题。该平台旨在落实部省对数据管理的相关标准和要求,通过收集、整合和分析各类人社相关数据,为政府、企业和社会公众提供全面、准确、及时的数据服务。

解决方案架构

大数据平台提供平台工具、制定统一的数据规范与标准,构建全面有效的、切合实际的数据资产加工、管理和服务体系。

通过大数据平台将人社内部的社会保险、就业创业、劳动关系、人事人才和外部的政府数据、互联网数据以及第三方数据采集并存储到数据资源中心,在数据资源中心中进行数据分区处理,通过数据抽取、清洗、对比、质量管理等处理后的数据,形成基础库、主题库用于支撑人社用户的经办、监管、决策。通过平台开放的数据文件接口、数据库接口以及API接口等多种方式对外提供大数据资源、大数据能力、大数据应用等服务。

1、数据源层

大数据平台的数据来源于离线数据、近似实时数据和实时数据三种数据源。

2、计算层

计算层主要的是基于大数据平台组件进行构建,包括底层的分布式文件系统HDFS、基于YARN的编程模型、基于storm的流数据处理模型,基于Hive和Pig的数据分析框架。为了加快计算速度可以采用Spark工具进行内存计算处理。

3、数据层

数据层存储经过计算后产生的数据资产,可以采用传统的结构化数据库、非结构化数据库和内存数据库来存储这些数据资产。

4、数据访问层

包括接入系统管理、接口调用管理、调用权限管理、实现对大数据平台的应用接入管理。

解决方案优势特性

人社大数据提供数据整合、数据治理、数据服务、数据资产、数据安全等方面的能力,以支撑建立健全人社数据管理体系的需求,推动人社领域的数字化转型。

具备强大的数据整合和共享能力,能够将来自不同部门、不同系统、不同格式的数据进行有效的整合和共享,提高数据的可用性和可访问性。

通过系统能够建立完善的数据治理和管控机制,包括数据质量管理、数据安全管理和数据标准管理等,确保数据的合规性和规范性。

提供高效、稳定、安全的数据服务,包括数据查询、数据数据分析等,满足不同部门和不同用户的需求。

系统提供完善的数据资产管理机制,确保数据的资产化和价值化。同时,需要提供数据资产管理工具,方便进行数据资产的管理和应用。

建立完善的数据安全和隐私保护机制,包括数据加密、数据备份、数据访问权限控制等,确保数据的保密性、完整性和可用性。同时,需要加强用户身份认证和权限控制,防止数据泄露和滥用。

系统功能扩充时应不影响现有系统功能和结构,能够方便后续其他系统模块的扩展。同时当系统数据量和访问量增大而导致系统配置不能满足要求时,可以通过仅增加服务器等硬件进行解决,而不是在软件上做修改。

建立健全人社数据管理体系的需求是多方面的,包括提高数据质量和准确性、加强数据安全和隐私保护、实现数据共享和协同以及提升人社服务的质量和效率等。这些需求的满足将有助于推动人社领域的数字化转型和智能化发展。

了解数据资产的使用情况可以更好的理解数据资产价值和作用,为提升业务效率和制定科学决策提供有力支撑。

根据不同部门需求,可以定制不同的展示内容和形式。例如,可以针对不同的业务部门提供定制化的数据报告或仪表板,以满足他们特定的数据需求。

为了提高展示效果,可以添加动态图表、过滤器、钻取等功能。这样可以让使用者更加方便地探索和分析数据,从而获得更深入的洞察和理解。

为了确保展示数据的准确性和时效性,需要定期更新和维护数据。

在实现数据展示的同时,还需要关注数据的安全和隐私保护。这可能涉及到制定严格的数据访问权限控制机制,以及采取必要的技术手段来保护数据的安全和隐私。

人社大数据平台下的大数据存储和计算的技术路线有以下两种:一是湖仓一体平台统一管理不同格式数据,兼具数据湖与数仓优势;二是数据仓库架构专注于结构化数据的存储和计算。两种架构各有优势,可以根据数据规模和场景进行选择。

湖仓一体架构,适用于省级规模数据。湖仓一体平台将数据湖和数据仓库相结合,集成了数据湖和数仓的功能,实现了数据的统一管理和查询。既可以支持日志等非结构化和半结构化的数据存储,也可以支持结构化数据的处理和快速查询,支持流批一体计算,支持数据仓库数据集市建设,支持数据存储备份。数据湖通过存储多种不同来源和格式的数据,可以为数据仓库提供补充,将更多类型的数据集成到数据仓库中。适用于省级规模数据的存储和计算场景。

数据仓库架构,适用于市级规模结构化数据。使用MPP数据库作为数据存储和处理的底座,支持结构化数据的高速查询和分析,支持数据仓库数据集市建设。适用于市级规模数据的结构化数据存储和计算的场景。

典型案例

联系我们

欢迎致电4006556789,或通过在线方式与我们联系

close

关闭