人社大数据平台

推进人社领域数字化改革，建设人社大数据平台，实现数据资产全周期智能化管理，支撑“人社数字大脑”建设，实现对任务、服务、政策和监管的量化闭环管理，让人社业务数据动起来、用起来、活起来。

人社大数据平台是一个集数据采集、存储、处理、分析、应用为一体的综合性平台。该平台致力于解决人社领域数据资源分散、规模庞大、缺乏统一标准以及管控手段不足等问题。该平台旨在落实部省对数据管理的相关标准和要求，通过收集、整合和分析各类人社相关数据，为政府、企业和社会公众提供全面、准确、及时的数据服务。

解决方案架构

业务架构

大数据平台提供平台工具、制定统一的数据规范与标准，构建全面有效的、切合实际的数据资产加工、管理和服务体系。

通过大数据平台将人社内部的社会保险、就业创业、劳动关系、人事人才和外部的政府数据、互联网数据以及第三方数据采集并存储到数据资源中心，在数据资源中心中进行数据分区处理，通过数据抽取、清洗、对比、质量管理等处理后的数据，形成基础库、主题库用于支撑人社用户的经办、监管、决策。通过平台开放的数据文件接口、数据库接口以及API接口等多种方式对外提供大数据资源、大数据能力、大数据应用等服务。

技术架构

1、数据源层

大数据平台的数据来源于离线数据、近似实时数据和实时数据三种数据源。

2、计算层

计算层主要的是基于大数据平台组件进行构建，包括底层的分布式文件系统HDFS、基于YARN的编程模型、基于storm的流数据处理模型，基于Hive和Pig的数据分析框架。为了加快计算速度可以采用Spark工具进行内存计算处理。

3、数据层

数据层存储经过计算后产生的数据资产，可以采用传统的结构化数据库、非结构化数据库和内存数据库来存储这些数据资产。

4、数据访问层

包括接入系统管理、接口调用管理、调用权限管理、实现对大数据平台的应用接入管理。

解决方案优势特性

建立健全人社数据管理体系需求

人社大数据提供数据整合、数据治理、数据服务、数据资产、数据安全等方面的能力，以支撑建立健全人社数据管理体系的需求，推动人社领域的数字化转型。

建立健全人社数据管理体系的需求是多方面的，包括提高数据质量和准确性、加强数据安全和隐私保护、实现数据共享和协同以及提升人社服务的质量和效率等。这些需求的满足将有助于推动人社领域的数字化转型和智能化发展。

数据资产使用情况的可视化展示

了解数据资产的使用情况可以更好的理解数据资产价值和作用，为提升业务效率和制定科学决策提供有力支撑。

提供两种技术路线，满足不同数据的存储与计算场景

人社大数据平台下的大数据存储和计算的技术路线有以下两种：一是湖仓一体平台统一管理不同格式数据，兼具数据湖与数仓优势；二是数据仓库架构专注于结构化数据的存储和计算。两种架构各有优势,可以根据数据规模和场景进行选择。

湖仓一体架构，适用于省级规模数据。湖仓一体平台将数据湖和数据仓库相结合，集成了数据湖和数仓的功能，实现了数据的统一管理和查询。既可以支持日志等非结构化和半结构化的数据存储，也可以支持结构化数据的处理和快速查询，支持流批一体计算，支持数据仓库数据集市建设，支持数据存储备份。数据湖通过存储多种不同来源和格式的数据，可以为数据仓库提供补充，将更多类型的数据集成到数据仓库中。适用于省级规模数据的存储和计算场景。

数据仓库架构，适用于市级规模结构化数据。使用MPP数据库作为数据存储和处理的底座，支持结构化数据的高速查询和分析，支持数据仓库数据集市建设。适用于市级规模数据的结构化数据存储和计算的场景。

典型案例

• 吉林人社大数据平台
• 陕西人社大数据平台
• 安徽人社大数据平台
• 长沙人社大数据平台