上网日志集中存储平台

提供从采集与装载的数据接入、文件稽核校验、数据解析、清洗转换、索引构建、数据压缩、路由输出、数据重报、采集指标统计等数据流程。实现200MB/S单机采集装载，采集集群每日PB级数据采集装载。

数据按照省份存储到对应省份的集群存储节点上，采用ORC格式存储，压缩格式为SZTD格式，压缩文件按照指定大小拆分为多个文件块分布到集群不同节点上，同时支持多副本存储，保障数据安全可用。

集团统建大数据相关平台上网日志查询、结果上报，上万并发查询2小时反馈，平均单查询达到秒级，单查询命中上报支持百万级别数据量反馈。峰值支持25000条件并发查询能力。

平台开放省端查询服务，满足省内以网络部为主的针对特通、数安、网安等业务场景的使用，支持金库申请，满足涉敏数据操作的安全需求。

平台通过大数据运营监控服务结合数据特点，从采集、查询、存储、告警等多个维度进行态势感知，及时发现异常数据或者服务，提前感知数据量的变化和服务的繁忙程度，为平台实现数字化建设提供更好的运营体验。

配合考核支撑工作，梳理考核流程，确认考核要求，组织人员做考核部署安排，通过预测试，加强巡检，开发辅助工具做好保障工作。考核前配合部侧做数据拨测，收集并验证拨测数据，对数据质量有问题厂家进行通知整改，并校验整改效果。