数据采集为全面数据安全管理

随着信息技术飞速发展，信息系统得到广泛和深入的应用，信息化建设加速发展，国家以及各行业、企业步入大数据时代。而数据作为信息化建设的核心，支撑业务的正常运作，重要性愈加凸显，对企业业务影响力越来越大的同时，所面临的的安全威胁和挑战也越来越多。

数据安全能力建设已成为国家以及各行业、企业的工作重点。其中，数据采集作为数据生命周期安全管理的第一阶段，对实现数据安全管理起到重要作用。

数据采集作为数据安全建设的第一步，需将分布在各业务系统中的用户行为数据、业务支撑数据、安全事件等数据信息进行采集、存储，为后续的数据审计、分析、挖掘以及安全运营等提供数据支撑。因此，构建以大数据技术为基础的数据采集系统势在必行，成为各企业的共同选择。

明朝万达自主研发的数据采集分析系统通过采集探针、采集代理在信息系统上集中采集分析系统运行的日志、状态、安全事件、业务系统数据、用户操作行为等各类信息，经过提取、转换、清洗、比对、丰富、去重等规范化处理后，以统一格式的日志形式进行集中存储和管理。

1、数据源支持应用系统、网络、协议、数据库（结构化以及非结构化类型数据库）、脚本、文件等，并支持从数据队列等大数据组件中进行数据采集。

2、采集探针以及采集代理连接对应的数据源，依据数据源种类不同下发对应的采集策略，例如文件通配符、JDBC、协议采集等。采集探针支持多平台，且支持不同CPU架构上运行，并且控制采集探针运行期间的资源占用。同时系统支持对采集探针的状态进行监控管理，可感知采集速率、采集总数及发送总数。

3、采集的数据进入数据缓冲区，对数据进行预处理，同时减少海量日志对系统的冲击。数据解析规则支持样本解析，并结合元数据管理以及数据校验规则对数据进行过滤、清洗、封装、转换、映射以及转义。针对数据含义不完整的场景，可选对数据通过数据埋点、基础信息补全、关联字段等进行补全，为后续的业务处理提供支撑。

4、经过完整处理后的数据进入数据存储层的日志仓库。