数据采集解决方案

多源实时数据采集

支持基于http、https的报文数据采集，基于kafka的流式数据采集，基于数据库实时增量数据采集，基于物联网的数据采集，基于flume、logstash等开源插件的数据采集。

采集Agent灵活配置

支持Agent标准配置、高级配置等多种灵活配置，包括传输批次数据量、本地缓存方式、缓存大小、多种日志匹配模式等配置内容；支持单Agent灵活配置同时实施采集多个数据源。提供在数据采集端开发新算子的能力；支持采集端嵌入数据清洗过滤等规则的能力。

采集过程可监控

支持灵活配置监控维度、指标，通过多维度图表展示采集数据情况；支持配置采集告警；支持对采集Agent的CPU使用率，内存使用率、磁盘空间使用率进行控制。

传输控制保障

支持数据增量传输、断点续传、自动重试，保障数据传输不丢不重；支持传输过程中透明的加密和压缩传输机制；支持传输限速、智能链路选择。

采集同时实现数据清洗

支持灵活配置数据检核、过滤、加解密，在数据采集同时实现数据清洗，保障入库数据质量。