数据采集系统支持对结构化数据、非结构化数据、网页互联网数据的抓取/抽取、清洗、转换、集成并加载到数据仓库中进行统一处理，实现从高速、海量、多样、无序的数据中提取有价值的信息，并发现其主要特征，将数据转换成后续可用的信息。

　　　产品特点

l 集群化：采用多节点冗余设计，集群服务间自动监视并进行主从备份，支持动态服务节点的添加。

l 跨平台：支持Linux、windows、unix等主流操作系统，支持国产平台。

l 高并发：支持将用户爬虫任务进行分片，在集群服务进行分片任务处理后进行。

l 多样化：支持对结构化数据、非结构化数据、网页互联网数据的统一处理。