贵州华云创谷科技有限公司

(4)数据采集系统
产品详情

数据采集系统支持对结构化数据、非结构化数据、网页互联网数据的抓取/抽取、清洗、转换、集成并加载到数据仓库中进行统一处理,实现从高速、海量、多样、无序的数据中提取有价值的信息,并发现其主要特征,将数据转换成后续可用的信息。

   产品特点

l 集群化:采用多节点冗余设计,集群服务间自动监视并进行主从备份,支持动态服务节点的添加。

l 跨平台:支持Linux、windows、unix等主流操作系统,支持国产平台。

l 高并发:支持将用户爬虫任务进行分片,在集群服务进行分片任务处理后进行。

l 多样化:支持对结构化数据、非结构化数据、网页互联网数据的统一处理。


扫描关注华云创谷