产品功能
站点创建
通过少量、便捷的配置,快速接入各类型的站点进行海量数据采集,支持手动新增和批量导入站点,操作便捷。
任务管理
支持对采集任务的统一管理,自主控制任务的开始与暂停、实时查看任务日志、任务结果,保证采集任务高效、高质进行。
智能发现
通过先进算法对采集过程中发现的新站点进行打分评级,判断是否进一步采集,实现采集站点不间断自动更新,保证数据活力
专题采集
支持面向谷歌、百度等平台的关键字采集和面向维基百科的专题词条采集,满足不同场景、不同专题的数据采集需求。
智能解析
支持采集内容的智能解析,无需配置解析规则,通过先进的算法技术直接完成采集内容自动解析,使用方便,快速上手。
异常监控
支持对站点、任务、服务等进行24h不间断监控,及时上报异常问题,可视化统计分析异常情况,保证采数据采集安全稳定进行。
数据管理
支持对采集数据进行统一管理,支持通过类型、语言、国家、关键词等条件进行数据过滤查询,支持数据详情查看、数据批量导出。
内容订阅
支持用户进行采集内容订阅、配置订阅专题、推送频次等,及时、精确地将采集数据传递给订阅用户。
应用场景
知识构建
将定向采集的海量数据进行清洗、分类、标注等处理,形成专项知识
搜索引擎
数据采集系统作为搜索较底层的模块,为整个搜索引擎提供必要的海量数据支撑
数据供应
多领域、多类别的采集数据经过滤、清洗,沉淀,可为客户提供各类场景所需的数据支持
产品特点
智能化
一键便捷配置各类型站点、算法智能解析采集内容
多语言
支持全球范围内80种语言类型的防务领域数据采集
多类型
支持国内外多类型站点采集,包括新闻网页、微博、维基百科、推特、facebook等类型站点的采集
多模态
支持多模态数据的采集和存储,数据类型包括文字、图片、视频、音频、文献等