信息软件

超大规模RDF图数据的划分与并行分布处理方法

发布时间：2019-04-30 14:23 浏览量：次作者：

发明专利/实用新型/：发明授权

简介：本发明公开了一种超大规模RDF 图数据的划分与并行分布处理

方法，包括：对原始的RDF 图数据进行预处理，生成对应的哈希字典

文件和整形三列表数据，并将整形三列表数据转换成关联矩阵M；建

立关联矩阵M 的超图模型，在该超图模型中，M 的主语、谓词和宾语

即为超边，与超边相关的数据即为超边数据；判断该RDF 图数据是连

通图还是非连通图，如果是非连通图，则将该非连通图划分为多个连

通图；基于超图模型，并发的广度遍历并等分放置路径上的超边数据，

将超边数据进行分类排序并等分成K 份放入K 个从节点上，同时建立

超边数据与从节点的映射关系。本发明的划分速度快，划分质量高，

数据和任务负载均衡，查询处理的并行度高、速度快。

完成人：袁平鹏、金海、谢昌凤、罗毅