全局模式下的深网数据抽取.pdf

第 ３５卷第 ２期　　　 计算机应用与软件 Ｖｏｌ３５ Ｎｏ．２

２０１８年 ２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｆｅｂ．２０

１８

全局模式下的深网数据抽取与挖掘

姚晓鹏

１，２

　高圣兴

３

摘　要　　随着现代信息量的快速增长，深网作为网络数据载体包含了大量数据，因此，对深网数据抽取的研究

关键词　　深网　全局模式　数据抽取　数据挖掘

中图分类号　ＴＰ３０１．６　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．０２．０１６

ＹａｏＸｉａｏｐｅｎｇ

　ＧａｏＳｈｅｎｇｘｉｎｇ

　ＸｕｅＪｕｎｚｈｉ

Ａｂｓｔｒａｃｔ　　Ｗｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｍｏｄｅｒｎｉｎｆｏｒｍａｔｉｏｎ，ｄｅｅｐｗｅｂａｓａｎｅｔｗｏｒｋｄａｔａｃａｒｒｉｅｒｃｏｎｔａｉｎｓａｌａｒｇｅ

ａｍｏｕｎｔｏｆｄａｔａ，ｓｏｉｔｉｓｖｅｒｙｉｍｐｏｒｔａｎｔｔｏｓｔｕｄｙｔｈｅｄｅｅｐｗｅｂｄａｔａｅｘｔｒａｃｔｉｏｎ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｍｅｔｈｏｄｏｆｄａｔａｅｘｔｒａｃｔｉｏｎ

ａｎｄｍｉｎｉｎｇｉｎｇｌｏｂａｌｐａｔｔｅｒｎｗａｓｐｒｏｐｏｓｅｄ．Ｔｈｅｍｅｔｈｏｄａｎａｌｙｚｅｄｔｈｅｐｒｏｐｅｒｔｉｅｓｏｆｔｈｅａｃｔｕａｌｅｘａｍｐｌｅｓ，ｕｓｅｄｔｈｅ

ｉｍｐｒｏｖｅｄＢａｙｅｓｉａｎｂｅｌｉｅｆｎｅｔｗｏｒｋａｌｇｏｒｉｔｈｍ，ｄｅｔｅｒｍｉｎｅｄｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｌａｂｅｌｓ，ａｎｄｃｏｎｓｔｒｕｃｔｅｄａｄｙｎａｍｉｃｇｌｏｂａｌ

ｐａｔｔｅｒｎ．Ｉｔｅｘｔｒａｃｔｅｄａｎｄｉｄｅｎｔｉｆｉｅｄｔｈｅｄａｔａｉｎｔｈｅｒｅｓｕｌｔｐａｇｅ，ｄｅｔｅｃｔｅｄａｎｄｒｅｍｏｖｅｄｔｈｅｕｓｅｌｅｓｓｉｎｆｏｒｍａｔｉｏｎｂａｓｅｄｏｎｔｈｅ

ｄｅｎｓｉｔｙｂａｓｅｄｏｕｔｌｉｅｒｓ．Ｗｅｕｓｅｄｔｈｅａｌｇｏｒｉｔｈｍ ｏｆｍｉｎｉｎｇｔｈｅｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｓｏｆＢｏｏｌｅａｎａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓｔｏｍｉｎｅｔｈｅ

ｄａｔａ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｅｘｔｒａｃｔｅｄｄａｔａａｃｃｕｒａｔｅｌｙ，ｑｕｉｃｋｌｙａｎｄｅｆｆｅｃｔｉｖｅｌｙｃｏｍｐａｒｅｄ

ｗｉｔｈｏｔｈｅｒｍｅｔｈｏｄｓ，ａｎｄｔｈｒｏｕｇｈｔｈｅｄａｔａｍｉｎｉｎｇ，ｔｈｅｄａｔａｉｔｅｍｈａｄｓｔｒｏｎｇｒｅｌｅｖａｎｃｅａｎｄｌｅｓｓｉｎｖａｌｉｄｉｎｆｏｒｍａｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ　　Ｄｅｅｐｗｅｂ　Ｇｌｏｂａｌｓｃｈｅｍａ　Ｄａｔａｅｘｔｒａｃｔｉｏｎ　Ｄａｔａｍｉｎｉｎｇ

深网的研究目前主要分为两个方面：（１）深网的

规模、分布和结构的研究。美国 ＢｒｉｇｈｔＰｌａｎｅｔ公司，专

门从事数据整合和企业信息分析，开发了深网检索平

台工具 ＤＱＭ。此外，还对深网的规模和相关性进行了

研究，并发布了调查白皮书。（２）深网信息搜索中的

关键技术的研究。目前主要的关键技术有 ＤｅｅｐＷｅｂ