基于DRPKP算法的文本去重研究与应用
【出 处】:
文本去重
段落主题
SimHash
相似度
MapReduce
【作 者】:
俞枫
[1] ;
王引娜
[2]
【摘 要】SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑.基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimHash算法在特定行业文本去重中的不足,创新地提出一种基于段落主题的文本去重方法(简称DRPKP算法),通过对去重准确率、覆盖率和去重时间3个指标进行对比测试,DRPKP算法比SimHash算法准确率可提高24.5%、覆盖率可提高16.34%,且去重时间更短.
相关热词搜索:
上一篇:基于Flash8.0的色彩控制制作
下一篇:互信息在图像检索中的应用