目前AI论文查重都有哪些算法？

原理：将文本分割为连续的N个词（或字符）组成的片段，通过统计重叠片段数量计算相似度。

优点：实现简单、计算效率高、对复制粘贴检测效果好。

缺点：无法识别同义词替换、句式变换等高级改写行为。

典型应用：早期查重系统的基础算法之一。

原理：使用TF-IDF算法提取文档关键词权重，构建向量空间模型，通过余弦相似度计算文档间相似性。

• TF (词频)：词语在文档中出现的频率
• IDF (逆文档频率)：衡量词语区分能力的指标
• 余弦相似度：计算两个向量夹角的余弦值作为相似度

优势：能较好地反映文档的主题相似性。

(1) Word2Vec/Sentence-BERT

将词语或句子映射到低维向量空间，通过向量距离判断语义相似度。能够识别"人工智能"与"AI"等同义表达。

(2) SimHash

生成文档的指纹哈希值，通过汉明距离快速判断文档相似度，适合大规模文本去重。

主流架构：

• BERT-based 模型：利用预训练语言模型理解上下文语义
• Siamese 网络：双塔结构分别编码两篇文档，比较输出向量
• Transformer 架构：捕捉长距离依赖关系，提升语义理解能力

特点：能识别复杂改写、翻译抄袭、概念抄袭等高级学术不端行为。

结合文本、公式、图表等多种信息进行综合判断：

• LaTeX公式相似度检测
• 图像内容识别与比对
• 参考文献网络分析
• 写作风格特征提取

代表系统：Crossref Similarity Check、iThenticate等商业查重平台。