中文查重原理及算法实例（python）

glory8901

5754人浏览 · 2021-10-25 15:27:39

glory8901 · 2021-10-25 15:27:39 发布

1. simhash的算法原理

https://github.com/1e0ng/simhashhttps://github.com/1e0ng/simhash simhash的中文实现(python) - 简书最近工作上需要处理文本相似度的问题，一共5万多个文档；第一步，是先是要进行颗粒度较粗的，发现基本相似的文档，进行基本的 “聚类”；第二步，针对相似的文档，然后进行详细的比较；...https://www.jianshu.com/p/1187fb7c59c5 GitHub - tianlian0/duplicate-check-sample: 文本查重SDK，可用于论文查重、标书查重、文档查重、作业查重、合同查重、防串标等场景。关联：duplicate checkhttps://github.com/tianlian0/duplicate-check-sample

2. 实战

【NLP】Python实例：基于文本相似度对申报项目进行查重设计 - 伏草惟存 - 博客园关于查重系统很多人并不陌生，无论本科还是硕博毕业都不可避免涉及论文查重问题，这也对学术不正之风起到一定纠正作用。单位主要针对科技项目申报审核，传统的方式人力物力比较大，且伴随季度性的繁重工作，效率不高https://www.cnblogs.com/baiboy/p/check.html

文本相似性处理（好比论文查重）_阿拉斯加大闸蟹的博客-CSDN博客首先介绍simHashsimhash算法分为5个步骤：分词、hash、加权、合并、降维直接给例子，理解的更加生动些吧：https://blog.csdn.net/chinawangfei/article/details/823858421：分词。首先，判断文本分词，形成这个文章的特征单词。然后，形成去掉噪音词的单词序列。最后，为每个分词加上权重。我们假设权重分为5个级别（1~5），比如：“ 美国“51区”雇员称内部有9架飞碟，曾看见灰色外星人 ” ==> 分词后为 “ 美国（4） 51https://blog.csdn.net/singgel/article/details/106575438

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

【论文阅读】Agent 记忆机制（50）：PACE——按下一步预测价值动态分配历史记忆粒度

2048 AI社区

多路视频实时解码推理，是怎么做到“逐帧解码 + AI检测 + 目标框叠加上墙“的？

指挥中心/值班室的可视化上墙把解码、推理、渲染串成一条不卡顿的流水线。

2048 AI社区

告别 Copilot？Codex 本地化部署指南：从原理到实战

Codex 本地化部署为对数据安全有严格要求、或希望深度定制 AI 编程助手的团队提供了可靠方案。相比 Copilot 的开箱即用，本地化部署需要投入更多硬件与运维成本，但换来的是数据自主可控与灵活的定制空间。建议团队先以试点项目验证效果，再逐步扩大使用范围，最终形成适合自身研发体系的 AI 辅助编程基础设施。