One-Hot编码 + 相似度计算：余弦相似度 vs. 欧氏距离

1. 核心概念

注意：$sim$就是余弦$cos(\theta )$，$sim$是cosine similarity的缩写，sklearn中相关方法也叫这个名字，如下所示

from sklearn.metrics.pairwise import cosine_similarity
sim = cosine_similarity([A], [B])  # 直接使用函数名

2. 具体对比（以文本"苹果 香蕉" vs "苹果 橘子"为例）

• One-Hot 编码：将每个词表示为长度为词汇表大小的二进制向量（词对应的位置为1，其余为0）。
  • 示例：词汇表 ["苹果", "香蕉", "橘子"]
    • “苹果” → [1, 0, 0]
    • “香蕉” → [0, 1, 0]
• 文本向量化：将文本中所有词的 One-Hot 向量相加（或取逻辑“或”），得到文本的二进制向量。
  • 示例：文本 “苹果 香蕉” → [1, 1, 0]

3. 关键问题：为什么选择余弦相似度？

1. 方向优于距离
   • 文本相似度应关注词的重叠程度（方向），而非绝对坐标差异。
   • 例：$[1,1,0]$和$[1,0,1]$的欧氏距离与$[0,1,0]$和$[0,0,1]$相同，但前者因共享"苹果"更相似。
2. 归一化友好
   • 余弦相似度天然归一化到$[0,1]$，而欧氏距离需人工调整（如$1/(1+d)$）。
3. 稀疏向量适配性
   • One-Hot向量维度=词汇表大小（通常数万维），余弦相似度忽略0值维度，计算更高效。

4. 改进方案总结

最终总结

结论：在文本相似度任务中，余弦相似度因其方向敏感性和归一化特性，几乎总是优于欧氏距离。优先选择 TF-IDF + 余弦相似度 或 预训练词嵌入模型。

附录：完整代码

# 导入必要库
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity, euclidean_distances
import numpy as np

# 示例文本
texts = ["苹果 香蕉", "苹果 橘子"]

# ======================
# 方法1：One-Hot + 余弦相似度
# ======================
print("\n=== One-Hot + 余弦相似度 ===")
onehot_vectorizer = CountVectorizer(binary=True)
onehot_vectors = onehot_vectorizer.fit_transform(texts).toarray()

print("词汇表:", onehot_vectorizer.get_feature_names_out())
print("文本1向量:", onehot_vectors[0])
print("文本2向量:", onehot_vectors[1])

cos_sim = cosine_similarity(onehot_vectors[0:1], onehot_vectors[1:2])[0][0]
print("余弦相似度:", round(cos_sim, 4))

# ======================
# 方法2：One-Hot + 欧氏距离
# ======================
print("\n=== One-Hot + 欧氏距离 ===")
euclidean_dist = euclidean_distances(onehot_vectors[0:1], onehot_vectors[1:2])[0][0]
normalized_sim = 1 / (1 + euclidean_dist)  # 距离转相似度
print("欧氏距离:", round(euclidean_dist, 4))
print("归一化相似度:", round(normalized_sim, 4))

# ======================
# 方法3：TF-IDF + 余弦相似度（推荐）
# ======================
print("\n=== TF-IDF + 余弦相似度 ===")
tfidf_vectorizer = TfidfVectorizer()
tfidf_vectors = tfidf_vectorizer.fit_transform(texts)

print("词汇表:", tfidf_vectorizer.get_feature_names_out())
print("文本1向量:", tfidf_vectors[0].toarray())
print("文本2向量:", tfidf_vectors[1].toarray())

tfidf_cos_sim = cosine_similarity(tfidf_vectors[0:1], tfidf_vectors[1:2])[0][0]
print("余弦相似度:", round(tfidf_cos_sim, 4))

# ======================
# 方法4：BERT语义相似度（需安装sentence-transformers）
# ======================
try:
    from sentence_transformers import SentenceTransformer
    print("\n=== BERT语义相似度 ===")
    model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
    embeddings = model.encode(texts)
    bert_sim = cosine_similarity(embeddings[0:1], embeddings[1:2])[0][0]
    print("BERT相似度:", round(bert_sim, 4))
except ImportError:
    print("\n(如需运行BERT示例，请安装sentence-transformers库)")