mysql大文本中文相似度

很多用过ElasticSearch的人都知道，es检索的效率相对较好，可以在海量的数据中实现秒级检索，并给出相关的评分。很多小伙伴可能会有疑问，底层实现使用的mysql、tidb、oceanbase等数据库嘛？答案是否定，这些数据库或许可以完成检索，但很难实现评分计算。也有小伙伴疑惑，评分是什么？简单来说，评分是指查询的内容与检索到的文档的相似度

下面让我们 一起来了解一下评分是如何计算的？本文我们先探索一下最简单的相似度计算：余弦相似度算法，

余弦相似度计算的步骤主要有以下几步：

假设查询语句为q，待匹配的文档为d

余弦函数的取值范围为：[-1,1]。行文本相似度度量时，使用正区间[0,1]，0表示“完全不同”，1表示“完全相同”。

文本1: 我今天去打网球，然后去打橄榄球。

文本2: 我明天去吃火锅，然后去打篮球。

分词集合

我

今天

明天

去

吃

打

然后

网球

橄榄球

篮球

火锅

文本1

1

1

1

1

1

1

1

文本2

1

1

1

1

1

1

1

1

分词集合

我

今天

明天

去

吃

打

然后

网球

橄榄球

篮球

火锅

文本1

1

1

2

2

1

1

1

文本2

1

1

2

1

1

1

1

1

计算结果约为：0.727