BM25检索算法 python

BM25（Best Matching 25）是一种基于文本的检索算法，它被广泛应用于信息检索领域。BM25是Okapi BM模型的一部分，它通过对文档和查询的相关性进行评估，帮助我们找到与查询最相关的文档。BM25算法的优点在于其简单性和效果良好。在这篇文章中，我们将介绍BM25的基本原理，并将其实现为Python中的代码示例。

BM25的基本原理

BM25的核心思想是通过几个参数来计算查询词在文档中的重要性。BM25的公式如下：

[ \text{BM25}(q, d) = \sum_{i=1}^{|q|} \text{IDF}(f_i, n) \cdot \frac{f_i \cdot (k_1 + 1)}{f_i + k_1 \cdot (1 - b + b \cdot \frac{|d|}{\text{avgdl}})} ]

其中：

• ( q ) 是查询。
• ( d ) 是文档。
• ( f_i ) 是词 ( i ) 在文档 ( d ) 中的频率。
• ( n ) 是包含词 ( i ) 的文档总数。
• ( |d| ) 是文档 ( d ) 的字数。
• ( \text{avgdl} ) 是所有文档的平均字数。
• ( k_1 ) 和 ( b ) 是BM25的调节参数，通常 ( k_1 ) 的取值范围是 ( [1.2, 2.0] )，而 ( b ) 的取值范围是 ( [0.5, 0.8] )。
• ( \text{IDF}(f_i, n) ) 是逆文档频率，常用以下公式计算：

[ \text{IDF}(f_i, n) = \log\left(\frac{n - df_i + 0.5}{df_i + 0.5} + 1\right) ]

其中 ( df_i ) 是包含词 ( i ) 的文档数。

Python实现BM25

下面是一个简单的BM25实现，通过Python进行文档检索。

import math
from collections import defaultdict

class BM25:
    def __init__(self, documents):
        self.documents = documents
        self.doc_count = len(documents)
        self.avgdl = sum(len(doc) for doc in documents) / self.doc_count
        self.df = defaultdict(int)
        self.term_frequencies = []

        # 计算df和term frequencies
        for doc in documents:
            tf = defaultdict(int)
            for term in doc:
                tf[term] += 1
                self.df[term] += 1
            self.term_frequencies.append(tf)

    def idf(self, term):
        df_t = self.df[term]
        if df_t == 0:
            return 0
        return math.log((self.doc_count - df_t + 0.5) / (df_t + 0.5) + 1)

    def bm25_score(self, query, k1=1.5, b=0.75):
        scores = []
        for doc in self.term_frequencies:
            score = 0
            doc_len = sum(doc.values())
            for term in query:
                if term in doc:
                    f_t = doc[term]
                    idf_t = self.idf(term)
                    numerator = f_t * (k1 + 1)
                    denominator = f_t + k1 * (1 - b + b * doc_len / self.avgdl)
                    score += idf_t * (numerator / denominator)
            scores.append(score)
        return scores

# 示例文档
documents = [
    ["the", "cat", "in", "the", "hat"],
    ["the", "quick", "brown", "fox"],
    ["the", "lazy", "dog"],
]

# 构造BM25模型
bm25 = BM25(documents)

# 查询
query = ["the", "cat"]
scores = bm25.bm25_score(query)
print("BM25 Scores:", scores)

总结

BM25是一种高效的文本检索算法，它通过计算文档中关键词的频率及其在不同文档中的分布程度来评估文档与查询的相关性。通过上述代码示例，我们可以看到BM25的基本实现过程，使用了Python的字典和集合来处理文档和查询的权重计算。BM25在实际应用中，可以用于搜索引擎、推荐系统等多种场景，帮助用户快速找到所需的信息。