HTML Pruner Phi 3.8B

由 zstanjj 开发

用于HTML在RAG系统中比纯文本更适合建模检索结果的HTML修剪模型

大型语言模型

Transformers

英语

开源协议:Apache-2.0 #HTML无损清理 #RAG系统优化 #块树修剪

下载量 319

发布时间 : 10/16/2024

模型介绍

内容详情

替代品

模型简介

该模型专注于处理HTML格式的检索结果，通过无损HTML清理和基于块树的两步HTML修剪技术，优化RAG系统中的知识检索效率。

模型特点

无损HTML清理

仅删除完全不相关的内容并压缩冗余结构，保留原始HTML中的所有语义信息

基于块树的两步HTML修剪

第一步使用嵌入模型计算块的分数，第二步使用路径生成模型，实现高效HTML修剪

HTML格式优化

专门针对RAG系统优化HTML格式的检索结果，提高知识检索效率

模型能力

HTML文档清理

HTML内容修剪

语义信息保留

RAG系统优化

使用案例

信息检索

网页内容精简

从复杂HTML网页中提取关键信息，去除冗余内容

获得更简洁且保留语义的HTML内容

RAG系统知识格式化

为RAG系统准备HTML格式的外部知识源

提高RAG系统的检索效率和准确性

语言:

英文库名称: transformers 基础模型: microsoft/Phi-3.5-mini-instruct 许可证: apache-2.0

模型信息

我们发布了用于HtmlRAG: HTML在RAG系统中比纯文本更适合建模检索结果的HTML修剪模型。

有用链接: üìù 论文 • ü§ó Hugging Face • üß© Github

我们提出了HtmlRAG，它使用HTML而不是纯文本作为RAG系统中外部知识的格式。为了解决HTML带来的长上下文问题，我们提出了无损HTML清理和基于块树的两步HTML修剪。

无损HTML清理: 此清理过程仅删除完全不相关的内容并压缩冗余结构，保留原始HTML中的所有语义信息。无损HTML清理的压缩HTML适用于具有长上下文LLM且不愿在生成前丢失任何信息的RAG系统。
基于块树的两步HTML修剪: 基于块树的HTML修剪包括两个步骤，均在块树结构上进行。第一步使用嵌入模型计算块的分数，而第二步使用路径生成模型。第一步处理无损HTML清理的结果，而第二步处理第一步修剪的结果。

üåπ 如果您使用此模型，请‚ú®star我们的**GitHub仓库**以支持我们。您的star对我们意义重大！

üì¶ 安装

使用pip安装包：

pip install htmlrag

或从源代码安装：

pip install -e .

üìñ 用户指南

üßπ HTML清理

from htmlrag import clean_html

question = "拉斯维加斯的贝拉吉奥酒店是什么时候建的？"
html = """
<html>
<head>
<h1>Bellagio Hotel in Las</h1>
</head>
<body>
<p class="class0">The Bellagio is a luxury hotel and casino located on the Las Vegas Strip in Paradise, Nevada. It was built in 1998.</p>
</body>
<div>
<div>
<p>Some other text</p>
<p>Some other text</p>
</div>
</div>
<p class="class1"></p>
<!-- Some comment -->
<script type="text/javascript">
document.write("Hello World!");
</script>
</html>
"""

#. 或者您可以读取HTML文件并合并它们
# html_files=["/path/to/html/file1.html", "/path/to/html/file2.html"]
# htmls=[open(file).read() for file in html_files]
# html = "\n".join(htmls)

simplified_html = clean_html(html)
print(simplified_html)

# <html>
# <h1>Bellagio Hotel in Las</h1>
# <p>The Bellagio is a luxury hotel and casino located on the Las Vegas Strip in Paradise, Nevada. It was built in 1998.</p>
# <div>
# <p>Some other text</p>
# <p>Some other text</p>
# </div>
# </html>

üîß 配置修剪参数

示例HTML文档较短。真实世界的HTML文档可能更长且更复杂。为了处理这种情况，我们可以配置以下参数：

# 使用嵌入模型修剪时构建块树时节点的最大单词数
MAX_NODE_WORDS_EMBED = 10 
# MAX_NODE_WORDS_EMBED = 256 # 真实世界HTML文档的推荐设置
# 使用嵌入模型修剪后输出HTML文档的最大令牌数
MAX_CONTEXT_WINDOW_EMBED = 60
# MAX_CONTEXT_WINDOW_EMBED = 6144 # 真实世界HTML文档的推荐设置
# 使用生成模型修剪时构建块树时节点的最大单词数
MAX_NODE_WORDS_GEN = 5
# MAX_NODE_WORDS_GEN = 128 # 真实世界HTML文档的推荐设置
# 使用生成模型修剪后输出HTML文档的最大令牌数
MAX_CONTEXT_WINDOW_GEN = 32
# MAX_CONTEXT_WINDOW_GEN = 4096 # 真实世界HTML文档的推荐设置