🚀 潜在循环深度语言模型

潜在循环深度语言模型（LRD - LM）是一种实验性的文本生成架构，旨在通过迭代的潜在处理来捕捉更深层次的上下文信息。它无需生成冗长的思维链序列，而是在多次循环迭代中优化其内部状态，从而在保持适度参数数量的同时，提高文本生成质量。

🚀 快速开始

可以通过集成的 generate() 方法使用该模型进行文本生成，该方法允许你控制最大序列长度、循环迭代次数、温度和前 k 过滤等参数。

✨ 主要特性

• 深度上下文捕捉：通过迭代的潜在处理，捕捉更深层次的上下文信息。
• 参数适度：在保持适度参数数量的同时，提高文本生成质量。
• 灵活控制：可通过 generate() 方法灵活控制文本生成的参数。

📦 安装指南

文档未提及具体安装步骤，故跳过。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer, AutoModel

# Load the model and tokenizer from the hub
model = AutoModelForCausalLM.from_pretrained("codewithdark/latent-recurrent-depth-lm")
tokenizer = AutoTokenizer.from_pretrained("codewithdark/latent-recurrent-depth-lm")

prompt = "In the realm of language modeling"
input_ids = tokenizer(prompt, return_tensors='pt').input_ids

# Generate logits using a specified number of recurrent iterations
logits = model(input_ids, num_iterations=3)

# Sample from logits to produce generated text
import torch
probs = torch.softmax(logits[:, -1, :], dim=-1)
next_token = torch.multinomial(probs, num_samples=1)
generated_ids = torch.cat([input_ids, next_token], dim=1)
generated_text = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
clean_text = generated_text.replace('Ġ','')
print(generated_text)

高级用法

from transformers import AutoTokenizer, AutoModel, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("codewithdark/latent-recurrent-depth-lm")
model = AutoModel.from_pretrained("codewithdark/latent-recurrent-depth-lm", trust_remote_code=True)

prompt = "In the realm of language modeling"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
generated_ids = model.generate(input_ids, max_length=50, num_iterations=10, temperature=0.5, top_k=50)
generated_text = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
clean_text = generated_text.replace('Ġ','')
print(clean_text)

📚 详细文档

架构

该模型围绕三个关键组件构建：

• 前奏块（Prelude Block）：该块通过嵌入输入标记并应用带有位置编码的自注意力机制来处理初始处理。
• 循环块（Recurrent Block）：一个核心的、权重共享的块，用于迭代地优化潜在状态。通过反复处理前奏块的输出及其自身不断演变的状态，模型可以有效地“思考”输入，而无需输出中间标记。
• 尾声块（Coda Block）：最后一个块将优化后的潜在状态解码为输出标记概率。

应用与局限性

预期用途

• 文本生成：生成创意文本、对话、代码或其他自然语言内容。
• 研究：作为探索语言建模中新型架构和技术的试验台。

局限性

• 数据限制：在 Wikitext - 2 - raw - v1 数据集的一小部分（前 1000 个样本）上进行训练，与在更大语料库上训练的模型相比，其性能可能受到限制。
• 性能：虽然它展示了潜在循环深度的潜力，但其整体性能仍处于实验阶段，可能无法与最先进的模型相媲美。
• 计算开销：迭代处理会引入额外的计算。
• 偏差：与所有语言模型一样，生成的输出可能反映训练数据中存在的偏差。

训练细节

该模型在 Wikitext - 2 - raw - v1 数据集的一个子集（前 1000 个样本）上使用 AdamW 优化器和余弦退火学习率调度器进行了微调。训练配置和超参数在随附的代码中提供，可能需要进行调整以提高性能。

伦理考虑

该模型旨在用于研究和实验。用户在部署或进一步开发这项技术时，必须确保其符合伦理应用，并仔细考虑潜在的偏差和滥用问题。

🔧 技术细节

模型在 Wikitext - 2 - raw - v1 数据集的子集上进行微调，使用 AdamW 优化器和余弦退火学习率调度器。通过迭代的潜在处理，在多次循环迭代中优化内部状态，以捕捉更深层次的上下文信息。

📄 许可证

本项目采用 MIT 许可证。