pipeline_tag: 文本生成 inference: true widget:

• text: 'def factorial(n):' example_title: 阶乘函数 group: Python
• text: 'def recur_fibo(n):' example_title: 递归斐波那契 group: Python license: llama2 library_name: transformers tags:
• 文本生成
• 代码 language:
• en

lemur-70b-v1

📄论文: https://arxiv.org/abs/2310.06830

👩‍💻代码: https://github.com/OpenLemur/Lemur

使用说明

环境配置

首先需要安装GitHub仓库中requirements.txt列出的所有依赖库：

pip install -r requirements.txt

预期用途

由于模型未在指令跟随语料库上训练，对于"如何用Python实现快速排序？"这类问题可能无法给出理想回答。

生成示例

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("OpenLemur/lemur-70b-v1")
model = AutoModelForCausalLM.from_pretrained("OpenLemur/lemur-70b-v1", device_map="auto", load_in_8bit=True)

# 文本生成示例
prompt = "世界是"
input = tokenizer(prompt, return_tensors="pt")
output = model.generate(**input, max_length=50, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

# 代码生成示例
prompt = """
def factorial(n):
    if n == 0:
        return 1
"""
input = tokenizer(prompt, return_tensors="pt")
output = model.generate(**input, max_length=200, num_return_sequences=1)
generated_code = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_code)

许可协议

本模型采用Llama-2社区许可协议。

致谢

Lemur项目是XLang实验室与Salesforce研究院共同开展的开放协作研究项目。感谢Salesforce、Google研究院和Amazon AWS的资助支持。