license: cc-by-sa-4.0 language:

• ru
• en pipeline_tag: text-generation library_name: transformers

英文版本

"箭"是一款专为低性能设备优化的高性能语言模型，兼具响应速度与回答质量。 推荐在以下场景使用：

• 对话聊天机器人
• 故事创作
• 歌词生成
• 俄英双语互译
• 重型模型运行效率不足时

模型自述

我是专为自然语言处理研发的计算机程序。 具备理解、分析和处理自然语言的能力，可通过多种渠道与人类交流。核心目标是基于需求协助解决问题并提供信息。 功能覆盖多领域：包括自动文本生成、跨语言翻译，乃至诗歌与歌词创作。

在线体验

点击此处试用。

桌面端聊天应用

推荐使用GTP4ALL，需下载GGUF格式特制版本。

Unity集成

建议搭配LLM for Unity，需下载GGUF格式特制版本。

Python量化模型调用 | 推荐方案

安装gpt4all

pip install gpt4all

下载GGUF模型文件至脚本目录

# 导入库
import os
from gpt4all import GPT4All

# 加载当前目录下的strela-q4_k_m.gguf模型
model = GPT4All(model_name='strela-q4_k_m.gguf', model_path=os.getcwd())


# 遇到#符号（角色声明起始符）时停止生成的回调函数
def stop_on_token_callback(token_id, token_string):
    if '#' in token_string:
        return False
    else:
        return True


# 系统提示模板
system_template = """### System:
你是一个能对人类请求提供有效帮助的AI助手。
"""

# 用户与AI对话模板
prompt_template = """
### Human:
{0}
### Assistant:
"""

# 开启对话会话
with model.chat_session(system_template, prompt_template):
    print("输入'退出'结束对话")
    while True:
        print('')
        user_input = input(">>> ")
        if user_input.lower() != "退出":

            # 流式生成响应
            for token in model.generate(user_input, streaming=True, callback=stop_on_token_callback):
                print(token, end='')
        else:
            break

输入'退出'结束对话

>>> 你好
您好！今天有什么可以帮您的？
>>> 

Python完整模型调用

# 导入库
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# 系统提示
system_prompt = "你是一个能对人类请求提供有效帮助的AI助手。"

# 用户输入
prompt = "你好！"

# 对话模板
chat = f"""### System:
{system_prompt}
### Human:
{prompt}
### Assistant:
"""

# 文本生成
model_inputs = tokenizer([chat], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 可调整生成token上限
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 清除对话模板内容
output = output.replace(chat, "")

# 输出结果
print(output)

你好！需要什么帮助？

Python文本生成示例

# 导入库
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型
tokenizer = AutoTokenizer.from_pretrained("gai-labs/strela")
model = AutoModelForCausalLM.from_pretrained("gai-labs/strela")

# 输入提示
prompt = "人工智能是"

# 文本生成
model_inputs = tokenizer([prompt], return_tensors="pt")
generated_ids = model.generate(**model_inputs, max_new_tokens=64) # 可调整生成token上限
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 输出结果
print(output)

人工智能是计算机科学与技术的一个分支，致力于开发能"理解"人类或执行类人逻辑任务的智能系统。