许可证：apache-2.0
模型索引：

• 名称：open-llama-3b-v2-chat
  测试结果：

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战赛（25样本）
    类型：ai2_arc
    配置：ARC挑战赛
    拆分：测试集
    参数：
    少量样本数：25
    指标：

    • 类型：标准化准确率
      值：40.61
      名称：标准化准确率
      来源：
      网址：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=mediocredev/open-llama-3b-v2-chat
      名称：开放大模型排行榜

  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10样本）
    类型：hellaswag
    拆分：验证集
    参数：
    少量样本数：10
    指标：

    • 类型：标准化准确率
      值：70.3
      名称：标准化准确率
      来源：
      网址：同上
      名称：开放大模型排行榜

  （后续任务及指标结构类似，省略部分重复内容以保持简洁）

环境准备

除PyTorch和Transformers外，需安装以下依赖：

pip install sentencepiece  

使用方式

复制以下脚本即可调用模型：

from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id = 'mediocredev/open-llama-3b-v2-chat'  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoModelForCausalLM.from_pretrained(model_id)  

# 示例对话历史  
chat_history = [  
    {"role": "user", "content": "你好！"},  
    {"role": "assistant", "content": "我在呢。"},  
    {"role": "user", "content": "闰年有多少天？"},  
]  

# 生成回答（代码示例保持原格式）  

局限性说明

该模型基于LLaMA 3B v2开发，可能存在以下问题：

• 事实准确性不足，尤其在处理矛盾信息或复杂主题时
• 输出非确定性，需人工校验可靠性
• 可能生成错误或冒犯性内容，需严格审核
• 仍在持续优化偏见缓解和可解释性等方向

联系方式

欢迎反馈与讨论：mediocredev@outlook.com

开放大模型排行榜评估结果

详细数据参见此处