语言:

• 土耳其语
• 英语

许可证: Apache-2.0

数据集:

• malhajar/meditron-tr

模型索引:

• 名称: Mistral-7B-v0.2-meditron-turkish 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛(25样本) 类型: ai2_arc 配置: ARC挑战赛 分割: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 59.56 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=malhajar/Mistral-7B-v0.2-meditron-turkish 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag(10样本) 类型: hellaswag 分割: 验证集 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 81.79 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=malhajar/Mistral-7B-v0.2-meditron-turkish 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU(5样本) 类型: cais/mmlu 配置: 全部 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 60.35 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=malhajar/Mistral-7B-v0.2-meditron-turkish 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA(0样本) 类型: truthful_qa 配置: 多选 分割: 验证集 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 66.19 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=malhajar/Mistral-7B-v0.2-meditron-turkish 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande(5样本) 类型: winogrande 配置: winogrande_xl 分割: 验证集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 76.24 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=malhajar/Mistral-7B-v0.2-meditron-turkish 名称: 开放大语言模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k(5样本) 类型: gsm8k 配置: 主要 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 35.94 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=malhajar/Mistral-7B-v0.2-meditron-turkish 名称: 开放大语言模型排行榜

模型卡片

Mistral-7B-v0.2-meditron-turkish是基于Mistral模型微调的版本，采用冻结技术，在土耳其语Meditron数据集malhajar/meditron-7b-tr上使用SFT训练方法进行训练。 该模型能够回答土耳其语和英语中关于医学领域不同明确概念的信息。

模型描述

• 微调者: Mohamad Alhajar
• 支持语言: 土耳其语、英语
• 基础模型: mistralai/Mistral-7B-Instruct-v0.2

土耳其语生成提示模板

### 用户:

英语生成提示模板

### User:

如何开始使用该模型

使用原始帖子中提供的代码示例与模型交互。

from transformers import AutoTokenizer,AutoModelForCausalLM
 
model_id = "malhajar/Mistral-7B-v0.2-meditron-turkish"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
                                             device_map="auto",
                                             torch_dtype=torch.float16,
                                             revision="main")

tokenizer = AutoTokenizer.from_pretrained(model_id)

question: "Akciğer kanseri nedir?"
# 生成回答
prompt = '''
### 用户:
{question} 
'''
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
output = model.generate(inputs=input_ids,max_new_tokens=512,pad_token_id=tokenizer.eos_token_id,top_k=50, do_sample=True,
        top_p=0.95)
response = tokenizer.decode(output[0])

print(response)

开放大语言模型排行榜评估结果

详细结果可查看此处