语言:

• 葡萄牙语
• 英语 许可证: 知识共享协议 标签:
• 文本生成推理
• 变形金刚模型
• 千问模型
• GGUF格式
• 巴西
• 葡萄牙语 基础模型: Qwen/Qwen1.5-7B-Chat 管道标签: 文本生成 模型索引:
• 名称: CabraQwen7b 成果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: 巴西国家中学教育考试挑战赛(无图像) 类型: eduagarcia/enem_challenge 拆分: 训练集 参数: 少量样本数: 3 指标:
    • 类型: 准确率 值: 69.21 名称: 准确度 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: BLUEX考试(无图像) 类型: eduagarcia-temp/BLUEX_without_images 拆分: 训练集 参数: 少量样本数: 3 指标:
    • 类型: 准确率 值: 56.05 名称: 准确度 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: 巴西律师资格考试 类型: eduagarcia/oab_exams 拆分: 训练集 参数: 少量样本数: 3 指标:
    • 类型: 准确率 值: 43.23 名称: 准确度 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Assin2文本蕴含识别 类型: assin2 拆分: 测试集 参数: 少量样本数: 15 指标:
    • 类型: 宏观F1值 值: 88.52 名称: 宏观F1分数 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Assin2语义文本相似度 类型: eduagarcia/portuguese_benchmark 拆分: 测试集 参数: 少量样本数: 15 指标:
    • 类型: 皮尔逊系数 值: 76.17 名称: 皮尔逊相关性 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: FaQuAD自然语言推理 类型: ruanchaves/faquad-nli 拆分: 测试集 参数: 少量样本数: 15 指标:
    • 类型: 宏观F1值 值: 57.8 名称: 宏观F1分数 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HateBR仇恨言论二元分类 类型: ruanchaves/hatebr 拆分: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 宏观F1值 值: 76.32 名称: 宏观F1分数 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: 葡萄牙语仇恨言论二元分类 类型: hate_speech_portuguese 拆分: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 宏观F1值 值: 69.69 名称: 宏观F1分数 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: 巴西推特情感分析 类型: eduagarcia-temp/tweetsentbr 拆分: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 宏观F1值 值: 65.96 名称: 宏观F1分数 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicolasdec/CabraQwen7b 名称: 葡萄牙语大模型公开排行榜

卡布拉千问7b模型

本模型是基于千问1.5 7b聊天版使用内部卡布拉10k数据集进行微调的成果。该模型针对葡萄牙语优化，能以原生葡萄牙语进行响应。与基础模型相比，在多项巴西基准测试中表现均有提升。

体验我们的演示平台：卡布拉聊天

了解我们其他模型：卡布拉系列

模型详情

基础模型：千问1.5 7b聊天版

千问1.5系列包含不同规模的解码器语言模型。针对每个规模，我们发布基础语言模型和经过对齐的聊天模型。该架构基于Transformer，采用SwiGLU激活函数、QKV注意力偏置、分组查询注意力、滑动窗口注意力与全局注意力混合等机制。此外，我们还改进了适应多自然语言和代码的自适应分词器。测试版暂未包含GQA以及滑动窗口注意力与全局注意力的混合机制。

数据集：卡布拉10k

用于微调的内部数据集，即将公开发布。

量化/GGUF

我们在"quantization"分支提供了多个量化版本(GGUF格式)。

示例

<s> [INST] 巴西利亚有何特别之处？ [/INST] 作为巴西首都，巴西利亚因其独特设计而举世闻名。这座城市由建筑师奥斯卡·尼迈耶和城市规划师卢西奥·科斯塔于1960年设计建造，旨在成为巴西现代化进程的象征。

其独特之处包括：
创新城市规划：以未来主义建筑风格著称，拥有标志性的三权广场、总统府和巴西利亚大教堂等建筑杰作
政治中心地位：作为国家权力机构所在地，承载着巴西政治发展的重要历史
生态城市理念：被联合国教科文组织列为世界遗产，展现了人类居住环境与自然和谐共生的典范
</s>

训练参数

- 学习率: 1e-05
- 训练批大小: 4
- 评估批大小: 4
- 随机种子: 42
- 分布式类型: 多GPU
- 设备数量: 2
- 梯度累积步数: 8
- 总训练批大小: 64
- 总评估批大小: 8
- 优化器: 带beta参数(0.9,0.999)和epsilon=1e-08的Adam
- 学习率调度器类型: 余弦退火
- 学习率预热比例: 0.01
- 训练轮次: 3

框架版本

• Transformers 4.39.0.dev0
• Pytorch 2.1.2+cu118
• Datasets 2.14.6
• Tokenizers 0.15.2

使用说明

当前模型仅限研究用途，适用研究领域包括：

• 生成式模型研究
• 生成模型局限性与偏差研究

禁止商业用途，仅限学术研究

评估结果

葡萄牙语大模型公开排行榜评估结果

详细结果参见此处