语言:
- 葡萄牙语
- 英语
许可证: cc-by-nc-2.0
标签:
- 文本生成推理
- 转换器
- 美洲驼模型
- GGUF格式
- 巴西
- 8B参数
- 葡萄牙语
基础模型: meta-llama/Meta-Llama-3-8B-Instruct
任务标签: 文本生成
模型索引:
- 名称: CabraLlama3-8b
成果:
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: ENEM挑战赛(无图像)
类型: eduagarcia/enem_challenge
拆分: 训练集
参数:
少量样本数: 3
指标:
- 类型: 准确率
值: 74.67
名称: 准确度
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: BLUEX(无图像)
类型: eduagarcia-temp/BLUEX_without_images
拆分: 训练集
参数:
少量样本数: 3
指标:
- 类型: 准确率
值: 56.88
名称: 准确度
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: OAB律师资格考试
类型: eduagarcia/oab_exams
拆分: 训练集
参数:
少量样本数: 3
指标:
- 类型: 准确率
值: 49.29
名称: 准确度
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: Assin2文本蕴含识别
类型: assin2
拆分: 测试集
参数:
少量样本数: 15
指标:
- 类型: 宏观F1值
值: 90.44
名称: 宏观F1分数
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: Assin2语义相似度
类型: eduagarcia/portuguese_benchmark
拆分: 测试集
参数:
少量样本数: 15
指标:
- 类型: 皮尔逊系数
值: 69.85
名称: 皮尔逊相关系数
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: FaQuAD自然语言推理
类型: ruanchaves/faquad-nli
拆分: 测试集
参数:
少量样本数: 15
指标:
- 类型: 宏观F1值
值: 70.38
名称: 宏观F1分数
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: HateBR仇恨言论二分类
类型: ruanchaves/hatebr
拆分: 测试集
参数:
少量样本数: 25
指标:
- 类型: 宏观F1值
值: 85.05
名称: 宏观F1分数
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: 葡萄牙语仇恨言论二分类
类型: hate_speech_portuguese
拆分: 测试集
参数:
少量样本数: 25
指标:
- 类型: 宏观F1值
值: 60.1
名称: 宏观F1分数
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
- 任务:
类型: 文本生成
名称: 文本生成
数据集:
名称: 巴西推特情感分析
类型: eduagarcia/tweetsentbr_fewshot
拆分: 测试集
参数:
少量样本数: 25
指标:
- 类型: 宏观F1值
值: 68.08
名称: 宏观F1分数
来源:
URL: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=botbot-ai/CabraLlama3-8b
名称: 葡萄牙语开源大模型排行榜
卡布拉美洲驼3代 8B模型
卡布拉美洲驼3代8B是基于Meta-Llama-3-8B-Instruct的增强版本,通过卡布拉30k数据集进行微调优化。该模型特别针对葡萄牙语理解和应答进行了专项优化。
欢迎体验我们的在线演示。
查看我们其他模型与数据集,以及卡布拉美洲驼3代70B大模型。
基础模型详情
模型架构: Meta-Llama-3-8B-Instruct
Meta公司研发并发布了Llama 3系列模型,包含8B和70B两种参数规模的预训练文本生成模型及其指令微调版本。经过指令优化的Llama 3模型在对话场景表现优异,在多项行业基准测试中超越了现有开源聊天模型。开发过程中特别注重模型实用性与安全性。
模型架构:Llama 3采用优化后的自回归Transformer架构。微调版本通过监督式微调(SFT)和人类反馈强化学习(RLHF)来对齐人类对实用性和安全性的偏好。
数据集: 卡布拉30k
用于微调的专有数据集,即将公开发布。
量化/GGUF格式
我们在"quantanization"分支提供了多种量化版本的GGUF格式模型。
示例演示
<s> [指令] 请告诉我关于巴西利亚的有趣事实 [/指令]
巴西利亚是巴西的首都,由巴西建筑师奥斯卡·尼迈耶和城市规划师卢西奥·科斯塔设计。以下是关于巴西利亚的一些有趣事实:
1. 建设年代:1960年代新建的城市,用于取代过度拥挤的旧都里约热内卢。
2. 建筑特色:以现代主义和抽象造型著称,城市分为核心区"飞行器平面"和住宅区"地面平面"两大规划区。
3. 地标建筑:包括圣母显灵大教堂、黎明宫(总统官邸)和高原宫(总统办公地)等标志性建筑。
4. 体育设施:拥有可容纳72,788人的马内·加林查国家体育场,以出生于此的足球传奇加林查命名。
5. 城市概况:虽建城历史较短(约300万人口),但已成为巴西重要的文化、旅游、商业和政治中心。
</s>
使用说明
当前模型仅限研究用途,适用研究领域包括:
禁止商业用途。仅限研究。如需更多信息请联系我们。
评估结果
测试任务 |
指标 |
原版Llama3指令模型 |
标准误差 |
卡布拉微调版 |
标准误差 |
assin2文本蕴含识别 |
宏观F1 |
0.9091 |
0.0041 |
0.9036 |
0.0042 |
|
准确率 |
0.9093 |
0.0041 |
0.9036 |
0.0042 |
assin2语义相似度 |
皮尔逊 |
0.7517 |
0.0074 |
0.6989 |
0.0082 |
|
均方误 |
0.5985 |
N/A |
0.6958 |
N/A |
BLUEX测试 |
准确率 |
0.5786 |
0.0106 |
0.5786 |
0.0106 |
ENEM测试 |
准确率 |
0.7012 |
0.0070 |
0.7439 |
0.0067 |
FaQuAD自然语言推理 |
宏观F1 |
0.7516 |
0.0132 |
0.6988 |
0.0139 |
|
准确率 |
0.7938 |
0.0112 |
0.7508 |
0.0120 |
HateBR攻击性内容检测 |
宏观F1 |
0.8699 |
0.0064 |
0.8528 |
0.0067 |
|
准确率 |
0.8700 |
0.0064 |
0.8536 |
0.0067 |
OAB律师资格考试 |
准确率 |
0.5062 |
0.0062 |
0.4911 |
0.0062 |
葡萄牙语仇恨言论检测 |
宏观F1 |
0.5982 |
0.0120 |
0.5954 |
0.0120 |
|
准确率 |
0.5993 |
0.0119 |
0.5993 |
0.0119 |
葡萄牙语开源大模型排行榜成绩
详细结果请查看原始数据及🚀葡萄牙语开源大模型排行榜
评估指标 |
得分 |
综合平均 |
69.42 |
ENEM挑战赛(无图像) |
74.67 |
BLUEX测试(无图像) |
56.88 |
OAB律师资格考试 |
49.29 |
Assin2文本蕴含识别 |
90.44 |
Assin2语义相似度 |
69.85 |
FaQuAD自然语言推理 |
70.38 |
HateBR仇恨言论检测 |
85.05 |
葡萄牙语仇恨言论检测 |
60.10 |
巴西推特情感分析 |
68.08 |