数据集:

• princeton-nlp/QuRating-GPT3.5-Judgments

QuRater模型基于13亿参数的Sheared-LLaMA模型微调而成

出自论文: QuRating: 为语言模型训练选择高质量数据

该模型是一个序列分类模型，可预测4个质量维度的评分输出。 质量评分（未标准化）可通过模型输出的4个logits值获取，其顺序如下:

• Logit 0: 写作风格
• Logit 1: 专业要求
• Logit 2: 事实与细节
• Logit 3: 教育价值

注意: 该模型仅在512个token以内的序列上进行微调，不适用于更长文本。 对于长文档，建议计算512个token窗口的质量评分后，按窗口长度加权平均。

负责任使用指南:

论文中我们记录了QuRater模型质量评分存在的多种偏差（涉及领域、主题、社会角色、地区和语言等维度，详见论文第6节）。 请注意，使用QuRating进行数据筛选可能对训练的语言模型产生意外且有害的影响。 我们强烈建议对语言模型进行全面偏差评估（包括但不限于上述类型），尤其在投入实际应用前。 我们希望通过公开数据/模型促进未来关于发现和缓解此类偏差的研究。 需特别说明：质量评分并不衡量文本的社会或文学价值，不可用于文本社会学或人口统计学研究。