language:

• tr pipeline_tag: text-generation license: apache-2.0

Trendyol LLM v4.1.0

Trendyol LLM v4.1.0 是一款基于 Trendyol LLM base v4.0（在130亿token上继续预训练的Qwen2.5 7B版本）的生成模型。此仓库为聊天模型版本。

核心亮点：

• 增强电商领域知识
  • 商品描述生成
  • 属性提取
  • 内容摘要
  • 时尚对话
  • 商品标签提取
  • 类目检测
  • 基于行为的用户画像解析
  • 检索增强生成（RAG）
  • 等
• 提升土耳其语理解能力
• 支持函数调用（部分功能，将在后续迭代中完善）

使用示例

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
import torch


model_id = "Trendyol/Trendyol-LLM-7B-chat-v4.1.0"

pipe = pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={
        "torch_dtype": torch.bfloat16,
        "use_cache":True, 
        "use_flash_attention_2": True
    },
    device_map='auto',
)


sampling_params = dict(do_sample=True, temperature=0.3, top_k=50, top_p=0.9, repetition_penalty=1.1)
DEFAULT_SYSTEM_PROMPT = "你是一个乐于助人的助手，将根据指令生成最佳回答。"

messages = [
    {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
    {"role": "user", "content": "土耳其有多少个城市？"}
]

outputs = pipe(
    messages,
    max_new_tokens=1024,
    return_full_text=False,
    **sampling_params
)

print(outputs[0]["generated_text"])

函数调用示例

tools = [
    {
        "name": "get_city_count",
        "description": "获取指定国家的当前城市数量",
        "parameters": {
            "type": "object",
            "properties": {
                "country_name": {
                    "type": "string",
                    "description": '需要查询的国家名称',
                },
            },
            "required": ["country_name"],
        },
    },
    {
        "name": "get_temperature_date",
        "description": "获取某地某日的气温",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string",
                    "description": '查询地点，格式为"城市, 州, 国家"',
                },
                "date": {
                    "type": "string",
                    "description": '查询日期，格式为"年-月-日"',
                },
                "unit": {
                    "type": "string",
                    "enum": ["celsius", "fahrenheit"],
                    "description": '温度单位，默认为"摄氏度"',
                },
            },
            "required": ["location", "date"],
        },
    },
]

messages = [
    {"role": "system", "content": "你是一个可调用以下函数的助手，必要时请使用它们——"},
    {"role": "user", "content": "土耳其有多少个城市？"}
]

text = pipe.tokenizer.apply_chat_template(messages, tools=tools, add_generation_prompt=True, tokenize=False)
inputs = pipe.tokenizer(text, return_tensors="pt").to(pipe.model.device)
outputs = pipe.model.generate(**inputs, max_new_tokens=512)
output_text = pipe.tokenizer.batch_decode(outputs)[0][len(text):]
print(output_text)
# '<function>{"name": "get_city_count", "arguments": \'{"country_name": "Turkey"}\'}</function><|im_end|>'

局限性、风险、偏见与伦理考量

局限性与已知偏见

• 主要功能与应用：Trendyol LLM作为自回归语言模型，核心功能是预测文本中的下一个token。尽管常被用于多种场景，但需注意其尚未经过广泛实际应用验证，在不同场景下的有效性和可靠性仍待检验。
• 语言理解与生成：模型主要针对标准英语和土耳其语训练，对俚语、非正式用语或其他语言的理解和生成可能存在局限，可能导致错误或曲解。
• 虚假信息生成：用户需知悉该模型可能产生不准确或误导性信息，输出内容应视为参考建议而非最终答案。

风险与伦理考量

• 恶意使用风险：存在模型被用于生成攻击性或有害内容的风险。我们强烈反对此类用途，并强调在部署前需进行应用场景特定的安全性与公平性评估。
• 意外内容与偏见：模型训练数据未经过针对性筛选，可能隐含偏见或不恰当内容，导致输出结果无意中反映这些问题。
• 毒性内容：尽管已尽力筛选训练数据，模型仍可能在明确诱导下生成有害内容。我们鼓励开源社区共同探索风险最小化策略。

安全伦理使用建议

• 人工审核：建议在面向公众的应用中引入人工审核层或过滤器以提升输出质量，降低意外生成不当内容的风险。
• 场景化测试：开发者应在具体应用场景中进行充分的安全测试与优化，因模型响应具有不可预测性，可能偶尔出现偏见、不准确或冒犯性内容。
• 责任开发与部署：开发者和用户需确保模型符合伦理安全标准，充分认识模型局限并采取防护措施以避免误用或不良后果。