语言:

• 印地语
• 英语
• 多语言 许可证: MIT 标签:
• 语码转换
• 印地语-英语
• 语言识别 数据集:
• LinCE

codeswitch-hineng-lid-lince

这是一个预训练模型，用于对来自LinCE的印地语-英语语码混合数据进行语言识别。

该模型为以下代码库训练：

https://github.com/sagorbrur/codeswitch

安装codeswitch：

pip install codeswitch

语言识别

• 方法一

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("sagorsarker/codeswitch-hineng-lid-lince")

model = AutoModelForTokenClassification.from_pretrained("sagorsarker/codeswitch-hineng-lid-lince")
lid_model = pipeline('ner', model=model, tokenizer=tokenizer)

lid_model("输入任意印地语-英语语码混合句子")

• 方法二

from codeswitch.codeswitch import LanguageIdentification
lid = LanguageIdentification('hin-eng') 
text = "" # 输入你的语码混合句子
result = lid.identify(text)
print(result)