推理: false
流水线标签: 句子相似度
语言:

• 保加利亚语
  许可证: mit
  数据集:
• oscar
• chitanka
• wikipedia
  标签:
• torch

基于私有保加利亚语-英语平行数据训练的ROBERTA BASE（区分大小写）

这是一个多语言Roberta模型，可用于生成保加利亚语句子的嵌入向量。

该模型基于Sentence-BERT的思想进行训练，核心观点是翻译后的句子应映射到与原句相同的向量空间位置。

教师模型为谷歌的USE模型。

本模型区分大小写：例如"bulgarian"和"Bulgarian"会被视为不同词汇。

训练数据来源于私有保加利亚语-英语平行语料库。

随后通过渐进式模块替换技术进行了模型压缩。

使用方法

以下是在PyTorch中使用该模型的示例：

>>> import scipy  
>>> import torch  
>>> from transformers import AutoModel, AutoTokenizer  
>>>   
>>> model = AutoModel.from_pretrained('rmihaylov/roberta-base-use-qa-theseus-bg')  
>>> tokenizer = AutoTokenizer.from_pretrained('rmihaylov/roberta-base-use-qa-theseus-bg')  
>>>  
>>> query = "Какви са съставките на бисквитките?"  
>>>   
>>> answers = [  
>>>            "Бисквитката е печена или варена храна, която обикновено е малка, плоска и сладка.",  
>>>            "Бисквитките обикновено съдържат брашно, захар и някакъв вид масло или мазнини. Те могат да включват други съставки като стафиди, овес, шоколадов чипс, ядки и др.",  
>>>            "В повечето англоговорящи страни, с изключение на САЩ и Канада, хрупкавите бисквитки се наричат ​​бисквити.",  
>>>            "Бисквитите Chewier понякога се наричат ​​бисквитки дори в Обединеното кралство. Някои бисквитки могат също да бъдат назовавани според формата им, като квадратчета с дата или барове.",  
>>>            "Бисквитките или бисквитите могат да се произвеждат масово във фабрики, направени в малки пекарни или домашно приготвени.",  
>>>            "Вариантите за бисквити или бисквити включват сандвич бисквити, като крем крем, Jammie Dodgers, Bourbons и Oreos, с пълнеж от ружа или конфитюр и понякога потопени в шоколад или друго сладко покритие.",  
>>>            "Бисквитките често се сервират с напитки като мляко, кафе или чай.",  
>>>            "Фабричните бисквитки се продават в магазини за хранителни стоки, магазини за удобство и автомати.",  
>>>            "Американската употреба произлиза от холандското koekje „малка торта“, което е умалително от „koek“ („торта“), което произлиза от средно холандската дума „koke“.",  
>>>            "Cookie Monster е Muppet в дългогодишното детско телевизионно шоу Sesame Street, който е най-известен с ненаситния си апетит към бисквитките и известните си фрази за ядене, като „Me want cookie!“, „Me eat cookie!“ (или просто „COOKIE!“) и „Om nom nom nom“ (казано през уста, пълна с храна).",  
>>>            "Домашните бисквитки обикновено се правят от тесто, оформено на малки топчета и пуснато върху лист с бисквитки. След това се пекат във фурна за 5 до 15 минути, в зависимост от рецептата. Температурата на фурната варира от 250 до 350 градуса.",  
>>>            "Повечето бисквитки със среден размер, ако са направени със захар, брашно и скъсяване, ще съдържат между 100 и 200 калории.",  
>>>            ]  
>>>   
>>> query_embedding = model.question(**tokenizer.encode_plus(query, return_tensors='pt')).detach().numpy()[0]  
>>>   
>>> corpus, corpus_embeddings = [], []  
>>> for answer in answers:  
>>>     value_inputs = tokenizer.encode_plus(answer, answer, return_tensors='pt')  
>>>     embedding = model.answer(**value_inputs).detach().numpy()[0]  
>>>     corpus.append(answer)  
>>>     corpus_embeddings.append(embedding)  
>>>   
>>> distances = scipy.spatial.distance.cdist([query_embedding], corpus_embeddings, "cosine")[0]  
>>>   
>>> results = zip(range(len(distances)), distances)  
>>> results = sorted(results, key=lambda x: x[1])  
>>>   
>>> print([[corpus[idx].strip(), (1.0 - distance)] for idx, distance in results])  

[['Бисквитките обикновено съдържат брашно, захар и някакъв вид масло или мазнини. Те могат да включват други съставки като стафиди, овес, шоколадов чипс, ядки и др.',  
  0.5449754306536151],  
 ['Фабричните бисквитки се продават в магазини за хранителни стоки, магазини за удобство и автомати.',  
  0.5049509545814316],  
 ['В повечето англоговорящи страни, с изключение на САЩ и Канада, хрупкавите бисквитки се наричат \u200b\u200bбисквити.',  
  0.5029661338050297],  
 ['Бисквитките или бисквитите могат да се произвеждат масово във фабрики, направени в малки пекарни или домашно приготвени.',  
  0.4991678233218718],  
 ['Вариантите за бисквити или бисквити включват сандвич бисквити, като крем крем, Jammie Dodgers, Bourbons и Oreos, с пълнеж от ружа или конфитюр и понякога потопени в шоколад или друго сладко покритие.',  
  0.49050297326146386],  
 ['Повечето бисквитки със среден размер, ако са направени със захар, брашно и скъсяване, ще съдържат между 100 и 200 калории.',  
  0.48950875441294106],  
 ['Бисквитката е печена или варена храна, която обикновено е малка, плоска и сладка.',  
  0.48646309549536737],  
 ['Бисквитите Chewier понякога се наричат \u200b\u200bбисквитки дори в Обединеното кралство. Някои бисквитки могат също да бъдат назовавани според формата им, като квадратчета с дата или барове.',  
  0.4840599482604815],  
 ['Cookie Monster е Muppet в дългогодишното детско телевизионно шоу Sesame Street, който е най-известен с ненаситния си апетит към бисквитките и известните си фрази за ядене, като „Me want cookie!“, „Me eat cookie!“ (или просто „COOKIE!“) и „Om nom nom nom“ (казано през уста, пълна с храна).',  
  0.45209677893728206],  
 ['Домашните бисквитки обикновено се правят от тесто, оформено на малки топчета и пуснато върху лист с бисквитки. След това се пекат във фурна за 5 до 15 минути, в зависимост от рецептата. Температурата на фурната варира от 250 до 350 градуса.',  
  0.4511516464302119],  
 ['Бисквитките често се сервират с напитки като мляко, кафе или чай.',  
  0.42364528401677803],  
 ['Американската употреба произлиза от холандското koekje „малка торта“, което е умалително от „koek“ („торта“), което произлиза от средно холандската дума „koke“.',  
  0.3267314582662877]]