license: cc-by-sa-3.0 tags:

• 特征提取 library_name: fasttext language: th widget:
• text: 苹果 example_title: 苹果

fastText（泰语版）

fastText是一个开源、免费、轻量级的库，用户可借助其学习文本表示与文本分类器。该库能在标准通用硬件上运行，训练后的模型可压缩至适合移动设备的尺寸。相关论文参见此处，官方网站请访问此链接。

模型描述

fastText是用于高效学习词向量与句子分类的库。其设计初衷是让开发者、领域专家和学生都能轻松使用，专注于文本分类和词向量学习，支持在无专用硬件的情况下快速迭代优化模型。在普通多核CPU上，fastText能在几分钟内处理超过十亿词汇的训练。

该库包含基于维基百科训练的预训练模型，支持157种语言。fastText可作为命令行工具、C++应用链接库，或直接作为库函数用于从实验原型到生产环境的各类场景。

用途与限制

预训练词向量可用于文本分类或语言识别。访问官方教程和资源页探索更多应用场景。

使用方法

加载预训练词向量的示例：

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="facebook/fasttext-th-vectors", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.words

['the', 'of', 'and', 'to', 'in', 'a', 'that', 'is', ...]

>>> len(model.words)

145940

>>> model['bread']

array([ 4.89417791e-01,  1.60882145e-01, -2.25947708e-01, -2.94273376e-01,
       -1.04577184e-01,  1.17962055e-01,  1.34821936e-01, -2.41778508e-01, ...])

查询英文词向量最近邻的示例：

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="facebook/fasttext-en-nearest-neighbors", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.get_nearest_neighbors("bread", k=5)

[(0.5641006231307983, '黄油'), 
 (0.48875734210014343, '面包条'), 
 (0.4491206705570221, '食用'), 
 (0.42444291710853577, '食物'), 
 (0.4229326844215393, '奶酪')]

语言检测功能示例：

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="facebook/fasttext-language-identification", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.predict("Hello, world!")

(('__label__eng_Latn',), array([0.81148803]))

>>> model.predict("Hello, world!", k=5)

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

局限性与偏差

尽管训练数据相对中立，模型预测仍可能存在偏差。

通过余弦相似度衡量词向量关联性：完全一致为1，无关为0，相反为-1。

>>> import numpy as np

>>> def cosine_similarity(word1, word2):
>>>     return np.dot(model[word1], model[word2]) / (np.linalg.norm(model[word1]) * np.linalg.norm(model[word2]))

>>> cosine_similarity("男人", "男孩")

0.061653383

>>> cosine_similarity("男人", "首席执行官")

0.11989131

>>> cosine_similarity("女人", "首席执行官")

-0.08834904

训练数据

157种语言的预训练词向量基于Common Crawl和维基百科数据训练，采用带位置权重的CBOW模型，维度300，字符n-gram长度5，窗口大小5，负采样数10。另提供法语、印地语和波兰语的新词类比数据集。

训练流程

分词处理

中文使用斯坦福分词器，日语使用Mecab，越南语使用UETsegmenter。拉丁、西里尔、希伯来和希腊语系采用Europarl预处理工具的分词器，其余语言使用ICU分词器。

更多训练细节详见论文《157种语言的词向量学习》。

许可协议

词向量遵循知识共享署名-相同方式共享3.0协议。

评估数据集

论文涉及的类比评估数据集：法语、印地语、波兰语。

引用文献

词向量学习请引用[1]，文本分类请引用[2]：

[1] P. Bojanowski*, E. Grave*, A. Joulin, T. Mikolov, 《通过子词信息丰富词向量》

@article{bojanowski2016enriching,
  title={通过子词信息丰富词向量},
  author={Bojanowski, Piotr and Grave, Edouard and Joulin, Armand and Mikolov, Tomas},
  journal={arXiv预印本 arXiv:1607.04606},
  year={2016}
}

[2] A. Joulin, E. Grave, P. Bojanowski, T. Mikolov, 《高效文本分类的技巧集》

@article{joulin2016bag,
  title={高效文本分类的技巧集},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Mikolov, Tomas},
  journal={arXiv预印本 arXiv:1607.01759},
  year={2016}
}

[3] A. Joulin, E. Grave, P. Bojanowski, M. Douze, H. Jégou, T. Mikolov, 《FastText.zip：文本分类模型压缩》

@article{joulin2016fasttext,
  title={FastText.zip：文本分类模型压缩},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Douze, Matthijs and J{'e}gou, H{'e}rve and Mikolov, Tomas},
  journal={arXiv预印本 arXiv:1612.03651},
  year={2016}
}

使用词向量时请引用：

[4] E. Grave*, P. Bojanowski*, P. Gupta, A. Joulin, T. Mikolov, 《157种语言的词向量学习》

@inproceedings{grave2018learning,
  title={157种语言的词向量学习},
  author={Grave, Edouard and Bojanowski, Piotr and Gupta, Prakhar and Joulin, Armand and Mikolov, Tomas},
  booktitle={国际语言资源与评估会议论文集(LREC 2018)},
  year={2018}
}

（注：标*作者贡献均等）