license: cc-by-sa-3.0 tags:

• 特征提取 library_name: fasttext language: zh widget:
• text: 苹果 example_title: 苹果

fastText（英文版）

fastText是一个开源、免费、轻量级的库，用户可以通过它学习文本表示和文本分类器。它能在标准通用硬件上运行，训练后的模型可压缩至适合移动设备的尺寸。该技术最初在这篇论文中提出，官方网站请访问此处。

模型描述

fastText是用于高效学习词向量表示和句子分类的库。其设计理念是让开发者、领域专家和学生都能轻松使用。专注于文本分类和词向量学习，支持在无专用硬件的情况下快速迭代优化模型。在普通多核CPU上，fastText能在几分钟内处理超过十亿词汇的训练。

该库包含基于维基百科训练的预训练模型，支持157种语言。既可作为命令行工具使用，也能嵌入C++应用，或作为库服务于从实验原型到生产环境的各类场景。

用途与限制

预训练词向量可用于文本分类或语言识别。官网提供教程和资源供探索相关任务。

使用方法

加载预训练词向量的示例：

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="facebook/fasttext-en-vectors", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.words

['the', 'of', 'and', 'to', 'in', 'a', 'that', 'is', ...]

>>> len(model.words)

145940

>>> model['bread']

array([ 4.89417791e-01,  1.60882145e-01, -2.25947708e-01, -2.94273376e-01,
       -1.04577184e-01,  1.17962055e-01,  1.34821936e-01, -2.41778508e-01, ...])

查询英文词向量最近邻的示例：

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="facebook/fasttext-en-nearest-neighbors", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.get_nearest_neighbors("bread", k=5)

[(0.5641006231307983, 'butter'), 
 (0.48875734210014343, 'loaf'), 
 (0.4491206705570221, 'eat'), 
 (0.42444291710853577, 'food'), 
 (0.4229326844215393, 'cheese')]

文本语言检测的示例：

>>> import fasttext
>>> from huggingface_hub import hf_hub_download

>>> model_path = hf_hub_download(repo_id="facebook/fasttext-language-identification", filename="model.bin")
>>> model = fasttext.load_model(model_path)
>>> model.predict("Hello, world!")

(('__label__eng_Latn',), array([0.81148803]))

>>> model.predict("Hello, world!", k=5)

(('__label__eng_Latn', '__label__vie_Latn', '__label__nld_Latn', '__label__pol_Latn', '__label__deu_Latn'), 
 array([0.61224753, 0.21323682, 0.09696738, 0.01359863, 0.01319415]))

局限性与偏差

尽管训练数据相对中立，模型仍可能存在预测偏差。

余弦相似度可用于衡量词向量间的关系。完全相同的向量得分为1，无关向量为0，相反关系为-1。

>>> import numpy as np

>>> def cosine_similarity(word1, word2):
>>>     return np.dot(model[word1], model[word2]) / (np.linalg.norm(model[word1]) * np.linalg.norm(model[word2]))

>>> cosine_similarity("man", "boy")

0.061653383

>>> cosine_similarity("man", "ceo")

0.11989131

>>> cosine_similarity("woman", "ceo")

-0.08834904

训练数据

157种语言的预训练词向量基于Common Crawl和维基百科数据训练。采用带位置权重的CBOW模型，维度300，字符n-gram长度为5，窗口大小5，负采样10。另提供法语、印地语和波兰语的新词类比数据集。

训练流程

分词处理

中文使用斯坦福分词器，日语用Mecab，越南语用UETsegmenter。拉丁、西里尔等文字采用Europarl预处理工具，其余语言使用ICU分词器。

更多训练细节参见论文《157种语言的词向量学习》。

许可协议

词向量遵循知识共享署名-相同方式共享3.0协议。

评估数据集

论文涉及的类比评估数据集：法语、印地语、波兰语。

引用信息

词向量学习请引用[1]，文本分类请引用[2]：

[1] P. Bojanowski*, E. Grave*, A. Joulin, T. Mikolov, 《利用子词信息丰富词向量》

@article{bojanowski2016enriching,
  title={Enriching Word Vectors with Subword Information},
  author={Bojanowski, Piotr and Grave, Edouard and Joulin, Armand and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1607.04606},
  year={2016}
}

[2] A. Joulin, E. Grave, P. Bojanowski, T. Mikolov, 《高效文本分类技巧集》

@article{joulin2016bag,
  title={Bag of Tricks for Efficient Text Classification},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1607.01759},
  year={2016}
}

[3] A. Joulin, E. Grave, P. Bojanowski, M. Douze, H. Jégou, T. Mikolov, 《FastText.zip：文本分类模型压缩》

@article{joulin2016fasttext,
  title={FastText.zip: Compressing text classification models},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Douze, Matthijs and J{'e}gou, H{'e}rve and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1612.03651},
  year={2016}
}

使用词向量时请引用：

[4] E. Grave*, P. Bojanowski*, P. Gupta, A. Joulin, T. Mikolov, 《157种语言的词向量学习》

@inproceedings{grave2018learning,
  title={Learning Word Vectors for 157 Languages},
  author={Grave, Edouard and Bojanowski, Piotr and Gupta, Prakhar and Joulin, Armand and Mikolov, Tomas},
  booktitle={Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018)},
  year={2018}
}

（注：标*作者贡献均等）