如果你曾经训练过像 BERT 或 RoBERTa 这样的大型 NLP 模型，你就会知道这个过程是极其漫长的。由于其庞大的规模，训练此类模型可能会持续数天。当需要在小型设备上运行它们时，就会发现正在以巨大的内存和时间成本为日益增长的性能付出代价。 有一些方法 ...

机器学习模型已经变得越来越大，即使使用经过训练的模型当硬件不符合模型对它应该运行的期望时，推理的时间和内存成本也会飙升。为了缓解这个问题是使用蒸馏可以将网络缩小到合理的大小，同时最大限度地减少性能损失。 我们在以前的文章中介绍过 ...

导语：BERT, RoBERTa, DistilBERT, XLNet到底哪家强？在不同的研究领域和应用场景如何选择成了大难题。凡事莫慌，这篇文章帮你理清思路。 雷锋网AI科技评论编者按：BERT, RoBERTa, DistilBERT, XLNet到底哪家强？在不同的研究领域和应用场景如何选择成了大难题。凡事莫慌 ...

The goal is to create a model that accepts a sequence of words such as "The man ran through the {blank} door" and then predicts most-likely words to fill in the blank. This article explains how to ...