这次我比以往任何时候都要学习很多，因为这 土耳其电话格式 个题目一点也不简单，相反理解起来有很大的困难。主要问题是，在大多数在线资源中，您只能了解 Google 如何使用该技术，而无法了解该技术实际上是什么。我试图更深入地挖掘，希望你会欣赏我的努力。
BERT（来自 Transformers 的双向编码器表示）基本上是 Google AI 语言研究人员最近发表的一篇论文。它通过在广泛的 NLP 任务（包括问答 (SQuAD v1.1)、自然语言推理 (MNLI) 和其他几种类型）上展示前沿成果，在机器学习社区中掀起了波澜。
BERT的主要技术创新是将双向Transformer训练（一种相当著名的理解模型）应用于语言建模。这与之前研究从左到右的文本序列或组合的从左到右和从右到左对齐的努力形成鲜明对比。
论文的研究结果表明，双向设置的语言模型可以比单向语言模型具有更深入的上下文和语言流感知。
在论文中，研究人员详细介绍了一种名为Masked LM (MLM)的新技术，该技术可以在模型中实现以前不可能实现的双向对齐。它的研究人员开发了一些计算机程序，通过将句子中的单词相互关联来管理它们，而不是像迄今为止那样单独管理它们。
伯特是如何工作的？
BERT 利用 Transformer，这是一种注意力机制，可以学习文本中单词（或子词）之间的上下文关系。在其原始形式中，Transformer 包括两个独立的机制：读取文本输入的编码器和为任务生成预测的解码器。由于BERT的目标是生成语言模型，因此只需要编码器机制。
Transformer的详细操作在Google doc中有描述。
与按顺序（从左到右或从右到左）读取输入文本的方向模型不同，Transformer 编码器会立即读取整个单词序列。因此，它被认为是双向的，尽管更准确地说它是无方向的。
此功能允许模型根据单词周围的所有内容（单词的左侧和右侧）来学习单词的上下文。