谷歌训练开发一个万亿参数的AI语言模型

       参数是机器学习算法的关键。它们是从历史训练数据中学到的模型的一部分。一般来说，在语言领域，参数的数量和复杂性之间的相关性非常好。例如，OpenAI的GPT-3是有史以来训练了1750亿个参数的最大语言模型之一，它可以进行原始类比、生成配方，甚至完成基本代码。
       近日，谷歌的研究人员开发了一种技术，并对其进行基准测试，他们声称这种技术能够训练包含超过一万亿参数的语言模型。他们表示，他们的1.6万亿参数模型是迄今为止最大的，比之前最大的谷歌开发的语言模型（T5-XXL）快了4倍。
      
       研究人员指出，大规模训练是建立强大模型的有效途径。简单的架构，大数据集和参数计数的支持，超越了更复杂的算法。但是，大规模的训练虽然有效，但计算强度极高。这就是为什么研究人员追求他们所谓的Switch Transformer，一种“稀疏激活”技术，它只使用模型权重的子集，或转换模型内输入数据的参数。
       Switch Transformer的新颖之处在于它有效地利用了为密集矩阵乘法（广泛应用于语言模型的数学运算）设计的硬件，如GPU和TPU。在研究人员的分布式训练设置中，他们的模型将不同的权重分配到不同的设备上，这样权重就会随着设备数量的增加而增加，但在每个设备上都保持可管理的内存和计算空间。
       在一项实验中，研究人员使用32个TPU内核预先训练了几种不同的Switch Transformer模型，这个语料是一个750GB大小的数据集，包含从Reddit、Wikipedia和其他网络资源上获取的文本。他们让这些模型预测有15%的单词被掩盖的段落中遗漏的单词，以及其他挑战，比如检索文本回答一系列越来越难的问题。
       研究人员声称，与包含3950亿个参数和64名专家的更小的模型（Switch-XXL）相比，他们发明的拥有2048名专家的1.6万亿参数模型（Switch-C）则“完全没有训练不稳定性”。
       然而，在SQuAD的基准测试上，Switch-C的得分却更低（87.7），而Switch-XXL的得分为89.6，研究人员将此归因于微调质量、计算要求和参数数量之间的不明确关系。
       在这种情况下，Switch Transformer还是在许多下游任务上的效果有了提升。例如，在使用相同数量的计算资源的情况下，它可以使预训练的速度提高了7倍以上。
       同时研究人员证明，大型稀疏模型可以用来创建更小、更稠密的模型，这些模型可以对任务进行微调，其质量增益只有大型模型的30% 。
       在一个测试中，一个 Switch Transformer 模型被训练在100多种不同的语言之间进行翻译，研究人员观察到其中101种语言都得到了普遍的改善。
       在未来的工作中，研究人员计划将Switch Transformer应用于新的和不同的形态中去，包括图像和文本。他们认为，模型稀疏性在一系列不同的媒体和多模态模型中都具有优势。

端游手游页游私服低价搭建43vb.comQQ1325876192页游端游手游私服运营修改

丝路传说sf一条龙大话西游sf一条龙蜀门sf一条龙机战sf一条龙剑侠情缘sf一条龙
绝对女神sf一条龙传说OLsf一条龙刀剑sf一条龙弹弹堂sf一条龙科洛斯sf一条龙
魔力宝贝sf一条龙武林外传sf一条龙网页游戏sf一条龙页游sf一条龙希望OLsf一条龙
成吉思汗sf一条龙剑侠世界sf一条龙全民奇迹sf一条龙挑战OLsf一条龙
红月sf一条龙十二之天(江湖OL)sf一条龙倚天sf一条龙dnfsf一条龙
天龙sf一条龙奇迹Musf一条龙魔兽sf一条龙魔域sf一条龙墨香sf一条龙
天堂2sf一条龙传奇3sf一条龙英雄王座sf一条龙千年sf一条龙征途sf一条龙
新魔界sf一条龙骑士sf一条龙烈焰sf一条龙破天sf一条龙决战sf一条龙
美丽世界sf一条龙乱勇OLsf一条龙倚天2sf一条龙完美世界sf一条龙征服sf一条龙
天堂sf一条龙传世sf一条龙真封神sf一条龙劲舞团sf一条龙天上碑sf一条龙
永恒之塔sf一条龙仙境ROsf一条龙诛仙sf一条龙神泣sf一条龙石器sf一条龙
冒险岛sf一条龙惊天动地sf一条龙热血江湖sf一条龙问道sf一条龙密传sf一条龙
火线任务(Heat Project)sf一条龙飞飞OLsf一条龙洛汗sf一条龙天之炼狱sf一条龙

我们的团队:第一时间技术部设计与程序每天受理新加入的客户业务.我们的客服中心给您的承诺是：您的日常业务最快一小时内完成,其它类型的工作最短时间完成.聆听客户的声音,营造温暖的港湾.我们为您提供是1年365天,24小时的服务,您可以任何时间拨打我们的电话.努力做到让我们没有投诉,给您带来诚信网络平台.主营项目:手游端游页游套餐版本一条龙开区+服务器租用+网站论坛建设+广告宣传代理