大型语言模型在生成文本段落、模拟人类对话和解决数学问题方面表现出色，显然是近年来AI发展最受欢迎的领域之一。然而，这种大型语言模型不仅可以自己生成有害内容，还可以通过下游应用程序传播。

芯片采购网专注于整合国内外授权IC代理商现货资源，芯片库存实时查询，行业价格合理，采购方便IC芯片，国内专业芯片采购平台。

理论上，更多的人的参与应该有助于解决问题。然而，由于语言模型的培训需要大量的数据和计算能力，它们仍然只是大型科技公司的独特项目。在学术界、伦理学家和社会科学家等更广泛的群体中，只有旁观者担心人工智能滥用。

我相信建立信任的唯一方法就是极其透明。Meta AI常务董事乔尔·皮诺（Joelle Pineau）说。当地时间5月3日，Meta AI拥有1750亿参数的大语言模型开放OPT-175B（Open Pretrained Transformer，OPT）。

这对大型科技公司来说是前所未有的。即使在大语言模型的历史上，这也是第一次毫无保留地披露所有的预训练模型、训练代码和使用代码。

我们中的许多人都是大学的研究人员，皮诺说。我们知道，大学和行业在建立这些模式的能力上存在着明显的差距。很明显，让研究人员讨论这项技术的好处。她希望其他人能仔细研究他们的工作，分析它们，或在此基础上建立它们。她认为，当更多的人参与进来时，突破就会更快地实现。

OPT语言模型中约有1750亿个参数(这些参数是神经网络在训练过程中可以调整的参数)OpenAI开创性的神经网络GPT-3规模基本相同，有付费服务GPT-非凡的能力和不可避免的缺陷。

这是经过精心设计的，皮诺说OPT考虑语言任务的准确性和有害性GPT-3相匹配。OPT为研究人员提供类似的语言模型进行研究。

OpenAI拒绝了对Meta评论声明。

OpenAI谷歌的母公司正在探索在其搜索产品中使用大型语言模型，但也因缺乏透明度而受到批评。谷歌在人工智能伦理研究员方面存在许多争议Timnit Gebru如果你想发表一篇关于谷歌当时语言系统的论文，你可能会从网站上学习包含偏见和仇恨的论文，最近解雇了另一名反对发表研究的员工。

那么，Meta为什么要这样做？Meta也很少提到脸书和脸书Instagram科技公司背后的算法工作原理利问题而闻名的科技公司背后的算法工作原理。

根据麻省理工科技评论，Meta采用不同方法的一个重要原因是皮诺本人多年来一直在促进人工智能研发的透明度。

在核心学术会议发表的研究方法中，皮诺要求研究人员提交包括代码以及如何进行实验的详细信息和结果。她自2017年加入Meta（当时的Facebook）人工智能实验室一直倡导这种文化。

“Meta对开放科学的承诺条件来这里工作，皮诺说。

除代码外，Meta开发日志也公布了。日志包括团队成员对数据培训的日常更新:如何将其添加到模型中，以及何时、有效和无效。在100多页的笔记中，研究人员记录了2021年10月至2022年1月持续运行的三个月训练过程中的每一个错误、崩溃和ILSI代理重启。

斯坦福大学基础模型研究中心主任Percy Liang将大模型的开放程度总结为四个层次：

第一层论文开放，证明一些想法的可行性，并提供构建思路；第二层API开放允许研究人员探索和评估现有模型的能力（如推理能力）和限制（如偏见）；第三层模型权重和培训数据的开放允许研究人员逐步改进现有模型，开发更深入的可解释技术和更有效的微调方法，让研究人员更好地了解培训数据在模型行为中的作用；第四层开放的计算能力允许研究人员尝试新的系统结构、培训目标和过程、数据集成，并在不同领域开发新的模型。

更高层次的开放可以让研究者关注更深层次的问题，同时带来更多的风险。Percy Liang明确指出这一点。

Meta在这种程度上，开源其大型语言模型是一项非常大胆的措施，可能会产生目前无法想象的风险。OpenAI对于不发布GPT-3的前身GPT-给出的原因。

我不能告诉你这个模型不会有其他可怕的风险。皮诺驳斥了仅仅因为它太危险了，所以不应该发布模型的想法。她说：我理解这些模型的弱点，但这不是一种研究心态。

根据《麻省理工科技评论》，人工智能伦理研究员玛格丽特因违反其行为准则被谷歌解雇·米切尔（Margaret Mitchell）认为，OPT发布是一项积极的措施。但她认为透明度是有限的。她问：语言模型是否经过了足够严格的测试？可预见的好处是否超过其可预见的危害？如何避免在这个过程中产生错误的信息，或者种族主义和厌恶女性的语言？“

艾米丽，华盛顿大学的计算语言学家·M·本德（Emily M.Bender）她曾在谷歌中心与米切尔合作研究，并担心如何处理潜在的危害。降低任何机器学习技术风险的真正关键是在特定的用例中进行评估和探索，例如，该系统是用来做什么的？谁会使用它？系统输出将如何呈现给他们？

对于皮诺来说，这些担忧应该通过更多的公开讨论来解决，而不是减少沟通。世界各地的人们对什么样的对话有不同的看法，人工智能是对话的一部分，皮诺不希望语言模型能说出每个人都同意的话，但我们应该如何处理呢？也就是说，在讨论过程中听别人的声音。