Meta最新大模型差点成了“科研造假发动机”|meta大模型成了“科学造假发动机”,发布3天就在争议中下架

Meta最新大模型差点成了“科研造假发动机” ，刚出3天就在争议中下架。
1200亿参数语言模型Galactica ，在4800万篇学术论文和各式教科书、百科等数据上训练而来。
（与太空堡垒卡拉狄加同名）
其本意是想解决学术界信息过载，帮助研究人员做信息梳理、知识推理和写作辅助，一度被认为是“科研者的福音” ，或者“写论文的Copilot” 。

文章图片
But ，一经开放使用，很快就被网友们发现了大问题。
它确实能为自己生成的内容引用文献，但有时这个文献并不存在，作者却是真实存在的人。

文章图片
它能生成看起来像模像样的科普文字，但内容却是完全错误的。

文章图片
△真空中的光速和声速接近可还行？
著名的Gary?AI悲观主义者?Marcus也来吐槽， Galactica把他的出生日期、教育经历和研究领域等信息全搞错了。

文章图片
对以上种种问题，马克斯普朗克智能系统研究所所长MichaelBlack总结道：
这将开启一个科学深度造假（deepscientificfakes）的时代。
会出现研究者从未写过的虚假论文，这些论文随后会被其他真实的论文引用，简直乱套了。
虽然他也注意到， Galactica的开发者在每个输出内容后都加了“内容可能不可靠”的警告，但“潘多拉的魔盒一旦开启，就关不上了” 。
事实上他的担忧不无道理， AI生成内容的速度要比人类快的多，一旦大量被搜索引擎抓取就有可能出现在前排，甚至被当成正确答案展示在最上面，误导更多人。
这样的争议持续了两三天，团队只好无奈宣布Demo暂时下架，论文和源代码继续开放给相关领域研究者。

文章图片
作为Meta首席科学家， LeCun对这个局面并不满意。
与他观点一致的网友认为， Galactica是有帮助且有趣的，只是被个别人滥用了。

文章图片
本意是好的
Galactica由MetaAI与PaperswithCode合作开发。
在论文引言部分，团队写到：
2022年5月， arXiv上每天平均新增516篇论文……科学数据的增长速度更是比人们的处理能力快……一个人已经不可能读完特定研究领域的论文。
搜索引擎不直接组织信息，维基百科这样的形式需要人力来维护，研究人员持续为信息过载感到不知所措。
因此他们提出，语言大模型可以更好的存储、组合和推理科学知识，并提出一个终极愿景：
神经网络将成为科学研究的下一代人机界面，就从这篇论文开始。

文章图片
本意是好的，而且Galactica的表现也确实不错。
除了文本、数学公式、代码任务之外，它还可以执行化学式、蛋白质序列等多模态任务。

文章图片
Galactica1200亿参数版本在许多科学类任务上性能超越OpenAI的GPT-3、DeepMin的Chinchilla与Gopher、以及开源的BLOOM 。

文章图片
然鹅，测试基准毕竟是死的，一旦进入生产环境开放给用户，还是会出现开发时预料不到的情况。