一文盘点NeurIPS'22杰出论文亮点！英伟达大佬一句话总结每篇重点

Pine明敏发自凹非寺
量子位|公众号QbitAI
15篇NeurIPS’22杰出论文重磅出炉，具体亮点都是啥？
来来来，大佬已经帮你总结好了！

文章图片
师从李飞飞，现在在英伟达工作的大佬，用49条推文，带你回顾过去一年AI圈的重要研究。
虽然到不了NeurIPS’22的现场，但也能提前在推特上体验下大会的盛况。
总结推文发出之后，立刻在网上掀起一阵热度，众多AI大佬都在转发。

文章图片
还有人从中看出了今年的技术趋势。

文章图片
每篇亮点都是啥？总结这一线程的老哥名叫Linxi“Jim”Fan（以下简称Jim）。
对于每篇论文，他都给出了一句话提炼亮点，并简要解释了自己的看法，还将论文地址和相关拓展链接一并附上。
具体都讲了啥，我们一篇篇来看~

文章图片
1、训练计算最优的大语言模型一句话总结：提出一个700亿规模的新语言模型“Chinchilla” ，效果比千亿级别GPT-3、Gopher更强。
Jim表示，通过这个模型，研究人员证明了想要实现“计算最优” ，模型大小和训练数据规模必须同等缩放。
这意味着，目前大多数大语言模型的训练数据是不够的。
再考虑到新的缩放定律，即使将模型参数扩大到千万亿级，效果恐怕也不及将训练token提升4倍。

文章图片
2、谷歌Imagen的强，在于文本编码器一句话总结：Imagen是一个大型从文本到图像的超分辨率扩散模型，可以生成逼真图像，并且在评级中击败了Dall·E2 。
Jim指出，和Dall·E2相比， Imagen使用了更为强大的文本编码器T5-XXL ，这直接影响了它的语言理解能力。
比如同题对比中，左边是谷歌Imagen选手眼中的“猫猫绊倒人类雕像” ，右边DALL·E2选手的创作则是酱婶儿的：

文章图片
3、ProcTHOR：房间模型模拟器
文章图片
一句话总结：ProcTHOR是一个可以生成大量定制化、可实际应用房间模型的AI 。
和Chinchilla一样， ProcTHOR也需要大量数据来训练，然后从中摸索出自己的生成方案。
该成果由艾伦人工智能实验室提出，在此之前他们还为家用机器人提出了一些模型，如AI2THOR和ManipulaTHOR ，可以让他们感知房间环境。
4、MineDojo：看70000小时《我的世界》视频学会人类高级技巧
文章图片
一句话总结：该研究提出一个由3个智能体（agent）组成的“具身GPT-3” ，可以感知无限世界并在其中行动。
研究团队认为，想要训练出通才agent需要具备3方面因素：
第一、一个开放的环境，可以包含无限不同种类的任务（比如地球就是个开放环境）；
第二、一个大规模知识库，可以教会AI做什么事、该做哪些事；
第三、足够灵活的代理框架，能将知识转化为实际操作。
综上，《我的世界》是一个绝佳的训练场地。研究团队让AI看了油管上70000小时《我的世界》视频后，它学会了使用钻石镐、打造“简易避难所”等人类玩家的高级操作。