Stable Diffusion的魅力：苹果亲自下场优化，iPad、Mac上快速出图

机器之心报道
编辑：袁铭怿苹果亲自下场优化，在iPhone、iPad、Mac等设备上以惊人的速度运行StableDiffusion就是这么简单。
输入一句话就能生成图像的StableDiffusion已经火爆数月。它是一个开源模型，而且在消费级GPU上就能运行，是一项普通人就能接触到的「黑科技」。
在该模型走红之初，就有人尝试将其移植到苹果设备上运行，比如M1Mac、iPhone14Pro ，并把教程传授给大家。
但令人没想到的是，前几天，苹果竟亲自下场了，手把手教大家如何直接将StableDiffusion模型转换为自家iPhone、iPad和Mac可以运行的版本。
以下是生成结果示例：

文章图片
在苹果设备上运行StableDiffusion和CoreML+diffusers生成的图像。
【Stable Diffusion的魅力：苹果亲自下场优化，iPad、Mac上快速出图】苹果在macOS13.1和iOS16.2中发布了针对StableDiffusion的CoreML优化，并通过一个代码库对部署过程进行了详细讲解。
在三款苹果设备（M1iPadPro8GB、M1MacBookPro16GB、M2MacBookAir8GB）上的测试结果表明，苹果推出的相关优化基本可以保证最新版StableDiffusion（SD2.0）在半分钟内生成一张分辨率为512x512的图。

文章图片
对于苹果的这一举动，不少人感叹，一个开源社区构建的模型已经优秀到可以让大公司主动采用，确实非常了不起。
另外，大家也开始猜测，未来，苹果会不会直接把StableDiffusion放到自己的设备里？
为什么要让StableDiffusion可以在苹果设备上运行？
自2022年8月首次公开发布以来， StableDiffusion已经被艺术家、开发人员和爱好者等充满活力的社区广泛采用，能够以最少的文本prompt创建前所未有的视觉内容。相应地，社区在几周内就围绕这个核心技术构建了一个包含扩展和工具的庞大生态系统。 StableDiffusion已经变得个性化，而且可以拓展到英语以外的其他语言，这要归功于像HuggingFacediffusers这样的开源项目。
除了通过文本prompt生成图像，开发人员还发现了StableDiffusion其他创造性的用途，如图像编辑、修复、补全、超分辨率、风格迁移。随着StableDiffusion应用的增多，要想打造出任何地方的创意人员都能使用的应用程序，就需要确保开发者能够有效地利用这项技术，这一点至关重要。
在所有应用程序中，模型在何处运行是StableDiffusion的一大关键问题。有很多原因可以解释为什么在设备上部署StableDiffusion比基于服务器的方法更可取。首先，终端用户的隐私可以受到保护，因为用户提供的作为模型输入的任何数据都保留在用户自己的设备上。
其次，在初次下载之后，用户不需要连接互联网就可以使用该模型。最后，在本地部署此模型能让开发人员减少或消除服务器方面的成本。
用StableDiffusion产出可观的结果需要经过长时间的迭代，因此在设备上部署模型的核心挑战之一在于生成结果的速率。这需要执行一个复杂的流程，包括4个不同的神经网络，总计约12.75亿个参数。要了解更多关于如何优化这种大小和复杂性的模型，以在AppleNeuralEngine上运行，可以参阅以前的文章：DeployingTransformersontheAppleNeuralEngine 。
文章地址：https://machinelearning.apple.com/research/neural-engine-transformers
上文中概述的优化原则可以推广到StableDiffusion ，尽管它比文中研究的模型大18倍。为StableDiffusion优化CoreML和简化模型转换，可以让开发者更容易在他们的应用程序中以保护隐私和经济可行的方式利用该技术，并使其在AppleSilicon上展现出的性能达到最佳状态。