Pruna AI 是一家来自欧洲的初创公司，专注于 AI 模型的压缩算法开发。近日，该公司宣布将其优化框架开源，以帮助开发者更高效地压缩和 AI 模型。
Pruna AI 开发的框架结合了多种效率方法，包括缓存、剪枝、量化和蒸馏等，旨在提升 AI 模型的性能。该框架不仅标准化了压缩模型的保存和加载，还能对压缩后的模型进行评估，以判断其质量是否显著下降，同时测量压缩带来的性能提升。
Pruna AI 的联合创始人兼首席技术官约翰・拉赫万（John Rachwan）表示:“我们的框架类似于 Hugging Face 对 transformers 和 diffusers 的标准化，我们为各类效率方法提供了一种统一的调用和使用方式。” 大公司如 OpenAI 已经在其模型中应用了多种压缩方法，例如使用蒸馏技术来创建其旗舰模型的更快版本。
蒸馏是一种通过 “教师 - 学生” 模型提取知识的技术，开发者向教师模型发送请求并记录输出。这些输出随后用于训练学生模型，使其能够近似教师模型的行为。拉赫万指出，虽然许多大公司倾向于自行构建压缩工具，但在开源社区中，往往只能找到基于单一方法的解决方案，而 Pruna AI 提供了一个整合多种方法的工具，极大地简化了使用过程。
目前，Pruna AI 的框架支持多种类型的模型，包括大型语言模型、扩散模型、语音识别模型和计算机视觉模型。但该公司目前主要集中于图像和视频生成模型的优化。已有如 Scenario 和 PhotoRoom 等企业在使用 Pruna AI 的服务。
除了开源版本，Pruna AI 还推出了一个企业版，包含高级优化功能和一个优化代理。拉赫万透露:“我们即将发布的最令人兴奋的功能是压缩代理，用户只需提供模型，并设定速度和准确度的要求，代理将自动找到最佳的压缩组合。”
Pruna AI 按小时收费，类似于用户在云服务上租用 GPU 的方式。通过使用优化后的模型，企业可以在推理时节省大量费用。例如，Pruna AI 成功将一个 Llama 模型的体积缩小了八倍，且几乎没有损失精度。该公司希望客户能够将其压缩框架视为一种投资，最终获得回报。
近日，Pruna AI 完成了650万美元的种子融资，投资者包括 EQT Ventures、Daphni、Motier Ventures 和 Kima Ventures。
划重点:
🌟 Pruna AI 推出开源优化框架，结合多种压缩方法提升 AI 模型性能。
🤖 大公司常用蒸馏等技术，Pruna AI 提供整合多种方法的工具，简化使用流程。
💰 企业版支持高级功能，帮助用户在保持准确度的前提下实现模型压缩和性能提升。
