有时，您只需一个演示即可了解产品。Runware 就是这种情况。如果您前往 Runware 的网站，输入提示并按 Enter 键生成图像，您会惊讶于 Runware 为您生成图像的速度——只需不到一秒钟。
Runware 是 AI 推理或生成式 AI 初创公司领域的新人。该公司正在构建自己的服务器并优化这些服务器上的软件层，以消除瓶颈并提高图像生成模型的推理速度。这家初创公司已经从 Andreessen Horowitz 的 Speedrun、LakeStar 的 Halo II 和 Lunar Ventures 那里获得了 300 万美元的资金。
该公司不想重新发明轮子。它只是想让它旋转得更快。在幕后，Runware 制造自己的服务器，在同一主板上配备尽可能多的 GPU。它拥有自己的定制冷却系统并管理自己的数据中心。
在其服务器上运行 AI 模型时，Runware 通过 BIOS 和操作系统优化优化了编排层，以缩短冷启动时间。它开发了自己的算法来分配干扰工作负载。
该演示本身就令人印象深刻。现在，该公司希望将所有这些工作用于研发并将其转化为一项业务。
与许多 GPU 托管公司不同，Runware 不会根据 GPU 时间租用其 GPU。相反，它认为应该鼓励公司加快工作负载。这就是 Runware 提供具有传统每次 API 调用费用结构的图像生成 API 的原因。它基于 Flux 和 Stable Diffusion 的流行 AI 模型。
“如果你看看 Together AI、Replicate、Hugging Face 等所有产品，它们都在销售基于 GPU 时间的计算能力，”该公司的联合创始人兼首席执行官弗拉维乌·拉杜莱斯库 （Flaviu Radulescu） 告诉 TechCrunch。“如果你比较一下我们制作图像所需的时间和他们。然后你比较定价，你会发现我们便宜得多，速度也快得多。
“他们不可能达到这样的表现，”他补充道。“尤其是在云提供商中，您必须在虚拟化环境中运行，这会增加额外的延迟。”
由于 Runware 正在研究整个推理管道并优化硬件和软件，该公司希望在不久的将来能够使用来自多个供应商的 GPU。这对几家初创公司来说是一项重要的努力，因为 Nvidia 是 GPU 领域的明显领导者，这意味着 Nvidia GPU 往往非常昂贵。
“目前，我们只使用 Nvidia GPU。但这应该是软件层的抽象，“Radulescu 说。“我们可以非常非常快速地将模型从 GPU 内存切换进出，这使我们能够将多个客户放在同一个 GPU 上。
“所以我们不像我们的竞争对手。他们只需将模型加载到 GPU 中，然后 GPU 就会执行非常特定类型的任务。在我们的案例中，我们开发了这个软件解决方案，它允许我们在进行推理时在 GPU 内存中切换模型。
如果 AMD 和其他 GPU 供应商可以创建适用于典型 AI 工作负载的兼容层，那么 Runware 就可以很好地构建一个依赖来自多个供应商的 GPU 的混合云。如果它想在 AI 推理方面保持比竞争对手更便宜的价格，这肯定会有所帮助。
