对于 OpenAI 来说，这是动荡的一周，到处都是高管离职和重大融资进展，但这家初创公司又回来了，试图说服开发人员在其 2024 年 DevDay 上使用其 AI 模型构建工具。该公司周二宣布了几款新工具，包括其“实时 API”的公开测试版，用于构建具有低延迟、AI 生成的语音响应的应用程序。它不完全是 ChatGPT 的高级语音模式，但很接近。
在活动前与记者的简报会上，OpenAI 首席产品官 Kevin Weil 表示，最近首席技术官 Mira Murati 和首席研究官 Bob McGrew 的离职不会影响公司的进展。
“我首先要说的是，Bob 和 Mira 是了不起的领导者。我从他们那里学到了很多东西，他们是让我们取得今天成就的重要组成部分，“Weil 说。“而且，我们不会放慢脚步。”
随着 OpenAI 进行另一次高管改革——提醒人们去年 DevDay 之后的动荡——该公司正试图说服开发人员，它仍然提供构建 AI 应用程序的最佳平台。领导者表示，这家初创公司有超过 300 万开发人员使用其 AI 模型进行构建，但 OpenAI 正在一个竞争日益激烈的领域中运营。
OpenAI 指出，在过去两年中，它已将开发人员访问其 API 的成本降低了 99%，尽管这可能是由于 Meta 和 Google 等竞争对手不断压低价格而被迫这样做的。
OpenAI 的新功能之一称为实时 API，它将让开发人员有机会在他们的应用程序中构建近乎实时的语音转语音体验，并可以选择使用 OpenAI 提供的六种语音。这些声音与为 ChatGPT 提供的声音不同，为了防止版权问题，开发人员不能使用第三方声音。（这个声音模棱两可地基于 Scarlett Johansson 的声音在任何地方都找不到。
在简报会上，OpenAI 的开发者体验主管 Romain Huet 分享了一个使用 Realtime API 构建的旅行规划应用程序的演示。该应用程序允许用户与 AI 助手就即将到来的伦敦之旅进行口头交谈，并获得低延迟响应。Realtime API 还可以访问许多工具，因此该应用程序能够在回答时在地图上注释餐厅位置。
在另一个时间点，Huet 展示了 Realtime API 如何通过电话与人类交谈，以询问有关为活动订购食物的信息。与 Google 臭名昭著的 Duo 不同，OpenAI 的 API 不能直接调用餐馆或商店;但是，它可以与调用 API （如 Twilio）集成来实现此目的。值得注意的是，OpenAI 并没有添加披露，以便其 AI 模型在这样的通话中自动识别自己，尽管这些 AI 生成的声音听起来很现实。目前，开发人员似乎有责任添加此披露，这可能是加州新法律的要求。
作为其 DevDay 公告的一部分，OpenAI 还在其 API 中引入了视觉微调，这将允许开发人员使用图像和文本来微调他们的 GPT-4o 应用程序。从理论上讲，这应该可以帮助开发人员提高 GPT-4o 在涉及视觉理解的任务中的性能。OpenAI 的产品 API 负责人奥利维尔·戈德门特 （Olivier Godement） 告诉 TechCrunch，开发人员将无法上传受版权保护的图像（例如唐老鸭的照片）、描绘暴力的图像或其他违反 OpenAI 安全政策的图像。
OpenAI 正在竞相匹敌其在 AI 模型许可领域的竞争对手已经提供的产品。它的提示缓存功能类似于 Anthropic 几个月前推出的功能，允许开发人员在 API 调用之间缓存经常使用的上下文，从而降低成本并改善延迟。OpenAI 表示，开发人员可以使用此功能节省 50%，而 Anthropic 承诺为其提供 90% 的折扣。
最后，OpenAI 提供了模型蒸馏功能，让开发人员可以使用更大的 AI 模型（例如 o1-preview 和 GPT-4o）来微调较小的模型，例如 GPT-4o mini。与运行较大的模型相比，运行较小的模型通常可以节省成本，但此功能应该可以让开发人员提高这些小型 AI 模型的性能。作为模型蒸馏的一部分，OpenAI 正在推出一个测试版评估工具，以便开发人员可以在 OpenAI 的 API 中测量其微调的性能。
DevDay 可能会因为它没有宣布的事情而掀起更大的波澜。例如，在去年的 DevDay 期间没有宣布任何关于 GPT Store 的消息。我们上次听说，OpenAI 一直在与一些最受欢迎的 GPT 创建者试行收入分享计划，但此后该公司没有分享太多。
此外，OpenAI 表示，它不会在今年的 DevDay 期间发布任何新的 AI 模型。等待 OpenAI o1（不是预览版或迷你版）或初创公司的视频生成模型 Sora 的开发人员将不得不再等一会儿。
