在宣布其 Copilot AI 驱动产品企业套件的一波更新一周后，Microsoft 将在 Windows 上为所有用户推出新的 Copilot 功能，包括一种可以理解和回答有关屏幕上内容的问题的工具。
适用于 iOS、Android、Windows 和 Web 的更新版 Copilot 应用程序今天推出，正如 Microsoft 所描述的那样，所有应用程序都具有更具“温暖”和“独特”风格的 Copilot。Microsoft 还将聊天机器人引入 WhatsApp，让用户通过 DM 与 Copilot 聊天，类似于您在 Meta 消息传递平台上与其他机器人一起获得的体验。
副驾驶视觉
Copilot Vision 可以查看您在 PC 上查看的内容——更具体地说，可以了解您正在使用 Microsoft Edge 访问的网站。Copilot Vision 位于 Copilot Labs 后面，这是一个用于实验性 Copilot 功能的新 Copilot Pro 独家选择加入程序，可以分析网页上的文本和图像并回答有关它们的查询（例如，“这张照片中的食物的食谱是什么？
Vision 可以通过在 Edge 的地址栏中输入“@copilot”来调出，这并不完全是一个技术奇迹。Google 在 Android 上提供了类似的搜索技术，最近也将该技术的零碎部分带到了 Chrome 上。
但 Microsoft 表示，Copilot Vision 比以前的屏幕分析功能更强大，也更注重隐私。
“Copilot Vision 可以......建议下一步，回答问题，帮助导航你想做的任何事情，并协助完成任务，而你只需用自然语言与之交谈，“Microsoft 在与 TechCrunch 分享的一篇博客文章中写道。“想象一下，你正在尝试装修一间新公寓。Copilot Vision 可以帮助您搜索家具，找到合适的调色板，仔细考虑从地毯到毯子的所有选择，甚至建议安排您正在查看的内容的方法。
使用 Copilot Vision 询问有关 Web 上照片的问题。
毫无疑问，Microsoft 急于避免 AI 隐私失误带来的另一轮负面新闻，它强调 Copilot Vision 旨在在对话后立即删除数据。该公司声称，处理后的音频、图像或文本不会存储或用于训练模型——至少在这个预览版中没有。
Copilot Vision 在它可以解释的网站类型方面也受到限制。目前，Microsoft 阻止该功能处理付费墙和“敏感”内容，将 Vision 限制在预先批准的“热门”Web 资产列表中。
“敏感”内容究竟意味着什么？色情片？暴力？在这个时候，Microsoft 不会透露。
最近，使用 AI 工具规避付费墙的指控使 Microsoft 陷入了法律困境。在一场正在进行的诉讼中，《纽约时报》声称 Microsoft 允许用户通过 Bing 上的 Copilot 聊天机器人提供《纽约时报》文章来绕过其付费墙。据《纽约时报》报道，当以某种方式提示时，Copilot——由Microsoft的亲密合作伙伴 OpenAI 的模型提供支持——会逐字（或接近逐字）提供付费故事的片段。
Microsoft 表示，目前仅限美国的 Copilot Vision 将尊重网站“对 AI 的机器可读控制”——例如不允许机器人抓取数据进行 AI 训练的规则。但该公司尚未明确说明Vision 将尊重哪些控制措施;有几个正在使用。 我们已要求 Microsoft 进行澄清。
许多主要出版商选择阻止 AI 工具搜索他们的网站，不仅因为担心他们的数据会在未经许可的情况下被使用，而且还是为了防止这些工具导致他们的服务器成本飙升。如果目前的趋势保持不变，Copilot Vision 可能无法在一些网络顶级新闻网站上运行。
Microsoft 表示，它致力于 “听取反馈” 以减轻担忧。
“在我们广泛推出之前，我们将继续......完善我们的安全措施，并将隐私和责任作为我们所做的一切的核心，“Microsoft 在博客文章中表示。”没有对您正在浏览的网站内容进行特定处理 [使用 Copilot]，也没有任何 AI 训练——Copilot Vision 只是与您一起第一次阅读和解释它在页面上看到的图像和文本。
深入思考
与 Vision 一样，Copilot 的新 Think Deeper 功能旨在使 Microsoft 的助手更加通用。
Microsoft 表示，Think Deeper 使 Copilot 能够推理解决更复杂的问题，这要归功于“推理模型”，这些模型在以分步答案做出响应之前需要更多时间。
哪些推理模型？当我问时，Microsoft 有点谨慎，只说 Think Deeper 使用“来自 OpenAI 的最新模型，由 Microsoft 微调”。从字里行间可以看出，它们可以肯定它们是 OpenAI 的 o1 模型的定制版本。
“我们设计的 Think Deeper 有助于应对各种实际的日常挑战，例如并排比较两个复杂的选项，”Microsoft 在一篇博文中写道。“Think Deeper 可以帮助解决从解决棘手的数学问题到权衡管理家庭项目的成本的任何事情。”
Microsoft 在其新闻材料中多次谈到了 Think Deeper 的潜力。但是，假设下面的模型是 o1，它肯定会在某些方面达不到要求。我们很想知道 Microsoft 对基本模型进行了哪些改进，以及 Think Deeper 如何解决其局限性。
Think Deeper 将从今天开始向澳大利亚、加拿大、新西兰、美国和英国的有限数量的 Copilot Labs 用户提供。
Copilot 语音
今天普遍推出的一项新 Copilot 功能是 Copilot Voice（不要与 GitHub 的 Copilot Voice 混淆）。首先在新西兰、加拿大、澳大利亚、英国和美国推出英语版本，语音增加了四种合成语音，让您可以与 Copilot 交谈并大声说出其响应。
与 OpenAI 的 ChatGPT 高级语音模式一样，Copilot Voice 可以在对话过程中捕捉您的语气并做出相应的回应，您可以在 Copilot Voice 接听时随时插话。Microsoft 发言人告诉我，该模式使用“最新的语音技术以及针对 Copilot 应用程序进行了微调的新模型”。什么技术？选择哪些型号？具体来说，妈妈就是这个词。
需要注意的一件事：Copilot Voice 具有基于时间的使用限制。Copilot Pro 订阅者可以获得更多的分钟数，但这个数字是 “可变的”，Microsoft 告诉我，这取决于需求。
个性化
Microsoft 表示，由于新的个性化设置，Copilot 将很快变得更加适合您的喜好和偏好。
启用该设置后，Copilot 将利用您过去的交互和历史记录，以及您与其他 Microsoft 应用程序和服务的交互（Microsoft 不会说明是哪个）来推荐使用 Copilot 的方法。
“这可以帮助您开始，”Microsoft 在一篇博客文章中写道，“为 Copilot 的有用功能和对话启动器提供了方便的指南。
Copilot 中的个性化功能可以在 Windows 上的 Copilot 设置菜单中关闭，但短期内不会在英国或欧盟推出。但其他位置的用户应该会在今天下午开始看到该设置。
Microsoft 和欧盟在该公司的 AI 产品推出方面关系紧张。今年 5 月，欧盟警告Microsoft，根据欧盟的在线治理制度《数字服务法》，它可能被处以最高 1% 的罚款，因为该公司未能回应针对其生成式人工智能工具的信息请求。
除了 Microsoft 之外，包括 Apple 和 Meta 在内的许多科技巨头都对在欧盟推出 AI 工具采取了谨慎的态度，担心会违反欧盟管理数据隐私和模型部署的法律。
“对于欧洲经济区 （EEA） 和少数其他国家/地区的用户，我们正在评估各种选择，然后再为这些用户提供这种级别的 Copilot 个性化服务，”Microsoft 发言人告诉 TechCrunch。“某些功能要到以后才能在 EEA 中使用。”
