GitHub Copilot 将自动决定本地还是云端推理,微软未说明哪些仓库数据会被上传
来源The New Stack查看原文
速览
- Copilot 将自动决定本地或云端推理,10 月底上线
- 微软未说明上传云端的仓库数据范围,企业数据政策存疑
- 本地模型 MAI Code 1.1 Flash 量化到 53GB,需 128GB 内存设备
- 量化后 SWE-Bench 得分 70.8%,比全精度低 1.8 个百分点
- 沙箱保护因工具而异,远程 MCP 不在本地沙箱内
- 选择本地模型不等于完全离线,工具仍可能联网
- 演示中的离线工作流使用 GitHub 元数据,来源未说明
微软在周三的一篇博客中宣布,GitHub Copilot 将扩展 Project HydraFusion,使其不仅能选择模型,还能决定推理在本地还是云端执行,自动路由预计在 10 月底上线。该功能将出现在 Copilot CLI、Copilot 应用和 VS Code 中,开发者也可手动选择本地模型,包括通过 Windows ML provider 运行的 MAI Code 1.1 Flash 以及 OpenAI 兼容的本地端点。但微软没有说明 Auto 路由会把多少对话历史或仓库上下文发送到云端,也没有说明开发者能否查看路由决策或将推理限制在本地。与此同时,GitHub 的沙箱控制正式可用,但不同工具的保护级别不同:shell 命令和本地 MCP 服务器有操作系统级限制,内置文件工具依赖 agent harness 内部检查,远程 MCP 服务器不在本地进程沙箱内。
关键事实
- GitHub Copilot 的自动路由功能预计在 10 月底上线,由 Project HydraFusion 扩展而来,该框架原本用于为编码任务选择模型。
- 微软未说明 Auto 路由向云端发送多少对话历史或仓库上下文,也未说明开发者能否查看路由决策或限制为仅本地推理。
- 本地模型选项包括 MAI Code 1.1 Flash(通过 Windows ML provider)和 OpenAI 兼容的本地端点。
- MAI Code 1.1 Flash 是混合专家模型,总参数 1370 亿,激活参数 68 亿,使用约 3.3 比特每权重的混合精度量化,压缩到 53GB,比 bfloat16 云端版本缩小 80%。
- 初始部署面向 NVIDIA RTX Spark Windows PC,如 Surface Laptop Ultra,最高 128GB 统一内存;在该设备上 256K token 上下文时峰值内存使用 75.5GB。
- 量化模型在 SWE-Bench Verified 上得分 70.8%,全精度版本为 72.6%;在 Terminal-Bench 2.1 的 89 个任务上得分 66.29%,原版为 62.9%。
本站视角
对于使用 Copilot 的企业开发团队,尤其是金融、医疗等受监管行业,自动路由意味着仓库代码和对话历史可能在未明确告知的情况下被发送到云端,这直接冲击现有的数据合规流程。微软没有提供路由决策的可见性或本地限制选项,企业无法审计或控制数据流向,这可能迫使部分团队禁用 Auto 路由或转向其他方案。从技术角度看,MAI Code 1.1 Flash 的量化成果值得关注:53GB 的模型需要 128GB 统一内存的设备,峰值内存达 75.5GB,这实际上将本地推理限制在高端硬件上,大多数 16GB 或 32GB 内存的开发者笔记本无法运行。量化带来的性能损失很小(SWE-Bench 下降 1.8 个百分点),但 Terminal-Bench 2.1 上的提升仅基于 89 个任务,差距相当于三个任务,不足以证明量化让模型更好。我们认为,微软在本地推理上的推进是实质性的,但在数据透明度和硬件门槛上存在明显短板。演示中所谓的离线工作流使用了 GitHub issue 和 PR 元数据,微软未说明这些数据是网络获取还是本地缓存,离线声明未经证实。需要观察的是,微软是否会在正式发布前补充路由透明度和数据控制选项,否则企业采用可能会受阻。
背景与影响
GitHub Copilot 此前已通过 Project HydraFusion 为编码任务选择模型,现在将这一能力扩展到决定推理位置。微软称 Copilot 在本地和云端推理之间切换时会考虑任务上下文和缓存状态,包括多轮会话。这一宣布与 GitHub 沙箱控制正式可用同时进行,但不同工具的保护级别不同:shell 命令和本地 MCP 服务器有操作系统级限制,内置文件工具依赖 agent harness 内部检查,远程 MCP 服务器不在本地进程沙箱内。微软承认“本地推理不会使会话离线”,选择本地模型可以保持推理在设备上,但不会阻止 agent 通过其工具访问外部服务或发出网络请求。需要完全本地会话的开发者还必须锁定这些工具可以访问的内容。类似的数据处理问题在上个月也出现过,当时 Anthropic 表示在检测到高风险活动时可以将 Claude Sonnet 5.5 请求路由到 Sonnet 5。对于有严格数据处理政策的团队来说,他们仍然不知道 Copilot 向云端发送哪些仓库数据。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。