智元界
智元界 Zyentor AI 开发者社区
🔎
登录 注册
别再拿十道题测模型了:一个能真正比较三家 API 的 200 题评测脚手架

别再拿十道题测模型了:一个能真正比较三家 API 的 200 题评测脚手架

模型选型最常见的“伪严谨”,是准备十几道题,然后把 GPT、Claude、Gemini 各问一遍。

876 120 0 9天前
SWE-Bench 高就一定会写项目?一篇 GH200 实测给了三个反例

SWE-Bench 高就一定会写项目?一篇 GH200 实测给了三个反例

这两年选 Coding Model,SWE-Bench 几乎成了必看榜单。

755 105 0 9天前
手搓生产级 AI Agent 系统(13):别让所有任务都上旗舰模型——路由、预算和降级

手搓生产级 AI Agent 系统(13):别让所有任务都上旗舰模型——路由、预算和降级

前十二篇把生产级 Agent 的执行链路基本补齐了:任务理解、Tool Calling、状态、Memory、Planner-Executor-Reviewer、Checkpoint、人工审批、多 Agent、安全沙箱和发布评测。

704 114 0 9天前
离线评测分数很高,线上用户为什么仍然不满意?数据分布与任务成功率排查

离线评测分数很高,线上用户为什么仍然不满意?数据分布与任务成功率排查

离线集可能过于干净、静态和均衡,无法覆盖线上噪声、权限、长对话、超时和真实业务结果。

772 131 0 11天前
离线Benchmark、影子流量与金丝雀评测怎么选?AI质量验证指南

离线Benchmark、影子流量与金丝雀评测怎么选?AI质量验证指南

AI发布前后可以使用离线数据集、影子真实流量和小比例金丝雀,本文比较风险与反馈真实性。

822 129 0 11天前
LLM-as-a-Judge评分忽高忽低?位置偏差、长度偏差与校准排查

LLM-as-a-Judge评分忽高忽低?位置偏差、长度偏差与校准排查

评审模型会受答案顺序、长度、措辞、自身模型偏好和Rubric模糊影响。

761 116 0 11天前
用Spring Boot搭建AI发布质量门禁:离线评测、影子流量与金丝雀决策

用Spring Boot搭建AI发布质量门禁:离线评测、影子流量与金丝雀决策

实现统一质量门禁服务,汇总离线报告、影子指标和金丝雀业务结果,输出发布、暂停或回滚决定。

764 111 0 11天前
AI应用评测与质量保障(1):从离线评测到线上质量门禁

AI应用评测与质量保障(1):从离线评测到线上质量门禁

建立覆盖数据集、规则、Judge、影子流量、金丝雀、用户反馈和发布决策的完整质量体系。

759 115 0 11天前
Code Interpreter临时文件为什么泄露到其他任务?工作目录与生命周期排查

Code Interpreter临时文件为什么泄露到其他任务?工作目录与生命周期排查

多个任务复用容器、工作目录或缓存时,前一个用户生成的文件可能被后续任务读取。

978 145 0 12天前
容器沙箱、MicroVM与远程执行服务怎么选?Agent代码执行架构指南

容器沙箱、MicroVM与远程执行服务怎么选?Agent代码执行架构指南

Agent代码执行可以使用普通容器、MicroVM或独立远程执行平台,本文比较隔离、启动速度和运维成本。

894 141 0 12天前
Browser Agent遇到验证码和登录循环怎么办?会话、人工接管与站点策略排查

Browser Agent遇到验证码和登录循环怎么办?会话、人工接管与站点策略排查

浏览器Agent在验证码、MFA、会话过期和反自动化策略前可能不断刷新或重试。

948 145 0 12天前
用Spring Boot搭建Agent安全执行网关:代码沙箱、浏览器会话与审计

用Spring Boot搭建Agent安全执行网关:代码沙箱、浏览器会话与审计

实现统一安全执行网关,对代码、浏览器和文件任务应用策略、资源限制、审批和审计。

912 147 0 12天前
手搓生产级 AI Agent 系统(11):代码与浏览器沙箱、安全执行与风险控制

手搓生产级 AI Agent 系统(11):代码与浏览器沙箱、安全执行与风险控制

实现Execution Policy、任务级沙箱、网络与文件限制、浏览器人工接管和Artifact治理。

965 171 0 12天前
多Agent协作时为什么总是传递旧上下文?状态版本与消息边界排查

多Agent协作时为什么总是传递旧上下文?状态版本与消息边界排查

子Agent读取的状态可能是任务开始时快照,而不是其他Agent刚更新的最新结果。

981 148 0 13天前
Supervisor、Handoff与Blackboard怎么选?多Agent协作模式指南

Supervisor、Handoff与Blackboard怎么选?多Agent协作模式指南

多Agent可以由Supervisor集中调度、Agent间直接移交,或通过共享Blackboard协作。

990 155 0 13天前
并行Sub-Agent为什么让Token成本暴涨?并发、上下文复制与预算排查

并行Sub-Agent为什么让Token成本暴涨?并发、上下文复制与预算排查

并行执行会复制System Prompt、工具Schema、历史和检索上下文,Agent数量翻倍时成本可能超过线性增长。

1044 165 0 13天前
用Spring Boot实现预算感知的多Agent编排器

用Spring Boot实现预算感知的多Agent编排器

实现Supervisor分解任务、受控并行Worker、版本化共享状态和预算结算。

923 140 0 13天前
手搓生产级 AI Agent 系统(10):多Agent协作、Supervisor与共享状态

手搓生产级 AI Agent 系统(10):多Agent协作、Supervisor与共享状态

实现Agent能力目录、Supervisor、任务DAG、受控并发、共享状态合并和结果聚合。

971 164 0 13天前
Agent从Checkpoint恢复后为什么重复调用工具?步骤提交与副作用幂等排查

Agent从Checkpoint恢复后为什么重复调用工具?步骤提交与副作用幂等排查

Checkpoint保存时间点不正确时,恢复后会重新执行已经产生副作用的工具。

1131 189 0 14天前
数据库Checkpoint、事件溯源与工作流引擎怎么选?Agent持久化指南

数据库Checkpoint、事件溯源与工作流引擎怎么选?Agent持久化指南

Agent持久化可以保存最新快照、完整事件或交给工作流引擎管理。本文比较恢复粒度和复杂度。

1070 168 0 14天前

精选推荐

1 ReAct、Plan-Execute-Review与状态图Agent怎么选? 1262 2 Agent Planner输出计划存在循环依赖?DAG校验与自动修复排查 1225 3 Human-in-the-Loop审批超时后任务丢失?等待状态与恢复令牌排查 1214 4 手搓生产级 AI Agent 系统(8):Planner、Executor与Reviewer闭环 1187 5 Reviewer为什么让Agent无限修改?接受阈值、最大轮次与差异检测排查 1166 6 Agent从Checkpoint恢复后为什么重复调用工具?步骤提交与副作用幂等排查 1131 7 用Python实现Planner-Executor-Reviewer状态机Agent 1078 8 手搓生产级 AI Agent 系统(9):Checkpoint、Human-in-the-Loop与断点恢复 1073 9 数据库Checkpoint、事件溯源与工作流引擎怎么选?Agent持久化指南 1070 10 用Spring Boot搭建Agent Checkpoint服务:保存、恢复、审批与重放 1066 11 并行Sub-Agent为什么让Token成本暴涨?并发、上下文复制与预算排查 1044 12 Supervisor、Handoff与Blackboard怎么选?多Agent协作模式指南 990 13 多Agent协作时为什么总是传递旧上下文?状态版本与消息边界排查 981 14 Code Interpreter临时文件为什么泄露到其他任务?工作目录与生命周期排查 978 15 手搓生产级 AI Agent 系统(10):多Agent协作、Supervisor与共享状态 971 16 手搓生产级 AI Agent 系统(11):代码与浏览器沙箱、安全执行与风险控制 965 17 Browser Agent遇到验证码和登录循环怎么办?会话、人工接管与站点策略排查 948 18 用Spring Boot实现预算感知的多Agent编排器 923 19 用Spring Boot搭建Agent安全执行网关:代码沙箱、浏览器会话与审计 912 20 容器沙箱、MicroVM与远程执行服务怎么选?Agent代码执行架构指南 894