负责 Agent 质量评估体系的设计与研发,建立科学的效果度量标准和评测框架,为 Agent 的质量持续提升提供数据支撑
构建 Agent 可观测性能力,包括调用链追踪、性能监控、异常检测等,实现 Agent 运行全链路的透明化
设计和实现 Agent 成本管控机制,包括 Token 用量分析、调用频次控制、资源配额管理等,优化运行效率与成本
搭建 Agent 质量保障体系,涵盖回归测试、A/B 实验、线上巡检等,持续保障 Agent 服务的稳定性和可靠性
深入理解 Agent 系统的核心机制,包括工具调用、规划执行、多轮推理、上下文管理等,从质量和效率视角推动 Agent 系统的持续优化
持续跟进业界 AgentOps、LLMOps、AI 可观测性、Agent 评测等方向的前沿技术发展