Agent工具链服务化 (FaaS化): 设计并实现 Agent 的 Tool Server
将搜索、计算、API 调用等能力封装为独立的无服务器函数 (Serverless/FaaS),实现按需扩缩容
负责 OpenAPI / JSON Schema 的自动生成与管理,确保 Agent 能准确理解并调用这些工具函数
代码解释器与沙箱构建 (Code Sandbox): 基于 Docker 或 MicroVM (如 Firecracker, gVisor) 构建安全的 代码执行沙箱
解决 Agent 生成代码(Python/SQL)在运行时的依赖管理、资源隔离(CPU/Mem限制)和网络控制问题
模型推理服务部署 (Inference Serving): 配合算法同学,将微调后的 LLM 部署为高并发服务
优化推理引擎(如使用 vLLM, TGI, TensorRT-LLM),降低 Time-to-First-Token (TTFT) 延迟
工程化与流水线: 搭建 Agent Evaluation Pipeline,让算法同学(A/B)的评测脚本能自动化运行在集群中
负责向量数据库(Milvus/Qdrant)等中间件的容器化部署与维护