参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架
参与/负责KV Router、PD分离/EPD分离、KVCache管理、动态PD调整等分布式推理能力建设
通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架
参与/负责构建推理框架的系统容错能力，包括但不限于请求迁移、优雅退出、故障检测、自愈等能力建设
深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等
与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成