负责公司基础大模型和专精大模型业务适配优化工作,通过SFT、RL、模型压缩、知识蒸馏、推理加速等技术保障大模型能力更好的落地业务
负责构建各类大模型(文本、图像、语音)的高效分布式训练框架并持续优化,支持各类Post-train、RL、蒸馏技术方案高效训练和实验,跟踪Megatron/Deepspeed等框架核心进展,优化并行策略、通信掩盖、混合精度等持续提升模型效果
对核心场景、核心模型的推理引擎极致优化,不限于pd分离、KVcache、投机解码、量化压缩等手段,降低TTFT持续提升decode吞吐,对超万亿参数模型积累部署推理优化经验
持续为上亿流量产品的大模型部署推理成本优化负责
构建高效、灵活的强化学习工具链,探索Agentic、多轮环境交互的RL链路,提升训推rollout一致性
设计复用离线验证评估链路,支持算法高效迭代评估