词元星火-大模型推理引擎研发工程师-合肥(J13588)

优缺点分析

角色解读

• 技术专家路线：在推理引擎、性能优化领域深耕，成为大模型基础设施方向的权威专家
• 架构师路线：主导大规模分布式推理系统架构设计，负责万亿级模型部署的技术决策
• 管理路线：从技术骨干晋升为技术团队负责人，带领团队攻克推理性能难题
• 设计并优化大模型推理框架，包括计算图编译、算子融合、动态批处理和推理调度等核心模块，提升推理性能和通用性
• 深入优化Transformer模型推理，应用FlashAttention、PagedAttention、模型量化、KV Cache等技术，解决显存溢出和延迟问题
• 研发多机多卡分布式推理系统，优化张量并行、序列并行和通信调度，支持万亿级参数模型的高效推理
• 负责推理引擎在昇腾、海光等国产AI加速卡上的适配与性能调优，构建国产化推理体系
• 精通大模型推理框架（如vLLM、SGLang、TensorRT-LLM）及优化技术，包括量化、算子优化、计算图编译和显存管理
• 深入理解Transformer推理机制，熟悉FlashAttention、PagedAttention等加速技术，具备性能调优实战经验
• 熟悉GPU/NPU异构架构，掌握CUDA开发，有昇腾CANN、海光DCU等国产平台适配经验者优先
• 具备高性能代码开发能力，熟悉分布式通信与调度机制，能解决线上推理性能与稳定性问题

申请策略

• 提前了解科大讯飞在AI领域的业务布局，特别是大模型和国产化方向
• 在面试中强调对推理性能优化的热情和解决复杂工程问题的能力
• 突出大模型推理框架的研发或优化经验，特别是千亿级模型部署和性能调优的实战案例
• 强调CUDA、算子优化、分布式推理等底层技术能力，展示在性能优化上的量化成果（如吞吐提升、延迟降低）
• 如有国产AI加速卡（昇腾、海光）适配经验或开源贡献，务必重点突出
• 展示对vLLM、SGLang、TensorRT-LLM等主流框架的深入理解，以及技术选型与落地的经验
• 系统学习CUDA编程和GPU架构，深入理解算子优化和显存管理
• 熟悉昇腾CANN、海光DCU等国产AI加速卡的开发工具链，积累适配经验

面试指南

• 采用STAR法则（情境、任务、行动、结果）回答项目经验，突出技术难点和量化成果
• 对于系统设计问题，先明确需求（模型规模、吞吐、延迟），再分析并行策略、通信开销和显存瓶颈，最后给出方案
• 对于技术原理问题，从底层机制出发，结合具体实现和优化效果，展示深度理解
• 请介绍你在大模型推理性能优化方面的具体项目经验，如何解决显存溢出或延迟问题？
• 如何设计一个支持万亿参数模型的分布式推理系统？请谈谈并行策略和通信优化
• 你对FlashAttention、PagedAttention等技术的原理和实现有何理解？
• 在国产AI加速卡（如昇腾）上进行算子适配和性能调优的挑战有哪些？
• 如何评估和选择适合业务的推理框架（如vLLM、TensorRT-LLM）？