人工智能推理引擎软件开发工程师(J10603)

优缺点分析

角色解读

• 可成长为AI推理性能优化专家或系统架构师，主导高性能AI系统的设计
• 向AI芯片设计、异构计算等更底层的硬件协同优化方向发展
• 积累行业经验后，可转向AI平台架构或技术管理岗位
• 负责GPU和专用推理芯片的软件开发与性能优化，将AI算法高效部署到实际硬件上
• 追踪并研究业界主流推理引擎（如TensorRT、TVM）的特性，进行算法实现与优化
• 将优化后的推理引擎应用于视频处理、人脸检测等具体AI场景，解决实际工程问题
• 精通GPU编程和并行计算优化，熟悉CUDA等工具
• 深入理解推理引擎（如TensorRT）的内部原理和性能优化方法（图优化、算子融合等）
• 具备扎实的计算机体系结构知识和Linux系统开发经验
• 能够阅读英文文献并实现相关算法，对深度学习有强烈兴趣和自学能力

申请策略

• 研究中科曙光在AI芯片、服务器等领域的布局，面试时可展示对产品的了解
• 准备一个关于推理引擎优化的技术项目故事，清晰阐述问题、方案和结果
• 重点突出GPU编程、CUDA、推理引擎（如TensorRT）的项目经验或研究成果
• 详细描述参与过的性能优化案例，量化提升效果（如延迟降低、吞吐提升）
• 展示计算机体系结构、操作系统等相关课程知识或竞赛奖项
• 系统学习CUDA并行编程与性能分析工具（如Nsight）
• 深入钻研至少一种推理引擎（如TensorRT）的源码与优化策略
• 补充算子优化、模型量化等深度学习部署的实战知识

面试指南

• 使用STAR法则（情境、任务、行动、结果）描述项目经验，突出技术深度
• 结合具体技术点（如内存布局、计算并行性）解释优化思路，展现原理性理解
• 对趋势类问题，可联系前沿论文或行业动态，体现思考广度
• 请解释一下TensorRT是如何进行图优化和算子融合的？
• 如果要将一个视觉模型部署到专用推理芯片上，你会考虑哪些关键优化点？
• 如何评估和比较不同推理引擎在特定硬件上的性能？
• 描述一次你解决复杂性能瓶颈的经历，用了什么方法？
• 你对AI推理技术未来的发展趋势有什么看法？