大模型优化工程师-27届

优缺点分析

角色解读

• 可向大模型推理架构师、AI编译器工程师或高性能计算专家方向深耕
• 积累底层优化经验后，可转向AI芯片软硬协同设计或核心技术管理岗位
• 随着大模型推理需求爆发，该方向人才稀缺，长期职业溢价空间显著
• 负责大语言模型及多模态模型的分布式推理系统开发与搭建
• 聚焦端到端推理性能调优，通过量化与并行技术降低延迟并提升吞吐量
• 进行模型精度分析与验证，开发维护配套的量化工具链
• 熟练掌握Python与C++编程，具备扎实的底层代码实现能力
• 深入理解LLM架构及视觉生成模型运行机制
• 精通量化策略、KV Cache管理机制及多机多卡并行加速技术
• 具备GPU或加速卡底层调优与性能剖析经验

申请策略

• 提前准备笔试，重点复习操作系统、计算机网络、数据结构及编译原理基础
• 关注公司官方技术博客与产品动态，面试时可结合自研芯片特性阐述优化思路
• 突出Python与C++项目实战经历，尤其是性能优化前后的量化数据对比
• 详细展示LLM推理、模型量化或并行计算的实操经验与落地成果
• 列出GitHub开源贡献链接及相关技术博客，证明工程动手能力
• 深入研读Transformer架构及主流推理框架（如vLLM、TensorRT-LLM）源码
• 补充CUDA编程与GPU内存管理知识，掌握常用性能剖析工具
• 熟悉常见量化方法（INT8/FP8/PTQ/AWQ）及其精度损失控制策略

面试指南

• 采用STAR法则（情境-任务-行动-结果）结构化回答，确保逻辑清晰
• 结合具体指标（如FPS、延迟、显存占用、精度下降百分比）量化优化成果
• 从问题定位、理论分析、方案选型、实验验证四个维度展开技术讨论
• 请描述一次你进行代码或模型性能优化的完整过程，遇到了哪些瓶颈？
• 如何设计一个支持多机多卡并行的推理调度策略？通信开销如何优化？
• KV Cache在长上下文场景中会带来什么瓶颈，有哪些经典解决方案？
• 请解释几种常见的模型量化方法，并说明如何平衡精度损失与推理速度？
• 梳理过往项目中的性能瓶颈排查路径，准备好Profiler工具使用经验与可视化图表