云知声
大模型开发工程师(J11038)
大模型开发工程师(J11038)
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Maas
Tensorrt-Llm
Vllm
国产化适配
多模态模型
大模型
推理引擎
服务调度
值不值得投
74综合评分
综合评分 74
大模型推理优化岗位，技术前沿、发展性高，薪资市场水准，但WLB需进一步确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
27K
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
公司还在招多个职位
4 个在招
市场机会
选择适中
南京 · 机器学习工程 · 29 个在招
职位详情
关于这个职位
这个职位负责大模型（如文本、图像、语音）推理引擎及服务的开发，支持自研和开源模型的快速部署与高性能推理
你将优化模型落地的性能问题，降低推理成本，并开发维护大模型MaaS服务以支持高并发调用，同时负责国产化适配
最低要求
硕士及以上学历，1年以上算法相关工程化经验
计算机、电子、自动化、软件等相关专业
工作职责
负责大模型（文本、图像、语音等多模态模型）推理引擎及服务的开发，支持自研及开源模型的快速部署和高性能推理
结合大模型业务场景，优化模型落地过程中的性能问题，降低推理成本
包括但不限于：模型量化蒸馏，服务调度优化等
负责开发和维护大模型MaaS服务，支持高并发调用场景
负责大模型的国产化适配
优先资格
熟悉一种或多种LLM推理框架，有vllm、sglang、lmdeploy、TensorRT-LLM等相关经验优先
熟悉大模型调度优化技术，包括PD分离、多级缓存、多实例调度、负载均衡等
熟悉大模型引擎优化技术，包括prefill cache、tensor并行优化等，有cuda或triton算子优化经验优先
有昇腾、海光、平头哥、沐曦等算力芯片适配经验优先
AI 洞察
优缺点分析
优点
- 深度参与大模型核心技术的开发，技能积累快速，处于AI前沿领域
- 公司已上市，提供相对稳定的平台和资源支持，有助于长期职业发展
- 国产化适配项目有战略意义，能提升个人在行业内的技术视野和影响力
- 多模态和国产化适配涉及复杂技术栈，调试和解决问题难度较大
- 高并发MaaS服务开发对系统设计和稳定性要求严格，需具备较强的工程能力
- 适合对大模型技术有热情、追求技术深度、且能适应快速学习节奏的工程师，尤其希望从事AI基础设施优化和国产化方向的人才
缺点 / 挑战
- 大模型技术迭代快，需要持续学习新框架和优化方法，工作强度可能较高
角色解读
- 从技术执行者成长为大模型推理领域的专家，深入优化算法和系统架构
- 可向技术管理岗位发展，如团队负责人或技术经理，带领团队攻克技术难题
- 拓展在AI基础设施领域的影响力，参与前沿技术探索和行业标准制定
- 负责开发和优化大模型推理引擎，支持多模态模型的快速部署和高性能运行
- 针对业务场景进行模型性能优化，包括量化蒸馏和调度策略，以降低成本并提升效率
- 构建和维护大模型MaaS服务平台，确保高并发调用场景下的稳定性
- 处理大模型在国产芯片上的适配工作，推动技术自主化
- 掌握大模型推理框架如vllm、TensorRT-LLM等，具备模型优化和部署实战经验
- 熟悉调度优化技术，包括PD分离、缓存管理和负载均衡，以提升系统整体性能
- 具备CUDA或Triton编程能力，能够进行算子级优化，提高推理速度
- 了解国产算力芯片特性，有适配经验者更佳
申请策略
- 在投递时，可针对云知声的业务方向（如语音AI）展示相关理解，增强匹配度
- 准备面试时，梳理大模型从训练到部署的全链路知识，尤其关注推理优化环节
- 关注公司在大模型MaaS领域的进展，思考如何结合自身经验提出改进思路
- 突出大模型推理引擎开发或优化的项目经验，如使用vllm、TensorRT-LLM等工具的具体成果
- 强调调度优化、性能调优或高并发系统设计的相关经历，展示解决实际问题的能力
- 如有CUDA编程、算子优化或国产芯片适配经验，务必在简历中详细描述
- 列举参与过的MaaS服务开发或模型部署案例，体现工程化落地能力
- 深入学习PD分离、多级缓存等大模型调度技术，可通过阅读论文或实践项目提升
面试指南
- 使用STAR法则（情境、任务、行动、结果）回答经验类问题，突出个人贡献和量化成果
- 对于技术设计问题，先阐述整体思路，再分解关键组件，展示系统思维和优化能力
- 结合JD中的优先条件，提前准备相关技术点的深入解释，体现学习主动性和匹配度
- 请描述你使用vllm或类似框架优化大模型推理性能的具体经验
- 在高并发场景下，如何设计大模型MaaS服务的调度策略？
- 如何进行大模型的模型量化蒸馏？有哪些关键步骤和挑战？
- 你如何处理大模型在国产芯片（如昇腾）上的适配问题？
- 请解释PD分离在大模型推理中的作用及实现方式
职位点评
薪资福利75
成长发展85
工作生活60
使命价值70
薪资福利
75中等
该职位提供具有市场竞争力的薪资和福利，作为上市公司岗位，薪酬体系相对规范，能满足基本经济需求。
薪资信号市场水准 (1.8–3.5万/月)
成长发展
85较高
岗位涉及大模型推理优化、国产化适配等前沿技术，技能成长空间大，有利于积累AI基础设施领域的核心经验。
技术前沿前沿/新兴技术
技术栈大模型、LLM推理框架、vllm、TensorRT-LLM、CUDA、Triton、国产化适配
业务类型profit_center
工作生活
60中等
工作地点明确为南京市，但JD未提及办公模式，可能需现场办公；大模型开发通常涉及高强度工作，WLB可能一般。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
大模型技术推动AI应用落地，国产化适配有行业战略意义，但JD未强调社会价值或使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs