声网
AI模型服务化工程师
AI模型服务化工程师
发布于 大约 4 小时前普通员工/个人贡献者
全职员工仅现场办公平台工程
平台工程
CI/CD
Go
Gpu推理
Nvidia Triton
Vllm
可观测性
性能优化
值不值得投
67综合评分
综合评分 67
聚焦AI模型工程化落地的技术深度岗，技术成长性强，补偿与生活化动机信号偏弱。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
38K
比平台工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
39 个在招
市场机会
选择适中
上海 · 平台工程 · 29 个在招
职位详情
关于这个职位
这是一个专注于将各类AI模型（包括大语言模型、计算机视觉、语音模型等）部署为稳定、高效、可观测的在线推理服务的工程师岗位
核心职责是构建模型交付的工程化闭环，确保模型服务的可靠性、性能、扩展性和成本效率，让算法成果能够稳定地服务真实用户
最低要求
具备 3 年及以上后端工程，云平台，基础设施，MLOps，ML Systems 或模型服务化相关经验
能力突出者不受年限限制
熟悉 Python，Go，Rust，C/C++ 中的一种即可，能够使用所选语言开发可维护的生产级服务与工程工具
熟悉 Linux，Docker，Kubernetes，理解容器生命周期，资源 requests 与 limits，健康检查，Service，Ingress，Deployment，HPA 等机制
具备 vLLM，NVIDIA Triton Inference Server 或同类推理框架的实际部署经验，能够解释框架选择与参数配置的工程依据
理解 CPU 与 GPU 推理的基础运行机制，包括线程与进程模型，内存与显存，批处理，并发控制，模型加载，驱动与运行时兼容
熟悉 HTTP，gRPC，SSE，DNS，TCP，TLS，反向代理与负载均衡等基础知识
能够独立进行性能压测，容量评估与瓶颈分析，并使用数据解释吞吐量，延迟，并发量，资源利用率与成本之间的关系
熟悉 Prometheus，Grafana，OpenTelemetry，Loki，Elasticsearch 或类似可观测性工具
具备生产环境故障排查能力，能够跨客户端，代理，应用，容器，操作系统与硬件层定位问题
具备清晰的文档能力与跨团队协作能力，能够把一次性上线经验沉淀为标准，工具和平台能力
工作职责
模型服务化与标准接入：建立模型交付规范
基于vLLM、Triton等框架将模型封装为在线服务
支持多种协议与调用模式
推理性能与资源效率：建立压测方法，分析性能指标
针对CPU/GPU模型进行优化
在性能与成本间做工程权衡
容器化与云原生部署：负责Docker容器化与Kubernetes环境下的部署、配置与运行
建设资源调度、弹性扩缩、发布与故障恢复机制
流量入口与服务治理：设计API Gateway或Proxy层，实现服务发现、流量路由、认证、限流、熔断等治理能力
可观测性与生产稳定性：建设日志、指标、链路追踪与告警体系
制定并维护SLI/SLO
参与故障处理与根因分析
发布流程与平台化能力：建设模型服务CI/CD
开发自动部署、验收与回滚能力
沉淀平台能力，推动平台化交付
容量规划与成本管理：完成容量评估与资源规划
建立成本统计
优化资源效率，在服务等级与成本间取得平衡
跨团队协作：与算法、后端、平台、SRE等团队协作，推动模型稳定上线
优先资格
有大规模 LLM 推理服务，多租户模型平台或统一模型网关建设经验
熟悉 TensorRT-LLM，TGI，KServe，Ray Serve，Seldon，BentoML 或其他相关框架
有 CPU 推理优化经验，熟悉 ONNX Runtime，OpenVINO，SIMD，NUMA，线程亲和性，量化或模型裁剪
有多机多卡，NCCL，RDMA，InfiniBand，GPUDirect 或 MIG 使用经验
熟悉 Helm，Argo CD，Terraform，GitOps 或 Kubernetes Operator 开发
有高并发 API，长连接，流式响应系统或高性能网关的设计经验
有公有云或私有云异构计算集群建设经验，理解 CPU 与 GPU 资源池的调度与成本模型
有资源计量，租户计费，成本归集或 FinOps 相关经验
AI 洞察
优缺点分析
优点
- 直接接触和处理最前沿的AI模型（尤其是大语言模型）落地工程问题，技术含金量高
- 工作成果（服务稳定性、性能指标、成本节约）有明确的量化衡量标准，易于体现价值
- 作为模型落地的“最后一公里”工程师，是连接算法与业务的桥梁，跨团队协作和影响力大
- 所积累的云原生、高性能服务、可观测性等技能具有很强的通用性和市场竞争力
- 需要处理生产环境中的复杂、异构的软硬件问题，对故障排查和定位能力要求高
- 工作涉及性能优化、成本控制与服务稳定性的多方平衡，需要较强的工程权衡与决策能力
- 技术栈更新快（如各种推理框架、K8s生态），需要持续学习和跟进最新技术
- 适合具备扎实后端与系统工程基础，对AI模型如何高效稳定运行有好奇心，乐于通过工程手段解决复杂问题，并追求系统可靠性与效率极致的技术人员
缺点 / 挑战
暂无明显挑战项
角色解读
- 可以沿着“模型服务化工程师 -> 高级模型平台工程师 -> MLOps/Infra技术专家”路线深耕技术深度
- 可以向“AI平台架构师”或“云原生架构师”方向发展，负责更宏观的平台与架构设计
- 具备跨团队协作能力后，也可转向技术管理岗位，负责AI基础设施团队
- 将各种AI模型（如LLM、视觉模型）封装、部署为稳定可靠的在线API服务
- 持续优化模型推理的性能（延迟、吞吐）与资源成本（CPU/GPU利用率）
- 构建和维护模型服务的全套云原生基础设施，包括容器化、K8s部署、CI/CD流水线
- 设计并实现服务治理（流量、熔断、限流）与全链路可观测性体系，保障生产稳定性
- 扎实的后端工程能力，精通Python或Go/Rust/C++中的一种，能开发生产级服务
- 精通Kubernetes与容器技术，熟悉GPU资源调度与异构计算环境
- 深入理解主流AI推理框架（如vLLM、Triton）和GPU/CPU推理原理
- 具备性能分析与调优能力，能熟练使用Prometheus、Grafana等工具进行观测与故障排查
申请策略
- 仔细阅读JD中的“核心衡量指标”，在简历和面试中针对性展示自己如何关注和优化这些指标
- 研究声网的产品（实时音视频）和其可能的AI应用场景（如语音识别、视频增强），思考模型服务化如何支撑这些业务
- 重点突出参与或主导过的模型部署、推理服务优化、MLOps平台建设等项目，量化性能提升或成本节约成果
- 详细描述对Kubernetes、Docker在生产环境中的运维、优化经验，特别是GPU资源调度和故障处理
- 列举熟悉的性能分析工具（如Prometheus）和优化手段（如批处理、内存管理），展现数据驱动解决问题的能力
- 强调跨团队（与算法、SRE、业务方）协作推动项目落地的经验和软技能
- 深入学习一款主流的GPU推理框架（如vLLM或Triton），尝试完成一个模型的部署与压测
- 系统梳理Kubernetes在GPU调度、资源管理、服务网格（如Envoy）方面的知识
面试指南
- 使用STAR法则：清晰阐述背景(Situation)、任务(Task)、采取的行动(Action)和最终结果(Result)，重点突出工程决策与量化收益
- 体现系统性思维：从问题定位、方案设计、实施步骤到验证监控，全面阐述思考过程
- 平衡技术深度与业务视角：既要展示对具体技术栈的深入理解，也要说明你的方案如何服务于可靠性、性能或成本等业务目标
- 请描述一个你将模型部署为线上服务的完整流程，遇到过哪些关键挑战？如何解决的？
- 如果要将一个大型语言模型（LLM）的P99延迟从1秒优化到500毫秒，你会从哪些方面入手？
- Kubernetes在GPU模型服务部署中可能遇到哪些资源调度和稳定性问题？你通常如何处理？
- 如何设计一个模型服务的健康检查和自动化回滚机制？需要考虑哪些关键点？
- 你如何衡量一次模型服务的性能和成本是否合理？会关注哪些指标？
职位点评
薪资福利60
成长发展85
工作生活55
使命价值65
薪资福利
60中等
JD未明确提及薪资范围、具体福利或奖金制度，补偿性信息不足。
薪资信号未披露（AI估算：25K-50K/月）
成长发展
85较高
该职位涉及LLM、多模态模型服务化等前沿技术领域，技能要求高且系统，平台化工作方向明确，对技术成长和架构能力提升有很强的推动作用。
技术前沿前沿/新兴技术
技术栈vLLM、NVIDIA Triton Inference Server、Kubernetes、Docker、大语言模型、Embedding模型、Rerank模型、计算机视觉模型
成长机会沉淀 Helm Chart，SDK，CLI，Operator 或内部平台能力，推动模型服务从项目制交付演进为平台化交付
业务类型profit_center
工作生活
55较低
JD未提及工作模式、弹性工作制等WLB相关信息，仅根据‘地点：上海’推断为现场办公。涉及生产稳定性保障，可能有响应线上问题的压力。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
65中等
该职位处于AI技术落地的关键环节，将前沿算法转化为可服务用户的产品，有一定技术价值感。行业（实时音视频+AI）处于增长赛道，但JD未明确强调社会使命或宏观愿景。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs