转转
服务器运维工程师（大模型部署与运维方向）(J15153)
服务器运维工程师（大模型部署与运维方向）(J15153)
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公IT运维
IT运维
Gpu集群
Linux运维
Vllm
大模型部署
故障排查
网络安全
值不值得投
76综合评分
综合评分 76
前沿大模型运维技术，高成长潜力，北京核心地段，工作强度待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.3万
比IT运维中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 180 个在招
市场机会
选择面较广
北京 · IT运维 · 93 个在招
职位详情
关于这个职位
负责转转公司内部大模型基础设施的搭建与运维，包括服务器环境初始化、GPU集群管理及国产开源大模型（如DeepSeek、Qwen等）的本地化部署
需保障推理服务稳定运行，进行性能优化、监控告警及故障排查，并推动大模型在内部业务中的落地应用与安全合规管理
最低要求
本科及以上学历，计算机、网络、电子、通信等相关专业，3年以上运维经验，有AI/GPU集群或大模型部署经验者优先
熟悉Linux系统（Ubuntu、CentOS、openEuler、麒麟、统信UOS等），具备Shell/Python脚本能力
熟悉服务器硬件、RAID、网络、存储（NFS、Ceph、分布式存储等）及常见故障排查
熟悉NVIDIA GPU环境，掌握驱动、CUDA、cuDNN、NCCL等配置
了解昇腾、海光、寒武纪、摩尔线程等国产AI芯片者优先
熟悉Docker、Kubernetes、Helm、GPU Operator等容器化与编排技术，具备GPU调度经验者优先
熟悉至少一种大模型推理/部署框架，如vLLM、SGLang、TensorRT-LLM、TGI、Ollama、llama.cpp、Xinference、FastChat等
了解国产开源模型生态，熟悉DeepSeek、Qwen、Kimi、GLM、InternLM等模型的下载、转换、量化、部署与API接入
熟悉Prometheus、Grafana、DCGM、ELK/Loki、Zabbix等监控日志工具
具备较强的问题排查能力，能处理GPU掉卡、驱动异常、OOM、NCCL通信失败、推理服务崩溃等常见问题
具备良好的沟通协调能力、文档沉淀能力和主动推进意识，能牵头外部技术对接并推动项目交付
工作职责
参与服务器采购后的技术评估、到货验收、上架规划、系统安装、网络配置、存储挂载及基础环境初始化
负责GPU/CPU服务器基础环境建设，包括GPU驱动、CUDA、cuDNN、NCCL、容器运行时、Docker、Kubernetes等安装与维护
牵头对接外部技术团队、供应商、开源社区或合作方，完成2～3个国产开源大模型（如DeepSeek、Qwen、Kimi等）的本地化部署、推理服务上线、API封装与内部接入
负责大模型推理服务的日常运维，包括服务启停、版本更新、模型切换、日志管理、监控告警、故障排查与恢复
监控GPU利用率、显存、温度、推理延迟、吞吐量、并发能力等关键指标，持续优化推理性能与资源利用率
负责模型量化、推理加速、批处理、并行策略等优化工作，熟悉vLLM、SGLang、Ollama、llama.cpp、Xinference、TGI等至少一种推理框架
为公司内部用户提供账号权限、访问控制、使用文档、操作培训及日常问题响应，推动大模型在内部落地使用
负责数据安全、网络隔离、访问审计、备份恢复、漏洞修复等运维安全工作，确保模型与数据合规可控
编写和维护运维文档、部署手册、故障处理SOP，推动自动化运维与标准化流程建设
与算法、业务、采购、网络、安全等团队协作，保障大模型平台稳定、高效、可持续运行
优先资格
有从0到1搭建GPU集群或大模型私有化平台的经验
熟悉One-API、Open WebUI、Dify、LangChain、RAG、向量数据库等大模型应用生态
有模型微调、蒸馏、量化、推理优化经验
有信创环境适配经验，如麒麟、统信、openEuler、鲲鹏、昇腾等
有K8s GPU调度、Volcano、Ray、KubeSphere、Rancher等经验
有开源社区贡献或技术博客输出者优先
AI 洞察
优缺点分析
优点
- 接触前沿的大模型私有化部署技术，积累宝贵的GPU集群运维经验
- 在公司内部推动AI落地，具有较大的业务影响力
- 需要同时兼顾传统IT运维与新兴AI运维技能，技术栈更新快
- 适合对AI基础设施感兴趣，具备扎实运维功底且愿意学习新技术的中高级运维工程师
缺点 / 挑战
- 大模型推理性能优化和故障排查难度较高，对问题解决能力要求高
角色解读
- 可向AI基础设施专家、MLOps架构师或云计算运维专家方向发展，随着大模型应用的深入，该领域人才需求将持续增长
- 负责构建和维护本地大模型运行的底层基础设施，包括服务器上架、网络配置及GPU集群搭建
- 精通Linux系统管理与Shell/Python脚本，熟练掌握Docker/Kubernetes容器化技术，熟悉NVIDIA GPU环境及主流大模型推理框架（如vLLM）
申请策略
- 准备关于如何处理GPU故障（如NCCL通信失败、OOM）的具体案例，展示你的排查思路和技术深度
- 突出GPU集群搭建、大模型部署（特别是国产模型）、Kubernetes GPU调度及性能优化的具体项目经验
- 深入学习vLLM、SGLang等推理框架原理，掌握模型量化与加速技术，提升对国产AI芯片环境的适配能力
面试指南
- 采用STAR法则（情境、任务、行动、结果）描述项目经验，重点突出技术选型理由、遇到的难点及解决方案、最终的性能提升效果
- 请描述你搭建GPU集群的经验，遇到过哪些典型故障？
- 如何优化大模型推理服务的性能和资源利用率？
- 熟悉哪些大模型推理框架？它们之间的区别是什么？
- 如何处理GPU驱动异常或NCCL通信失败等问题？
- 复习Linux内核参数调优、Kubernetes资源调度机制、GPU硬件基础知识，以及主流大模型推理框架的特性对比
职位点评
薪资福利75
成长发展90
工作生活60
使命价值70
薪资福利
75中等
北京地区资深技术岗位，薪资水平预计在市场水准以上，但JD未明确具体福利细节。
薪资信号未披露（AI估算：2.5千–4.0万/月）
成长发展
90较高
岗位涉及前沿的大模型私有化部署与GPU集群运维，技术含量高，成长空间巨大。
技术前沿前沿/新兴技术
技术栈GPU、Kubernetes、vLLM、DeepSeek、Qwen、Python、Linux
业务类型cost_center
工作生活
60中等
JD未明确提及弹性工作制或加班情况，但作为核心基础设施运维，可能需要应对突发故障，工作强度可能较高。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
通过推动大模型在内部业务中的落地，提升公司运营效率，具有一定的技术价值和社会意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
转转 的其他在招职位
相似职位推荐
Systems Operator
DXC Technology · 香港特别行政区
AI 估算 · 1.8–3.0万2 小时前发布
运维工程师
浪潮 · 重庆市
薪资 · 6.0千–1.2万8 小时前发布
VMware系统工程师
联想 · 天津市
AI 估算 · 1.2–2.0万16 小时前发布
SAP Basis Managed Service Engineer
联想 · 天津市
AI 估算 · 1.2–2.0万16 小时前发布
Administrator - Desk Side Services, AMT Asset Management Software
HCLTech · 北京市
AI 估算 · 1.2–2.0万20 小时前发布
Subject Matter Expert (Support&Ops)
HCLTech · 香港特别行政区
AI 估算 · 4.5–7.5万20 小时前发布
驻场服务工程师（京能和林）(J14539)
中科曙光 · 呼和浩特市
AI 估算 · 8.0千–1.3万1 天前发布
linux系统工程师（北京）(J14538)
中科曙光 · 北京市
AI 估算 · 1.2–1.8万1 天前发布
Watch Jobs