趋势科技
Staff/Sr. ML Infrastructure / Platform Engineer
Staff/Sr. ML Infrastructure / Platform Engineer
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公平台工程
平台工程
Llm Serving
Lora
Nvidia Gpu
Sglang
值不值得投
78综合评分
综合评分 78
上市巨头核心AI基建岗、技术栈极度前沿、成长空间大，WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
11.5万
比平台工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
76 个在招
职位详情
关于这个职位
该职位负责构建和运维企业级GPU加速的大语言模型（LLM）服务平台
你将管理Kubernetes集群与GPU基础设施，优化多GPU推理性能，并利用IaC和可观测性工具保障系统的高可用与成本效益
最低要求
操作多模型LLM服务基础设施
调整自动扩缩容策略以平衡GPU成本和延迟SLA
运行带有NVIDIA GPU节点的生产K8s集群
处理GPU节点生命周期：NVIDIA驱动设置
编写和维护用于AWS/GCP云端的Terraform/Terragrunt模块
将平台组件和模型部署打包为Helm charts
管理多环境配置
维护监控栈：Prometheus, Grafana
构建GPU利用率、KV cache占用、TTFT/ITL延迟和每token成本的仪表板
设置SLA违规和OOM事件的告警
工作职责
设计、构建和运行服务大语言模型的基础设施，从原始Kubernetes集群管理到多GPU推理优化和自动扩缩容
操作多模型LLM服务基础设施
调整自动扩缩容策略以平衡GPU成本和延迟SLA
运行带有NVIDIA GPU节点的生产K8s集群，处理GPU节点生命周期（如NVIDIA驱动设置）
编写和维护用于AWS/GCP云端的Terraform/Terragrunt模块
将平台组件和模型部署打包为Helm charts，管理多环境配置
维护监控栈（Prometheus, Grafana），构建GPU利用率、KV cache占用、TTFT/ITL延迟和每token成本的仪表板
设置SLA违规和OOM事件的告警
优先资格
LoRA / PEFT 微调工作流
使用 MLflow 进行实验跟踪、模型注册和自动化适配器部署
构建 LoRA 适配器 CI/CD 管道（训练 → 注册 → 服务）的经验
使用替代推理框架（如 SGLang 或 NVIDIA NIM）的经验，包括针对 Continuous Batching、KV Cache 管理和 Speculative Decoding 的深度参数调优
AI 洞察
优缺点分析
优点
- 处于AI大模型基础设施的核心领域，技术栈极度前沿（GPU、LLM Serving、K8s）
- 在超大型上市企业工作，能接触到企业级规模的高并发、高可用AI产品落地场景
- 涉及底层硬件驱动、集群管理及上层推理框架，技术栈深且广，学习曲线陡峭
- 适合具备扎实云原生与K8s运维基础，且对大模型推理优化、GPU算力调度有浓厚兴趣的资深基础架构工程师
缺点 / 挑战
- 需要平衡GPU高昂成本与严格的延迟SLA，技术挑战与运维压力较大
角色解读
- 可向资深ML平台架构师或AI基础设施技术专家方向发展，主导底层架构演进
- 随着大模型应用的普及，有机会参与更大规模的AI算力集群规划与前沿推理技术落地
- 负责构建和运维企业级GPU加速的大语言模型（LLM）服务平台，支撑多个AI产品的底层算力需求
- 管理Kubernetes集群与GPU基础设施，优化多GPU推理性能并实现自动扩缩容
- 利用IaC和可观测性工具保障系统的高可用性、性能指标及成本效益
- 精通Kubernetes集群管理及NVIDIA GPU节点的生命周期维护与驱动配置
- 熟练掌握Terraform/Terragrunt等IaC工具及Helm charts进行多云环境部署
- 具备LLM推理优化、Prometheus/Grafana监控体系搭建及性能调优经验
申请策略
- 深入了解趋势科技在AI安全及企业级AI产品方面的业务布局，准备关于如何在保障安全合规的前提下优化大模型推理性能的思路
- 突出在Kubernetes集群管理、GPU节点调度及NVIDIA驱动配置方面的实际生产经验
- 展示使用Terraform/Helm进行多云（AWS/GCP）基础设施即代码管理的成功案例
- 强调在LLM推理优化、监控告警及成本/延迟平衡方面的具体量化成果
- 提前了解SGLang、NVIDIA NIM等新型推理框架及Continuous Batching、KV Cache管理等底层优化技术
- 熟悉LoRA/PEFT微调工作流及MLflow等模型生命周期管理工具
面试指南
- 采用STAR原则（情境、任务、行动、结果）回答项目经验，突出解决复杂问题的逻辑
- 对于架构和优化问题，先阐述核心痛点（如成本与延迟的矛盾），再分层讲解解决方案（如调度策略、参数调优、监控反馈），最后量化业务收益
- 如何调整K8s自动扩缩容策略以平衡GPU成本与LLM推理延迟SLA？
- 在管理带有NVIDIA GPU节点的生产K8s集群时，遇到过哪些驱动或生命周期管理的挑战？
- 请描述你如何使用Terraform和Helm构建多环境的LLM服务平台部署流程
- 如何设计监控仪表板以追踪GPU利用率、KV Cache占用及TTFT/ITL延迟？
- 你如何看待SGLang或NVIDIA NIM等推理框架在Continuous Batching和KV Cache管理上的优势？
- 复习K8s GPU调度机制（如Device Plugin、MIG）及主流LLM推理框架（vLLM, SGLang）的底层原理
职位点评
薪资福利80
成长发展90
工作生活60
使命价值75
薪资福利
80较高
作为超大型上市企业的Staff级别岗位，薪资和福利具有市场竞争力，能提供稳定的薪酬回报。
薪资信号未披露（AI估算：8千–15万/月）
成长发展
90较高
岗位涉及最前沿的LLM推理优化和GPU集群管理，技术深度和广度极高，有利于个人技术能力的快速跃升。
技术前沿前沿/新兴技术
技术栈Kubernetes、NVIDIA GPU、LLM Serving、Terraform、Helm、Prometheus、Grafana、LoRA、SGLang
业务类型profit_center
工作生活
60中等
JD未明确提及工作模式和加班情况，但作为核心基础设施岗位，可能需要应对线上突发问题，WLB情况无法确切判断。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
趋势科技致力于“连结智慧守护世界”，在AI安全领域具有使命感，岗位支撑企业级AI产品，具有较高的社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号連結智慧 守護世界、Connected Intelligence for Securing a Connected World
创新程度积极采用新技术
趋势科技 的其他在招职位
相似职位推荐
Watch Jobs