智元机器人
机器人端侧模型运行与性能工程师
机器人端侧模型运行与性能工程师
发布于 大约 10 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
软件工程
Cuda
Grpc
Llm
Onnx Runtime
Sglang
Tensorrt
Vllm
Vlm
Websocket
AI 估算 · 30k–50k
上海AI推理工程师，要求3年+经验，技能栈前沿，市场稀缺度高，薪资有竞争力。
职位详情
关于这个职位
该职位负责机器人端侧多模态模型（LLM、VLM、Omni等）的运行系统设计、开发与性能优化，包括模型拆分、轻量化适配、端云分层部署和双向流式推理API建设
你将深入推理后端（TensorRT、vLLM等）和流式系统，为机器人实时交互提供低延迟、高可靠的模型运行底座，属于技术深度较高的研发岗
最低要求
本科及以上学历，计算机、软件工程、人工智能、电子信息、自动化、高性能计算等相关专业优先
具备 3 年以上 AI 推理系统、端侧模型运行、高性能计算、异构计算、实时音视频、机器人软件、智能座舱或大模型基础设施相关经验
熟练掌握 C++，具备良好的 Python 和 Linux 开发、调试及性能分析能力
在以下两个方向中，至少一个方向具备深入项目经验，并对另一方向有完整理解：
模型推理 Runtime、推理后端、模型服务或端侧运行系统
双向流式协议、实时音视频、异步网络或低延迟流式系统
熟悉 TensorRT / TensorRT-LLM、vLLM / SGLang、ONNX Runtime、Triton、CUDA 或厂商 NPU/DSP 工具链中的至少一种
理解 Transformer、LLM、VLM 或 Omni 模型的基本推理流程，熟悉 Prefill / Decode、KV Cache、Streaming Generation 和动态/静态 Shape 等概念
具备多线程、异步任务、内存管理和性能 Profiling 能力
工作职责
建设端侧多模态模型运行系统：负责 LLM、VLM、Omni、ASR、TTS 等模型的统一接入与稳定运行，完成模型拆分、轻量化适配、端云分层部署和推理引擎构建
建设双向流式推理 API：基于 gRPC 双向流、WebSocket 等协议，支持音频、视频、文本流式输入和文本、语音增量输出，并管理 Session、Deadline、序列一致性和流量反压
建设模型流式中断能力：实现 Streaming Infer、Cancel、Abort 和 Timeout，支持用户插话时快速停止模型生成及音频输出，并保障 Buffer、队列和 KV Cache 等运行时资源状态一致
负责推理后端适配与性能优化：适配 TensorRT、TensorRT-LLM、vLLM、SGLang、ONNX Runtime 及厂商 NPU/DSP 工具链，开展模型导出、量化、精度对齐和性能优化
建设资源调度、性能与稳定性闭环：优化多模型资源分配和音视频数据通路，建立 TTFT、首音频输出延迟、Audio-to-Audio Latency、Cancel 响应时延及 P95/P99 等性能基线，完善 Trace、自动化回归和长稳测试，并支持真实机器人联调与 Demo 交付
优先资格
有 Qwen-Omni 或类似原生多模态、Any-to-Any、端到端语音交互模型的拆分、流式推理或端云分层运行经验
有 gRPC 双向流、WebSocket、RTC、Realtime API 或流式 SDK 设计经验
有请求级 Cancel、原生流式中断、Session 资源隔离、KV Cache 回收或 Deadline 管理经验
有 Jetson Orin、Thor、高通 SoC、地平线、昇腾等边缘 AI 平台的模型运行和性能优化经验
熟悉 FP8 / INT8 / INT4 量化、CUDA Kernel、TensorRT Plugin、计算图优化，或有机器人、智能座舱、自动驾驶等真实端侧项目交付经验
AI 洞察
优缺点分析
优点
- 涉及前沿的多模态大模型和端侧推理技术，技术成长空间大
- 公司处于机器人AI领域风口，产品落地性强
- 工作内容深入底层，可积累稀缺的高性能计算和流式系统经验
- 技术要求全面且深入，需要同时掌握模型推理、流式协议和性能优化，学习曲线陡峭
- 端侧资源受限，优化难度高，需处理低延迟、高可靠等严苛指标
- 团队可能处于快速迭代期，工作节奏较快
缺点 / 挑战
- 适合有AI推理或高性能计算背景、热爱底层技术、愿意挑战复杂系统工程问题的工程师
角色解读
- 可向AI推理架构师或端侧模型优化专家发展，深入底层推理引擎和芯片适配
- 也可转向机器人实时交互系统或自动驾驶端侧推理方向，技术迁移性强
- 积累端侧模型部署经验后，可晋升为技术负责人或技术经理，带领团队建设推理基础设施
- 设计并优化机器人端侧多模态模型（LLM、VLM、Omni等）的运行系统，完成模型拆分、轻量化适配及端云分层部署
- 基于gRPC/WebSocket构建双向流式推理API，支持音视频文本流式输入和增量输出，并管理会话、中断与资源隔离
- 适配TensorRT、vLLM、ONNX Runtime等推理后端，进行模型导出、量化及性能优化，建立TTFT、延迟等性能基线
- 精通C++和Python，具备Linux开发与性能分析能力
- 深入理解Transformer架构及LLM/VLM推理流程，熟悉KV Cache、Prefill/Decode、Streaming Generation等概念
- 至少熟悉一种推理后端（TensorRT、vLLM、SGLang等）和流式协议（gRPC、WebSocket）
- 具备多线程、异步编程、内存管理和性能Profiling经验
申请策略
- 了解智元机器人的产品方向（如人形机器人），在申请中表达对该领域的技术热情
- 强调自己对端侧推理性能和实时系统的理解，而非仅仅模型训练
- 突出端侧模型部署或推理优化的项目经验，详细描述使用的工具链和性能指标
- 强调流式系统设计经验，如gRPC双向流、WebSocket或实时音视频项目
- 展示C++和Python编程能力，可附上性能分析或优化案例
- 提前学习TensorRT-LLM、vLLM的部署与调优方法
- 熟悉gRPC双向流和异步网络编程，可练习简单的流式推理原型
面试指南
- 对于性能优化问题：先定位瓶颈（Profiling），再说明优化策略（如算子融合、量化、降低显存拷贝等），最后给出效果数据
- 对于系统设计问题：从需求分析入手，明确关键指标（延迟、吞吐、中断响应），再分层设计模块（API、调度、推理引擎），并考虑异常处理
- 请描述你在端侧部署LLM时遇到的性能瓶颈及优化方法
- gRPC双向流如何实现流式推理的中断和资源回收？
- TensorRT-LLM中KV Cache是如何管理的？如何进行量化？
- 如何设计一个支持取消的流式推理API？
- 解释TTFT和Audio-to-Audio Latency的含义及优化思路
- 复习Transformer推理计算流，重点掌握Prefill/Decode、KV Cache、Streaming Generation原理
职位点评
68
综合评分
前沿AI推理工程师，技术成长极高，但工作强度大，薪资有竞争力。
更适合这类人
该职位最适合追求技术深度和前沿领域的发展型求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展90
工作生活40
使命价值70
薪资福利
70中等
薪资未明确披露，但根据职位要求和技术稀缺性，预计薪资水平在市场上有竞争力；福利未提及，但公司处于B轮且规模较大，可能提供股权等。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
90较高
职位涉及前沿多模态模型、端侧推理和性能优化，技术栈新且深入，成长空间极大；JD中明确提到了多种高级技术工具和优化任务，但未直接提及晋升通道或培训。
技术前沿前沿/新兴技术
技术栈LLM、VLM、Omni、TensorRT、vLLM、SGLang、CUDA、gRPC、WebSocket、量化、KV Cache
业务类型profit_center
工作生活
40较低
职位明确要求现场办公，未提及远程或弹性工时；工作涉及高性能优化和实时系统，可能需要投入大量时间调试，强度较高。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
机器人行业处于高速增长赛道，但职位本身偏底层技术，社会影响力相对中性；公司致力于机器人智能，有一定使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs