阿里巴巴
端云多模态智能体推理&调度-阿里星/A Star
端云多模态智能体推理&调度-阿里星/A Star
发布于 大约 4 小时前普通员工/个人贡献者
北京市 / 杭州市
专家级经验
全职员工
仅现场办公
硕士
人工智能
Onnx Runtime
Pytorch
Tensorrt
Vllm
多模态
模型压缩
端侧推理
量化
AI 估算 · 50k–80k
职位详情
关于这个职位
该职位是阿里巴巴面向政企场景的多模态智能体推理与调度方向的高级研究岗位，聚焦端侧模型压缩、端云协同推理架构及多模态ReAct框架，旨在推动智能体在办公终端的流畅运行与行业落地
适合具备扎实算法与系统工程能力、追求前沿技术研究的人才
最低要求
）计算机科学、人工智能等相关学历背景，研究方向聚焦多模态学习、模型压缩与高效推理、文档理解、分布式/端侧推理中的一项或多项
）精通Python/C++/PyTorch，有极强的动手和代码能力，具备大模型推理系统开发经验，熟悉vLLM、llama.cpp、TensorRT、ONNX Runtime、OpenVINO等框架者优先
）扎实掌握模型量化（GPTQ/AWQ等）、多模态模型架构（ViT、Cross-Attention等）、文档理解（OCR/Layout分析）、端侧推理优化等核心技术中的一项或多项，具备算法创新与系统工程能力
）前沿技术研究：跟踪多模态大模型、终端高效推理与端云协同领域的最新研究进展，在顶级会议（NeurIPS, ICML, CVPR, ACL, MLSys）发表相关论文
工作职责
）负责面向政企场景的多模态智能体终端推理技术研究，突破办公PC上的模型极致压缩、文档视觉Token压缩与CPU/NPU推理加速等核心技术，实现多模态智能体在办公终端的流畅运行
）设计并实现安全感知的端云协同推理架构，支持敏感数据终端本地推理、非敏感任务智能分流云端、压缩表征安全传输，覆盖文档审阅、合规审查、辅助审批、知识问答等核心政企业务场景
）构建面向政企业务的多模态ReAct推理框架，支持文档理解、跨文档对比、知识检索增强推理等深度智能体能力
）推动端云协同推理方案在政务、金融、能源、法务等多个行业的落地验证，持续优化推理体验与数据安全保障
）主导或参与开源政企端云推理工具链的研发与推广，提升技术影响力
AI 洞察
优缺点分析
优点
- 技术前沿：涉及多模态大模型、端云协同等热门方向，技术含量高
- 平台优势：阿里巴巴提供丰富的资源和场景，利于技术落地和职业发展
- 薪资竞争力：阿里星项目薪资待遇优厚，福利完善
- 技术难度大：需要同时掌握模型压缩、推理优化、多模态架构等多领域知识
- 竞争激烈：岗位要求高，候选人需具备顶尖技术能力
- 适合对AI技术有热情、具备扎实算法和工程能力、追求技术深度和影响力的人才
缺点 / 挑战
- 工作强度高：大厂研发节奏快，可能面临较大压力
角色解读
- 技术专家路线：深耕端侧推理与多模态智能体领域，成为行业技术权威
- 管理路线：主导团队技术方向，晋升为技术主管或架构师
- 行业影响力：通过开源项目和技术分享，提升个人在AI领域的影响力
- 负责多模态智能体在办公终端上的推理优化，包括模型压缩、Token压缩和CPU/NPU加速，确保流畅运行
- 设计端云协同推理架构，实现敏感数据本地推理、非敏感任务云端分流，保障数据安全
- 构建多模态ReAct推理框架，支持文档理解、跨文档对比、知识检索增强等深度智能体能力
- 推动方案在政务、金融、能源、法务等行业的落地验证，并参与开源工具链的研发与推广
- 精通Python/C++/PyTorch，具备大模型推理系统开发经验，熟悉vLLM、llama.cpp、TensorRT等框架
- 扎实掌握模型量化（GPTQ/AWQ）、多模态架构（ViT、Cross-Attention）、文档理解（OCR/Layout）等核心技术
- 具备算法创新与系统工程能力，能够跟踪前沿研究并发表顶级会议论文
申请策略
- 了解阿里巴巴在政企AI领域的业务布局，准备相关案例
- 关注阿里星项目的培养体系，展示长期发展潜力
- 突出大模型推理系统开发经验，如vLLM、TensorRT等框架的实际项目
- 强调模型压缩、量化、多模态架构等核心技术的项目成果
- 展示顶级会议论文或开源项目贡献，体现研究能力
- 补充端侧推理优化经验，如NPU、CPU加速
- 熟悉端云协同架构设计，了解数据安全传输方案
面试指南
- 回答时采用STAR法则，结合具体项目经历，突出技术难点和解决方案，展示系统思维和创新能力
- 请描述你在大模型推理优化方面的项目经验，如何实现模型压缩？
- 如何设计端云协同推理架构以保障数据安全？
- 你如何跟踪多模态大模型的最新进展？
- 请解释ReAct框架在文档理解中的应用
- 你如何平衡推理速度与模型精度？
- 复习模型压缩、量化、推理优化等核心知识
- 准备端云协同架构设计案例，强调安全与效率
职位点评
80
综合评分
阿里星项目，前沿技术栈，薪资高，成长快，但工作强度大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、薪资优厚、能接受高强度工作的人才。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活50
使命价值80
薪资福利
85较高
阿里巴巴作为巨头企业，薪资水平高，福利完善，但JD未明确具体薪资，需面议。
薪资信号面议 (50K-80K/月)
成长发展
95较高
该岗位技术前沿，涉及多模态、端云协同等新兴领域，提供顶级会议论文机会，成长空间大。
技术前沿前沿/新兴技术
技术栈多模态、模型压缩、端侧推理、ReAct、量化、vLLM
成长机会发表相关论文
业务类型profit_center
工作生活
50较低
工作地点在北京或杭州，需现场办公，未提及弹性工作，大厂工作强度可能较高。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
该岗位推动AI在政企场景落地，具有社会价值，行业前景广阔。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号提升技术影响力
创新程度积极采用新技术
Watch Jobs