大模型算法工程师(文档解析方向)

优缺点分析

角色解读

• 技术深度方向：从文档解析专家成长为多模态大模型领域的技术专家，主导核心算法突破
• 技术广度方向：拓展到其他多模态场景（如图像生成、视频理解），成为全栈多模态算法工程师
• 管理方向：积累经验后转向技术团队管理，带领团队完成复杂项目
• 负责大模型产品中多模态文档解析技术的研发，包括OCR、版面理解、表格/公式识别等核心能力
• 主导数据闭环建设，自动化挖掘难例、优化数据分布，提升模型效果
• 针对复杂表格、公式等高难度场景设计专项方案，解决业务中的解析badcase
• 跟踪多模态大模型前沿技术（如视觉语言模型、Agent），结合业务场景进行技术选型和落地验证
• 扎实的Python编程和PyTorch等深度学习框架使用能力
• 熟悉OCR、文档智能或计算机视觉方向至少一项，并有完整项目落地经验
• 了解多模态大模型训练流程（预训练、SFT、RLHF/DPO等），具备大规模数据处理和分布式训练经验
• 良好的工程素养和协作沟通能力，能独立推动问题闭环

申请策略

• 深入了解腾讯ima等产品的文档解析痛点，在面试时提出针对性的改进思路
• 关注公司文化和团队工作方式，表现出对技术创新的热情和团队协作意识
• 突出文档智能或OCR相关项目经验，尤其是从模型设计到落地的完整流程
• 强调多模态大模型训练经验，如SFT、RLHF等，并附上具体成果指标
• 展示数据处理和优化能力，如难例挖掘、数据分布调整等实际案例
• 如果有开源贡献或技术博客，务必提及以体现技术影响力
• 系统学习多模态大模型最新论文（如LLaVA、Qwen-VL等），上手复现相关模型
• 熟悉文档解析相关工具（如PaddleOCR、Tesseract）和常用数据集

面试指南

• 项目经验类问题用STAR法则：背景-任务-行动-结果，突出技术难点和量化指标
• 技术方案类问题先分析问题本质，再提出可选方案并比较优劣，最后结合实际业务给出建议
• 前沿技术类问题展示学习能力和技术视野，但需要落脚到业务价值，避免空谈
• 请详细讲解你过去负责的一个文档解析项目的技术方案和落地效果
• 如何设计数据闭环来持续提升OCR或表格识别模型的线上表现？
• 多模态大模型训练中，如何平衡不同模态的数据和损失？你有哪些实践经验？
• 对于复杂表格（如合并单元格、跨页表格）的识别，你有什么思路？
• 你如何跟踪和评估多模态领域的最新进展？如何将新技术应用到现有业务中？