平安科技多模态大模型工程师

任职要求

1、硕士及以上学历，计算机、人工智能、模式识别、计算机视觉、NLP相关专业，博士优先；
2、3年及以上多模态大模型研发实战经验，完整深度参与过至少一款多模态理解模型从预训练、微调至业务落地全流程项目；有顶会论文、模型开源产出优先；
3、精通多模态大模型底层原理，熟练掌握LLM预训练、增量训练、模态编码器设计、跨模态对齐、SFT微调、RLHF/DPO对齐全套技术；熟悉ViT、CLIP、Qwen-VL、LLaVA等主流多模…

工作职责

1、负责多模态大模型（MLLM）全流程算法研发，完成模型持续预训练、增量后训练、指令微调SFT、偏好对齐Alignment全链路工作；开展模型结构设计、模态融合方案设计、损失函数设计优化、训练策略迭代制定，提升模型综合能力。
2、攻坚跨模态语义对齐、多模态特征融合、异构图文/图表/文档数据解析理解等核心技术难点，优化模型在跨模态检索、视觉问答VQA、Chart/DocVQA、图文理解、长文档逻辑推理、图文生成等任务效果。
3、跟踪全球多模态大模型前沿技术演进，结合业务场景输出技术路线规划，主导模型迭代优化、技术难点攻关，沉淀可复用技术方案。
4、深耕业务场景，探索多模态模型与智能体Agent融合落地，围绕文档智能解析、grounding，图表推理、专业内容问答、复杂逻辑推理搭建垂域应用方案，实现算法技术和业务深度融合。
5、牵头多模态模型项目完整研发、迭代与落地交付，针对业务痛点定制模型优化方案，持续验证、复盘提升模型线上表现。