百度高级多模态算法工程师（J93602）
任职要求
-计算机、人工智能相关专业背景，硕士及以上学历，有多模态应用落地经验者优先 -熟悉 NLP、CV、语音处理中的至少一个方向，了解跨模态应用的主流方案 -熟练掌握 Python，具备使用 PyTor…
工作职责
-负责多模态大模型应用层算法研发与调优，涵盖文本、语音、视觉等模态的联合建模与任务优化 -设计并优化多模态对话、生成、检索、问答等核心能力，提升模型在跨模态场景下的推理与交互体验 -与产品、设计、前端团队紧密协作，推动多模态交互在移动端、Web 端及端侧设备上的落地 -持续跟进业界多模态应用进展（如智能助手、AI 修图/视频、跨模态搜索），快速完成技术评估与产品化 -通过数据分析与用户反馈，优化模型效果，提升业务关键指标（DAU、转化率、留存率等）
1. 参与个性化大模型算法设计、实现和优化，提升模型用户特征提取、行为挖掘及精准画像等核心能力； 2. 协同产品与工程团队，推动个性化大模型在手机业务中的创新应用，包括但不限于个性化问答、推荐系统、智能交互等场景； 3. 持续跟踪学术界与工业界在个性化大模型领域的最新进展，探索技术突破点并推动团队技术迭代，保持行业领先性。
负责对话相关的前沿算法研究与应用落地，确保对话效果处于行业前列 产出预期： 1、钻研对话 Agent 多模态算法，主导方案效果验证、迭代优化与前沿创新，聚焦多模态特征对齐、多轮对话决策、工具调用、任务编排等关键领域，探索多模态联合建模策略的最大收益，推动技术突破与行业领先。 2、负责与高校合作对话相关的产学研项目，推进学术前沿研究成果转化落地 3、 产出对话算法创新方案的论文与专利"
1. 负责多模态大模型压缩算法研发，探索并实现极低bit量化技术和稀疏化技术，保持推理精度的同时减少模型存储和计算资源消耗； 2. 负责多模态大模型编解码加速算法研发，降低端侧模型推理成本； 3. 参与端侧大模型技术体系建设，探索和实现高效大模型架构，开发和优化内部模型端侧化部署工具链。 4. 跟进大模型前沿技术发展趋势，探索相关算法的创新优化，发表高质量研究论文。
1. 负责多模态大模型的构建，包括数据处理和构造、预训练和后训练算法优化，评测benchmark的构建等 2. 负责多模态大模型的下游算法及应用研究，包括图文问答、视频问答、搜索增强、统一理解和生成模型、多模态创作、多模态总结、多模态检索等； 3. 负责多模态大模型在移动端场景的算法优化和应用落地，包括视觉文本处理、UI界面理解和操作、function call等能力的提升 4. 跟进业界前沿技术，持续提升团队在多模态算法方面的技术积累。