百度健康事业部-多模态大模型算法工程师-2026AIDU(J85503)
任职要求
-计算机科学、人工智能、电子工程、数学等相关专业TOP院校统招硕士及以上学历； -熟悉深度学习理论和算法，尤其是在多模态模型领域有研究或项目经验； -具备图像处理、自然语言处理、语音识别等至少一个领域的实践经验，熟悉主流模型； -…
工作职责
-负责多模态大模型中全模态数据（文本、图像、音频、视频等）的采集、处理、采样、配比等全流程数据管线的建设，以及相关的模型结构设计、效果优化，构建适合医疗健康领域的多模态大模型； -研究并实现跨模态信息融合的算法和技术，提升模型在健康内容/服务等场景中的理解和生成能力； -跟踪多模态深度学习的最新研究进展，探索和落地前沿技术（如预训练、自监督学习、小样本学习等）； -与产品和工程团队紧密合作，推动多模态技术在搜索、推荐、AIGC等领域的全链路落地应用； -分析和解决在多模态数据处理过程中遇到的技术难题，持续提升模型的智能化水平和商业价值。
1. 负责多模态大模型的算法研发与迭代，覆盖图文、视频、语音、3D等多模态融合理解与生成； 2. 研究跨模态对齐、对比学习、扩散模型、视频生成、图像编辑、3D生成、风格迁移等前沿技术； 3. 参与多模态数据pipeline建设、评测体系设计与业务落地，推动模型在搜索、推荐、AIGC、健康、自动驾驶、网盘文库、视频理解、解题等核心场景中的应用； 4. 研发方向包括但不限于：视觉感知算法、多模态理解模型、图像/视频生成、模型压缩轻量化、文档多模态等； 5. 建设多模态数据管线，优化模型训练与推理效率，完成算法模型的训练、优化和部署。
1. 大模型数据体系建设：负责多模态（图/影/文）全链路数据工程，涵盖接入、清洗过滤、模态对齐、采样配比及版本管理。 2. 自动化流水线：设计并落地高并发数据处理 Pipeline，提升数据产出效率、稳定性与实验可复现性。 3. 质量评估与监控：建立多维度数据质量指标（如时序一致性、模态对齐度、噪声率等），构建自动化 QA 与健康度监控看板。 4. 数据策略优化：针对模型训练目标制定数据策略，包括难例挖掘、长尾补齐、负样本构造及数据混配，通过实验驱动模型收益。 5. 闭环迭代：协同模型与业务团队，针对 Bad Case 定位数据问题，打通“数据-训练-评估-回流”的闭环迭代。
1. 构建下一代基于大模型的 Autonomous Agent 系统，让 AI 从“对话工具”进化为“可执行任务的智能体”； 2. 设计复杂任务的 规划（Planning）—执行（Acting）—反思（Reflection）闭环，提升 Agent 的自主决策能力； 3.搭建 Agent 的核心能力体系，包括： Tool / API 调用（函数调用体系）、长短期记忆（Memory）机制、多轮推理与状态管理（Reasoning & State）； 4. 探索并落地 多Agent协作（Multi-Agent Systems），解决复杂业务问题（如自动化流程、复杂决策、智能运营等）； 5. 深度参与 RAG（检索增强生成）+ Agent 融合架构设计，构建具备知识理解与行动能力的系统，推动 Agent 在真实场景中的应用落地（如搜索、医疗、企业服务、数据分析、自动化办公等）参与 Agent 系统的评测体系建设（Eval），优化智能体的：成功率 / 稳定性、成本（Token / 调用）、延迟与用户体验； 5. 持续跟踪前沿方向（如 Tool Learning、Self-Improvement、长期记忆、World Model、多模态 Agent），并进行工程化落地。
1. 参与生态合规治理业务的系统设计与研发。紧贴业务痛点，在内容、作者、POI等核心治理方向上，攻坚复杂场景下的技术方案落地与架构演进，协同业务捍卫社区生态的合规与健康。 2. 驱动信息处理平台的架构设计与演进，探索并融合大模型与AI Agent等前沿技术和创新策略，打造“响应敏捷、处理高效、成本最优”的智能化平台底座，为评价、笔记、POI等内容提供覆盖数据加工、多模态理解与自动化审核全链路闭环能力。 3. 负责内容中心的架构设计与落地。针对海量多模态异构数据，设计并实施深度数据建模与分布式存储选型，构建统一的元数据及衍生数据表征体系，为上层业务提供高并发、低延迟的精准检索与稳定内容供给服务。 4. 持续探索并推动AI技术在内容理解、审核提效及日常研发中的深度结合与落地，以技术创新驱动业务指标优化与团队效能提升。