百度多模态方向（J93112）

-参与多模态基座模型架构的改进，包括但不限于视觉编码器的性能提升与效率优化 -参与多模态训练方法的改进，包括训练收敛速度的改进、模型融合的应用、强化学习算法的应用等 -针对多模态垂直领域场景（教育、OCR、文档理解、视觉定位、电商理解等）进行算法优化与落地，包括高质量数据筛选与合成、模型训练策略优化、评测体系构建等 -梳理与建设公开/Inhouse的Benchmark，作为模型训练的观测指标

-负责百度搜索多模态检索效果优化，深度参与多模态生成式大模型的算法研发与技术创新，重点应用于智能识图、图文问答、AI解题等场景 - 重点研究方向：工作涉及大模型、多模态、生成式、预训练、计算机视觉及基础NLP领域的前沿研究与应用 - 算法研究与创新：持续跟踪学术界与工业界技术动态，探索前沿算法在搜索场景的落地，设计并实现创新性搜索策略，推动搜索技术持续进步 - 跨团队协作：与产品经理、数据科学家、工程师等跨职能团队紧密协作，确保算法方案高效落地并产生实际业务价值

1. 设计和实现多模态，如文本、图像和视频模型，以优化我们的地图搜索、推荐和POI信息理解能力。 2. 深入研究和改进模型的性能，包括准确性、效率和可扩展性。 3. 与跨职能团队合作，包括数据工程师、产品经理和架构工程师，确保模型与业务目标一致。 4. 跟踪新的人工智能和机器学习研究，将新的研究成果应用于实际问题。 5. 负责模型的维护和迭代，确保其在动态环境中的稳定性和可靠性。

1.多模态智能体研发：研发大数据领域多模态智能体，融合表格、文本、图像、视频、语音、结构化数据等多源信息，构建感知-推理-决策-交互一体化智能系统，并应用于智能决策，人机协作场景； 2.跨模态理解与生成：设计跨模态对齐与融合算法，提升智能体对复杂语义（如视觉问答、图文生成、视频摘要）的理解与生成能力，开发多模态检索增强技术。