百度多模态大模型算法工程师（J97347）
任职要求
-基础素质： 计算机、自动化或相关专业硕士及以上学历，3 年以上 AI 算法研发与落地经验 -编程能力： 具备扎实的 Python/C++ 编程基础，熟练掌握 PyTorch/TensorFlow 等深度学习框架，具备优秀的系统设计与代码工程能力 -深刻理解 Trans…
工作职责
-大模型落地与演进： 主导多模态大语言模型（MLLM/VLM）在垂直业务场景的落地。负责构建从数据合成、SFT 到 RLHF 的自动化演进闭环，解决长尾场景下的模型泛化与持续迭代难题 -前沿感知算法攻坚： 负责视频动作识别、时空行为分析及具身感知等核心算法的预研与突破。结合业务痛点，提升智能体在复杂物理环境中的理解与决策能力，刷新业务 SOTA -极致工程化与部署： 负责算法模型在**端侧（Edge）**与云端的高性能部署。通过算子优化、模型量化及异构计算适配（TensorRT/NPU），打造高吞吐、低延迟的推理引擎，支撑产品规模化商用 -技术沉淀与影响力： 负责关键技术难点的攻关与复盘，沉淀通用算法资产与行业解决方案。通过高质量专利、技术白皮书及顶会论文，推动技术标准建设，提升团队行业影响力
1. 负责生态链产品大模型算法研发，主要是基于基座模型的finetune和应用 2. 负责大模型算法落地应用，包括IPC、智能门锁、智能音箱等场景，与产品和工程紧密配合，将大模型算法在能产生用户价值的场景中进行落地 3. 大模型算法部署和小型化研究，适配低成本和低算力设备 4. 可能会参与传统深度学习模型的研发和落地
1、打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术； 2、深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果； 3、图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力； 4、混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。
1. 负责多模态大模型数据构建、模型训练、模型自动化评测构建等工作。 2. 全方面提升多模态大模型通用、车端、具身性能。 3. 跟进大模型前沿工作
1. 探索研究多模态理解、生成式AI、机器学习、强化学习、AIGC、计算机视觉、人工智能等前沿技术； 2. 探索大规模/超大规模多模态理解与生成交织的基础模型，并进行极致系统优化；数据建设、指令微调、偏好对齐、模型优化；提升数据合成、Scalable Oversight、模型推理、规划能力，构建全面客观准确的评测体系，探索提升大模型能力； 3. 探索突破包括而不限于多模态RAG，视觉COT与Agent等在内的多模态模型、世界模型进阶能力，构建GUI/游戏等虚拟世界的通用多模态Agent； 4. 利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模，提供多模态交互探索的基本能力，推动应用落地，研发以人工智能技术为核心的新技术、新产品。