京东AI大模型基础算法工程师（多模态）
任职要求
任职要求 1、研究方向为人工智能、大语言模型、搜索推荐、强化学习，硕士以上学历； 2、在顶级期刊或国际会议（如CCF-A）上，以第一作者发表论文；或者在顶级竞赛上获奖； 3、熟悉多模态视觉大模型相关算法（LLaVa、Chameleon、Qwen-VL、OpenCLIP…
工作职责
部门介绍 图像与多模态实验室致力于构建涵盖语言、视觉、语音等多种模态的基础模型，支持多模态感知、理解、推理、生成与编辑等核心任务。我们的目标是为模型应用提供世界一流的基础模型保障，推动从纯语言任务到多模态任务的拓展，并实现从数字世界到物理世界的深度融合。 岗位职责及目标 1、探索大规模/超大规模多模态视觉大模型，并进行极致系统优化，数据建设、指令微调、偏好对齐、模型优化； 2、探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成； 3、探索多模态推理模型（Reasoning）架构、提升多模态在学科、通用视觉任务上的思考和推理能力； 4、探索多模态视觉大模型后训练方法，探索指令微调、强化学习等后训练策略，提升模型的性能；
【部门介绍】 阿里云智能大数据和智能实验室致力于成为通义大模型与行业的桥梁，积极推动AI大模型时代各行业的智能化升级。团队主要负责行业语言大模型、多模态大模型以及大模型基础研究，主要技术成果已成功应用到智慧交通、城市治理、生物医疗、大型国际赛事（亚运会和奥运会）等多个行业大模型中。 【职位介绍】 1、负责AI for Science尤其是生物医药方向的基础算法的研究和研发落地，包括不限于蛋白语言模型，基因语言模型，分子基础模型，生成式生物模型等。 2、对AI for Science尤其是基因全链路分析，药物早筛等问题中涉及的智能化和生成式模型等技术进行快速试错，找到可行方案，并不断对其进行创新改进，在各项性能指标上超出现有方案，不断提升行业天花板，不断完善相应的服务化工具。 3、以人工智能技术和高性能计算为基础，在相关方向产出高水平的文章，专利和软件服务，完善公司在AI for Science方面的技术布局，提升公司在相关领域的影响力。
团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、探索研究多模态理解、生成式、机器学习、强化学习、AIGC、计算机视觉、人工智能等前沿技术； 2、探索大规模/超大规模多模态理解与生成交织的基础模型，并进行极致系统优化；数据建设、指令微调、偏好对齐、模型优化；提升数据合成、Scalable Oversight、模型推理、规划能力，构建全面客观准确的评测体系，探索提升大模型能力； 3、探索突破包括而不限于多模态RAG，视觉COT与Agent等在内的多模态模型、世界模型进阶能力，构建GUI/游戏等虚拟世界的通用多模态Agent； 4、利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模，提供多模态交互探索的基本能力，推动应用落地，研发以人工智能技术为核心的新技术、新产品。
1、负责多模态大模型基础模型研发，构建电商领域图像、文本多模态大模型基座，持续保持领域大模型的领先性； 2、推进多模态大模型的业务应用：持续建设和优化领域预训练、微调、后训练、模型评估等算法迭代，提升业务天花板； 3、推进图像、NLP、多模态大模型在搜索、推荐、广告领域全链路算法的落地：改进召回、粗排、精排、重排、相关性等漏斗效率；以及相关技术在生成式推荐领域的尝试和落地； 4、推进图像、多模态大模型在图像搜索、同款识别、比价技术等领域的落地，改善图像搜索的用户体验，通过技术创新为用户创造更大的价值； 5、推进大模型/多模态大模型在电商 AI搜索场景的落地。
团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、负责多模态大模型的研发和应用，研究相关技术在豆包、智能助手、智能硬件等领域的全新应用和解决方案，包括而不限于多模态理解生成，视觉Agent等能力，研发以人工智能技术为核心的新技术、新产品； 2、探索超大规模模型，进行极致系统优化； 3、数据建设、指令微调、偏好对齐、模型优化； 4、相关应用落地，包括看图对话、问答、搜索、生成创作、逻辑推理、代码生成等； 5、在未来生活中的更多使用场景的深入研究和探索，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。