京东多模态大模型生成式搜推范式应用探索
任职要求
1. 获得本科及以上学历，计算机、人工智能、自动化、数学、物理等相关专业； 2. 在CVPR、ICCV、NeurIPS、KDD、SIGIR、WWW、RecSys、ICLR、ICML、ACL等顶会有高质量论文发表记录，或在开源社区有突出贡献； 3. 精通PyTorch或TensorFlow，熟悉Llama、CLIP、…
工作职责
1. 研发多模态商品理解模型，融合图像、文本、视频特征，优化跨模态特征对齐与检索算法； 2. 负责高质量多模态训练数据集构建，包含图像清洗、属性标注与图文匹配关系挖掘； 3. 探索多模态大模型在图像搜索领域的应用，提升模型在复杂商品数据上的泛化能力； 4. 设计多模态表征评测框架，集成自动化评估与人工审核机制，提升模型迭代效率； 5. 基于大语言模型（LLM）实现用户意图识别、生成式排序与重排及多目标优化； 6. 结合SFT、RLHF等技术实现生成式端到端推荐建模，持续优化搜推系统决策； 7. 利用奖励模型（Reward Model）与强化学习量化商业目标，构建长期生态价值体系； 8. 探索大模型推理机制，优化语义理解与认知能力，提升搜推系统的智能化水平。
负责多模态人机动作交互大模型算法的研发，推动机器人交互技术的创新与落地，具体包括但不限于： ● 研究多模态智能体、推理与规划等前沿方向，开发多模态意图理解与动作预测算法，使机器人在交互中能自主动作决策并执行； ● 构建通用动作生成模型：基于语音、视觉、语境等多模态输入，研发高自然度、高智能性的机器人物理可执行动作生成算法； ● 优化动作控制性能：设计动作生成与执行控制的联合优化算法，提升动作的流畅性、精准性与实时响应能力。
1. 参与图像生成、图像编辑和文档理解其中一个方向的工作，围绕效果和速度，通过算法创新持续提升业务天花板； 2. 围绕扩散模型、生成加速、融合模型等方向，不断探索前沿算法，保持方案领先性，助力业务取得效果突破； 3. 围绕数据构建、vae、dit、moe、训练策略等环节，挖掘突破口，持续改进提升。
我们是小红书应用算法部/内容理解算法组，目前专注于内容理解场景的技术落地和产品预研。我们希望寻求优秀在读硕士生/博士生共同突破多模态/视觉大模型理解和生成算法在多模态内容理解行业落地的技术挑战，作为实习生，你将有机会与产品、工程紧密合作，将研究算法应用到实际问题中，并解决有难度有价值的问题，促进领域前沿技术的发展。欢迎投递简历。该岗位的核心研究方向包括但不限于： 1. 计算机视觉：解决视觉理解中指代关系特征归一化和识别研究； 2. 多模态表征：多源数据中多模态表征技术，包括局部/全局匹配、视频表征、多模态表征、对抗性和泛化性等问题。 3. 通用多模态大模型：通用多模态大模型在安全领域理解相关研究，包括强化微调、逻辑推理、多模态理解、幻觉消除及评价机制等。 我们希望在一个和多个方向做出有意义的、创新性的工作。
【团队介绍】 高德地图驾车出行产品团队，专注于为数亿用户提供更智能、更顺畅的驾车导航体验。我们正处于 AI 与出行深度融合的关键阶段，用技术重新定义人与路的关系。加入我们，你将在真实的亿级用户产品中留下你的思考与设计。 【岗位职责】 参与驾车出行用户体验的需求调研与分析，包括问卷设计、用户访谈、数据解读； 开展竞品分析与市场调研，持续追踪行业动态，输出有深度的竞品研究报告； 协助探索 AI 能力在驾车场景中的产品化路径，参与 AI 功能的策略讨论与需求定义； 独立完成产品原型设计，配合视觉与研发推动功能落地； 跟踪产品迭代数据，协助评估版本效果，提出优化建议； 对接跨职能团队，协助整理 PRD 文档与项目推进。