高德地图多模态图文生成算法工程师-APP平台业务

钉钉正在全面拥抱多模态AI，正在致力于将视觉大模型、边缘智能与实时视频分析深度融合，赋能智能零售、智慧工厂、智能交通等多个行业。我们拥有强大的工程化能力和创新研发氛围，期待志同道合的技术精英加入，共同推动视觉AI落地千行百业。 我们正在寻找在视觉AI领域具备真正工程化落地经验的技术人才，你将参与公司核心视觉AI系统的研发与优化，负责从算法设计、模型训练到高性能部署、大规模流式处理的全链路技术实现。具体职责包括： 1. 视觉大模型与算法开发 ○ 负责视觉大模型的后训练（Post-training）优化，包括微调、蒸馏、量化、剪枝等，提升模型在实际场景中的泛化能力与效率。 ○ 开发端侧视觉大模型，针对边缘设备进行轻量化设计与部署。 ○ 设计并实现传统CV算法（如目标检测、跟踪、姿态估计、图像增强等）与深度学习模型的融合方案。 ○ 构建视觉嵌入生成与特征提取模型，支持跨模态检索、相似性匹配等应用。 ○ 能根据实时性、性能、成本等多维约束，设计合理的算法组合与技术路线，实现最优落地效果。 ○ 在行业专家的指导下完成高质量的数据清洗和标注，建立多行业多场景的视觉AI评估框架 2. 高性能推理部署与优化 ○ 基于不同算法特性，选择并实施高并发、大吞吐的推理部署方案，熟练使用以下技术栈： ■ 推理框架：Triton Inference Server、ONNX Runtime、TensorRT ■ 部署平台：KServe + Triton / KServe + vLLM ○ 实现模型的动态批处理、自适应推理、低延迟响应，优化端到端服务性能。 ○ 负责模型格式转换、算子优化、硬件适配（GPU/TPU/NPU）及性能调优。 3. 分布式视频流处理系统构建是加分项 ○ 构建高可用、可扩展的分布式视频流处理 pipeline，支持多路视频流的实时接入与处理。 ○ 基于 Kafka + Flink 实现视频帧的流式消费、分发与状态管理。 ○ 完成视频数据的实时AI推理、结果聚合、元数据落盘，并与下游系统无缝集成。 ○ 保障系统在高负载下的稳定性、容错性与可监控性。 4. 跨团队协作与技术沉淀 ○ 与产品、业务、后端及硬件团队紧密协作，推动AI能力在真实业务场景中的落地。 ○ 输出技术文档、最佳实践，参与构建公司级AI工程化平台与工具链。

加入千问/夸克APP的核心团队，共同打造下一代AI智能助理的“推荐大脑”。包括但不限于：对话推荐、AI内容创作、内容消费，负责推荐系统的算法设计、优化及落地，通过精准的算法策略提升对话体验与内容分发效率，带动千问/夸克APP的DAU、AI生成内容（AIGC）、创作者生态等核心业务的增长。 1.算法设计与优化：利用前沿技术优化千问/夸克APP的对话推荐、消费和创作模块，全链路地优化包括召回模型、排序模型、多模态推荐、多目标、冷启动，探索等推荐算法和模块； 2.数据驱动迭代：基于用户行为数据、内容特征数据等，构建算法评估体系，通过AB测试等方式验证算法效果，持续迭代优化推荐策略，解决冷启动、多样性不足等实际业务问题。 3.特征工程与模型搭建：利用大模型构建千问/夸克用户的画像，参与内容特征、用户特征的挖掘与构建，结合场景需求选择或改进合适的推荐模型，提升模型预测精度与泛化能力。 4.系统协同与落地：与工程、产品、数据等团队协作，将算法方案转化为可落地的技术实现，保障推荐系统的高可用性、低延迟与稳定性，适配各场景的动态变化需求。 5.技术探索与沉淀：跟踪推荐算法、AI大模型在内容领域的应用动态，探索大模型与推荐系统结合的创新方向，沉淀算法研发经验与技术方案。

团队介绍：Data-抖音团队，负责抖音APP的推荐算法、内容算法、对话算法及大数据工作，对接各场景业务（短视频，直播，图文，电商，社交，生态，投稿，消息，同城，生活服务，音乐，评论，内容理解&安全、智能对话等）。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、内容理解、LLM应用以及新业务方向探索、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。在这里，你可以深入钻研机器学习算法的改进和优化，探索工业界最领先的推荐系统架构和推荐大模型算法、可以通过使用最新的大模型等技术支持抖音的数字人、智能客服、AI工具等创新探索；可以通过对产品的深度理解和思考，将算法应用到业务中去；也可以通过对产品和内容生态的深度分析，影响产品未来的发展方向。 抖音作为全球领先的综合性内容平台，拥有庞大的用户群体和多元化的业务生态。在设计如此大规模的推荐系统时，面临社交网络复杂、电商用户兴趣跨域迁移困难、内容与用户冷启动样本稀疏、直播推荐多目标融合效能不足、兴趣重复密集探索不足等多重挑战。 具体表现为：用户社交网络规模达万亿级，传统图算法难以高效地建模动态社交行为与内容消费的耦合关系；用户从内容兴趣到电商兴趣的迁移依赖跨域多模态理解与动态映射，现有方法难以捕捉潜在电商转化信号；新内容和新低活用户冷启动阶段样本量少，传统协同过滤与内容推荐方法泛化能力弱；直播推荐需实时融合点击、互动、消费等多目标信号，但启发式规则难以平衡用户长期体验与短期价值；兴趣密集追打问题严重，新兴趣探索效率不高。 1、社交网络增强的跨域兴趣建模：结合图神经网络（GNN）与大语言模型（LLM），构建用户全生命周期行为图谱，融合社交关系、内容互动与电商行为，挖掘社交网络中的社团结构与跨域兴趣传播路径； 2、兴趣迁移与转化信号捕捉：通过跨域对比学习与对抗生成技术，构建内容兴趣到电商兴趣的隐式映射网络，结合强化学习动态调控探索与利用，兼顾推荐精准性与多样性； 3、多模态小样本冷启动优化：利用LLM的Few-shot推理能力，通过内容语义理解与外部知识增强，设计元学习框架实现新ID特征与泛化特征的联合表征，缓解冷启动数据稀疏问题； 4、多目标融合与长短期价值平衡：基于大模型的泛化能力与长上下文感知，统一建模直播多目标（点击、时长、打赏等）的分布偏差与动态权重，设计个性化融合策略，替代传统多阶段漏斗架构，提升实时推荐效率； 5、兴趣密集与兴趣探索：通过用户兴趣画像建模与强化学习技术，实时捕捉用户消费与兴趣变化，缓解兴趣密集问题，为用户探索新的兴趣。

团队介绍：Data-抖音团队，负责抖音APP的推荐算法、内容算法、对话算法及大数据工作，对接各场景业务（短视频，直播，图文，电商，社交，生态，投稿，消息，同城，生活服务，音乐，评论，内容理解&安全、智能对话等）。我们的工作涉及大规模推荐算法的优化、复杂约束的优化问题的解决、内容理解、LLM应用以及新业务方向探索、CV/NLP等多个学术领域的算法改进工作、对多种场景的推荐架构的设计和实现和对产品数据的复杂深入的分析工作。在这里，你可以深入钻研机器学习算法的改进和优化，探索工业界最领先的推荐系统架构和推荐大模型算法、可以通过使用最新的大模型等技术支持抖音的数字人、智能客服、AI工具等创新探索；可以通过对产品的深度理解和思考，将算法应用到业务中去；也可以通过对产品和内容生态的深度分析，影响产品未来的发展方向。 抖音作为全球领先的综合性内容平台，拥有庞大的用户群体和多元化的业务生态。在设计如此大规模的推荐系统时，面临社交网络复杂、电商用户兴趣跨域迁移困难、内容与用户冷启动样本稀疏、直播推荐多目标融合效能不足、兴趣重复密集探索不足等多重挑战。 课题内容： 1、社交网络增强的跨域兴趣建模：结合图神经网络（GNN）与大语言模型（LLM），构建用户全生命周期行为图谱，融合社交关系、内容互动与电商行为，挖掘社交网络中的社团结构与跨域兴趣传播路径； 2、兴趣迁移与转化信号捕捉：通过跨域对比学习与对抗生成技术，构建内容兴趣到电商兴趣的隐式映射网络，结合强化学习动态调控探索与利用，兼顾推荐精准性与多样性； 3、多模态小样本冷启动优化：利用LLM的Few-shot推理能力，通过内容语义理解与外部知识增强，设计元学习框架实现新ID特征与泛化特征的联合表征，缓解冷启动数据稀疏问题； 4、多目标融合与长短期价值平衡：基于大模型的泛化能力与长上下文感知，统一建模直播多目标（点击、时长、打赏等）的分布偏差与动态权重，设计个性化融合策略，替代传统多阶段漏斗架构，提升实时推荐效率。 兴趣密集与兴趣探索：通过用户兴趣画像建模与强化学习技术，实时捕捉用户消费与兴趣变化，缓解兴趣密集问题，为用户探索新的兴趣； 5、涉及研究方向：图神经网络（GNN）、大语言模型（LLM）、多模态内容理解、小样本学习与元学习、多目标推荐系统、端到端深度学习。