携程多模态算法工程师（内容理解与召回）(MJ029264)
任职要求
1 计算机，数学或者统计学等相关专业研究生及以上学历； 2 熟练掌握机器学习，深度学习的基础理论和方法。熟练使用python等编程语言，熟悉Pytorch，有分布式训练与部署经验优先； 3 有QwenVL、InternVL等开源模型优化与实践经验，熟悉SFT、LoRA、等微调技术，具有良好prompt工程能力， 有多模态强化学习、思维链经验优先； 4 扎实良好的数学基础，良好的英文阅读能力； 5 具有独立研发和核心算法的优化能力，具有优秀的编程基础以及动手能力，丰富的业务落地实战经验，优秀的快速学习能力。
工作职责
1.参与大住宿相关多模态内容理解的算法能力建设，包括但不仅限于图片、视频、文本的语义理解、内容理解、跨模态理解等； 2.参与大规模多模态内容的召回、排序、精排等算法能力建设；参与多模态知识图谱的构建与应用； 2.参与业务分析、特征构建、模型建立、算法实现等过程。通过高质量的内容给相关业务赋能，结合业务特点做算法改进和技术创新用于实际业务； 3.探索大模型的研发和应用，研究相关技术在内容理解、召回、生成、知识图谱等领域的全新应用和解决方案。
1. 负责多模态大模型（涵盖图像、视频、音频、文本等模态）在内容安全、活体检测、人脸识别、内容理解等场景的算法研发与性能优化； 2. 探索和实现图像、视频、文本等多模态数据的统一建模与高效表征学习，提升模型在内容审核、短视频内容理解等任务中的泛化性和鲁棒性； 3. 紧密跟进与研究业界领先的大模型技术，如InternVL3、Qwen2.5-VL等，探索并落地其在图文审核、视频内容审核、身份核验等业务场景中的应用策略及精调方法； 4. 负责构建并持续优化模型训练及推理系统，显著提升多模态模型在安全审核领域的准确率、召回率与实时响应性能； 5. 探索并实现文本生成图像技术在内容生成与审核中的应用，提升系统的生成与理解能力； 6. 与产品、工程等相关团队密切合作，推动多模态审核、识别系统的业务落地，实现业务场景的闭环验证与持续迭代优化。
团队介绍：国际商业化产品与技术团队支持字节跳动国际产品的广告产品与变现技术。我们负责end2end的大型广告系统建设，为客户提供商业推广方式与方案。我们的团队遍布北京、上海、美国、新加坡等地，在这里你将有机会开阔自己的国际化视野，接触到全球领先的商业产品架构、模型和算法，并有机会参与并推动互联网广告行业的创新和变革。 课题背景： 随着全球化业务的快速增长，广告场景面临千亿级数据训练、毫秒级实时响应、多模态内容理解与生成的综合挑战。传统广告模型（如CTR/CVR预估）在分布式训练效率、长序列用户行为建模、长尾泛化能力等方面逐渐面临瓶颈。与此同时，LLM技术为广告系统带来了革新机遇——从基于AIGC的广告素材生成、大规模超长序列建模、多模态视频内容理解，到隐私安全增强的联邦学习框架，以及通过大语言模型重构用户意图挖掘与定向策略等，均成为行业前沿探索方向。 课题挑战： 在广告业务场景中，探索LLM技术突破传统模型能力边界：一方面需重构广告召回与排序机制，通过长周期用户兴趣建模解决短行为序列的局限性，同时满足广告系统高实时响应要求，实现LLM增强的全域流量效率提升；另一方面需实现AIGC广告素材的规模化生产与精准控制，平衡品牌规范约束与创意多样性，适配全球化场景下的多语言与文化合规需求。此外，如何从非结构化行为数据中挖掘用户隐式意图，突破冷启动、泛化性等业务瓶颈，成为提升广告效果的关键技术创新方向。 另外广告生态特有的复杂约束对LLM技术提出更高要求：在海量站内站外信号的背景下，解决超大规模稀疏数据下的模型迭代效率问题；同时需构建隐私安全的LLM协同计算框架，在保障数据合规的前提下实现广告主专属数据与平台模型的深度协同。这些挑战要求技术方案兼具算法创新与系统工程能力，以应对广告场景中特有的实时性、规模化和合规性等多重挑战。
团队介绍：国际商业化产品与技术团队支持字节跳动国际产品的广告产品与变现技术。我们负责end2end的大型广告系统建设，为客户提供商业推广方式与方案。我们的团队遍布北京、上海、美国、新加坡等地，在这里你将有机会开阔自己的国际化视野，接触到全球领先的商业产品架构、模型和算法，并有机会参与并推动互联网广告行业的创新和变革。 课题背景： 随着全球化业务的快速增长，广告场景面临千亿级数据训练、毫秒级实时响应、多模态内容理解与生成的综合挑战。传统广告模型（如CTR/CVR预估）在分布式训练效率、长序列用户行为建模、长尾泛化能力等方面逐渐面临瓶颈。与此同时，LLM技术为广告系统带来了革新机遇——从基于AIGC的广告素材生成、大规模超长序列建模、多模态视频内容理解，到隐私安全增强的联邦学习框架，以及通过大语言模型重构用户意图挖掘与定向策略等，均成为行业前沿探索方向。 课题挑战： 在广告业务场景中，探索LLM技术突破传统模型能力边界：一方面需重构广告召回与排序机制，通过长周期用户兴趣建模解决短行为序列的局限性，同时满足广告系统高实时响应要求，实现LLM增强的全域流量效率提升；另一方面需实现AIGC广告素材的规模化生产与精准控制，平衡品牌规范约束与创意多样性，适配全球化场景下的多语言与文化合规需求。此外，如何从非结构化行为数据中挖掘用户隐式意图，突破冷启动、泛化性等业务瓶颈，成为提升广告效果的关键技术创新方向。 另外广告生态特有的复杂约束对LLM技术提出更高要求：在海量站内站外信号的背景下，解决超大规模稀疏数据下的模型迭代效率问题；同时需构建隐私安全的LLM协同计算框架，在保障数据合规的前提下实现广告主专属数据与平台模型的深度协同。这些挑战要求技术方案兼具算法创新与系统工程能力，以应对广告场景中特有的实时性、规模化和合规性等多重挑战。
团队介绍：国际商业化产品与技术团队支持字节跳动国际产品的广告产品与变现技术。我们负责end2end的大型广告系统建设，为客户提供商业推广方式与方案。我们的团队遍布北京、上海、美国、新加坡等地，在这里你将有机会开阔自己的国际化视野，接触到全球领先的商业产品架构、模型和算法，并有机会参与并推动互联网广告行业的创新和变革。 课题背景： 随着全球化业务的快速增长，广告场景面临千亿级数据训练、毫秒级实时响应、多模态内容理解与生成的综合挑战。传统广告模型（如CTR/CVR预估）在分布式训练效率、长序列用户行为建模、长尾泛化能力等方面逐渐面临瓶颈。与此同时，LLM技术为广告系统带来了革新机遇——从基于AIGC的广告素材生成、大规模超长序列建模、多模态视频内容理解，到隐私安全增强的联邦学习框架，以及通过大语言模型重构用户意图挖掘与定向策略等，均成为行业前沿探索方向。 课题挑战： 在广告业务场景中，探索LLM技术突破传统模型能力边界：一方面需重构广告召回与排序机制，通过长周期用户兴趣建模解决短行为序列的局限性，同时满足广告系统高实时响应要求，实现LLM增强的全域流量效率提升；另一方面需实现AIGC广告素材的规模化生产与精准控制，平衡品牌规范约束与创意多样性，适配全球化场景下的多语言与文化合规需求。此外，如何从非结构化行为数据中挖掘用户隐式意图，突破冷启动、泛化性等业务瓶颈，成为提升广告效果的关键技术创新方向。 另外广告生态特有的复杂约束对LLM技术提出更高要求：在海量站内站外信号的背景下，解决超大规模稀疏数据下的模型迭代效率问题；同时需构建隐私安全的LLM协同计算框架，在保障数据合规的前提下实现广告主专属数据与平台模型的深度协同。这些挑战要求技术方案兼具算法创新与系统工程能力，以应对广告场景中特有的实时性、规模化和合规性等多重挑战。