字节跳动多模态算法专家
任职要求
1、计算机相关专业本科及以上学历，3年以上深度学习算法研究与开发经验； 2、具备多模态相关算法的扎实基础，包括但不限于自然语言处理、计算机视觉、视频理解、强化学习、LLM等领域的全面学习和实践经验； 3、熟悉主流的Bert/Transformer/GPT等预训练模型，熟练掌握TensorFlow/PyTorch/Keras等任一主流机器学习框架； …
工作职责
1、负责字节跳动泛体验和泛安全领域各业务场景下，多模态算法应用研究与算法落地工作，业务场景包括但不限于风险挖掘/热点发现/信息检索/知识图谱/智能对话等； 2、跟踪多模态领域的最新研究成果，用以持续提升算法应用效果，研究方向包括但不限于多模态VLMs、LLM等前沿技术； 3、深度参与产品研发项目，和产品经理/业务研发/业务质量/运营等同学密切配合，提高项目整体效率和收益。
1、负责多模态、大语言模型等相关算法在得物业务场景的预研工作； 2、包括但不限于如下方向：多模态、大语言模型、自监督预训练、迁移学习等； 3、跟踪学术界和业界最新进展，并且能够快速在实际业务场景进行论证； 4、综合运用多模态数据（包括但不限于文本/图像/视频等）与算法模型，提升商品匹配、商品治理，商品物料生成的效果；
1. 探索大模型/多模态模型预训练、指令微调、模型评估等技术。 2. 探索提升文本大模型/多模态模型推理能力的前沿技术。 3. 结合阿里巴巴国际业务场景，与产品和运营团队协作，推动大语言模型/多模态模型在各类业务中的应用。
团队介绍： 我们是支付宝供给理解团队，长期深耕计算机视觉（CV）、自然语言处理（NLP）、多模态大模型人工智能领域，专注于短视频、商品、服务等供给的结构化理解。利用大模型技术，通过供给的智能化理解，赋能搜索/广告/推荐业务效率的提升。如果你对大模型、多模态技术充满热情，并希望在真实业务场景中推动技术创新落地，欢迎加入我们！ 职位描述 1. 改进并实践多模态大模型理解技术，构建数十亿供给的理解标签/Embedding/SenmanticID等其他特征，应用到支付宝搜索/短视频推荐/商品推荐等各业务场景 2. 基于CV/NLP/Audio/多模态技术，通过结构化的理解体系设计，实现支付宝全域供给的语义对齐，支持全用用户行为建模。 3. 跟踪探索大模型前沿技术Pretrain、SFT、RAG、AI Agent、强化学习、模型蒸馏等，结合业务场景进行技术选型、方案设计，实现技术价值与业务效果的双重突破。
1. 负责商家经营性风险相关的多模态算法开发和优化，如营销页面理解，商品质量理解，小程序页面巡检； 2. 结合图文大模型技术，对视觉与推理任务进行分析理解，包括不限于信息提取、图像篡改、场景分类、同款检索等； 3. 协同跨团队技术和业务同学共同推动项目达成技术和业务目标。