字节跳动智能审核多模态大模型工程师-商业信任与安全-筋斗云人才计划
任职要求
1、获得博士学位，人工智能、计算机、数学相关专业者优先； 2、具备扎实的编码能力、数据结构和基础算法功底，熟练运用各种算法框架与工程框架； 3、在国际会议或期刊发表论文者（包括但不限于 ACL、EMNLP、NeurIPS、ICML、ICLR、CVPR 等）优先； 4、拥有扎实的机器学习基础，在深度学习、强化学习、NLP 、多模态方向有深入的理解与研究经历； 5、具备良好的沟通协作能力，能够与团队共同探索新技术，推动技术发展。
工作职责
团队介绍：商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，助力降低虚假宣传、不良暗示等内容发生概率，提升广告质量。该方向也是行业共同关注、长期研究的方向，在这里你可以基于平台能力及内容，深耕算法优化，为商业化各业务提供安全解决方案。 课题介绍： 背景： 智能审核业务比较复杂，随着审核技术的不断演进，各个领域面临着新的风险问题和对抗形式，这对大模型的应用提出了新的挑战。例如，在审核业务中，涉及审核规则变更、长文本、长时序、多语言、少样本和AIGC生成对抗等问题时，现有的开源大模型表现往往不尽人意。因此，针对这些挑战，我们亟需研发专门针对智能审核的大模型，以提升其在治理中的有效性和适应性。特别的，针对业务特点，我们需要探索高质量的数据自动生成、高效的MOE Embedding、Auto-prompt生成、高质量 COT输出、大模型知识蒸馏等。此外，该模型应能够满足审核业务的需求，实现高准确率的自主决策和可解释性的COT生成，显著减少误判。针对动态变化的审核规则变更，它能够通过RAG模块自动检索类似的审核案例，将复杂的审核规则变更分解为简单的原子任务，自动拆分出驳回和豁免原子任务，并自动调用相应的Tools来解决这些任务，从而建立“知道拒绝并且知道为何拒绝”的业内领先智能审核系统。最终，大模型智能审核系统的审核效果需要接近或者超过人工审核，往全机审的路线上演进。 研究方向： 智能审核多模态大模型，主要研究点包括但不限于： 1、模态融合能力：提升文本、音频、图像、视频和直播等多模态的细粒度理解能力，实现高准确率的自主决策和可解释性的COT生成； 2、Few-Shot能力：探索多语言、长时序和少样本问题，增强Few-Shot和Zero-Shot能力，针对多变的业务规则具备复杂指令和Auto-prompt生成能力； 3、攻防对抗能力：研究AIGC图像视频的判别，增强审核大模型对隐晦、抽象的生成式内容的攻防对抗能力； 4、Agent能力：具备调用RAG模块，使用Tools，和Auto-planning能力；提升大模型的动态推理和反思能力。
团队介绍：商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，助力降低虚假宣传、不良暗示等内容发生概率，提升广告质量。该方向也是行业共同关注、长期研究的方向，在这里你可以基于平台能力及内容，深耕算法优化，为商业化各业务提供安全解决方案。 课题介绍：智能审核业务比较复杂，随着审核技术的不断演进，各个领域面临着新的风险问题和对抗形式，这对大模型的应用提出了新的挑战。例如，在审核业务中，涉及审核规则变更、长文本、长时序、多语言、少样本和AIGC生成对抗等问题时，现有的开源大模型表现往往不尽人意。因此，针对这些挑战，我们亟需研发专门针对智能审核的大模型，以提升其在治理中的有效性和适应性。特别的，针对业务特点，我们需要探索高质量的数据自动生成、高效的MOE Embedding、Auto-Prompt生成、高质量 COT输出、大模型知识蒸馏等。此外，该模型应能够满足审核业务的需求，实现高准确率的自主决策和可解释性的COT生成，显著减少误判。针对动态变化的审核规则变更，它能够通过RAG模块自动检索类似的审核案例，将复杂的审核规则变更分解为简单的原子任务，自动拆分出驳回和豁免原子任务，并自动调用相应的Tools来解决这些任务，从而建立“知道拒绝并且知道为何拒绝”的业内领先智能审核系统。最终，大模型智能审核系统的审核效果需要接近或者超过人工审核，往全机审的路线上演进。 1、模态融合能力：提升文本、音频、图像、视频和直播等多模态的细粒度理解能力，实现高准确率的自主决策和可解释性的COT生成； 2、Few-Shot能力：探索多语言、长时序和少样本问题，增强Few-Shot和Zero-Shot能力，针对多变的业务规则具备复杂指令和Auto-Prompt生成能力； 3、攻防对抗能力：研究AIGC图像视频的判别，增强审核大模型对隐晦、抽象的生成式内容的攻防对抗能力； 4、Agent能力：具备调用RAG模块，使用Tools，和Auto-Planning能力；提升大模型的动态推理和反思能力。
商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，减少虚假宣传、不良暗示等内容，提升广告质量。该方向也是全球内容生产平台共同面对且长期研究的方向，在这里你可以在字节跳动商业化海量的文本、图像、视频、广告主、关联关系等数据基础上构建机器学习系统，深耕算法优化，为商业化各业务提供安全解决方案。 1、数据工程：构建高质量数据的生产流程，其中包括预训练、指令微调等数据，提升业务应用效果； 2、算法研发：推进Knowledge Injection、SFT、RLHF等模型优化方面的工作，提高模型质量和适应性； 3、梳理&沉淀算法库：抽象算法接口，最大化提升算法成果和基座模型的复用率，提升大模型落地效率； 4、业务应用：深入研究并推进相关大模型技术的落地，包括但不限于智能审核、客服、Copilot等应用场景。
商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，减少虚假宣传、不良暗示等内容，提升广告质量。该方向也是全球内容生产平台共同面对且长期研究的方向，在这里你可以在字节跳动商业化海量的文本、图像、视频、广告主、关联关系等数据基础上构建机器学习系统，深耕算法优化，为商业化各业务提供安全解决方案。 1、数据工程：构建高质量数据的生产流程，其中包括预训练、指令微调等数据，提升业务应用效果； 2、算法研发：推进Knowledge Injection、SFT、RLHF等模型优化方面的工作，提高模型质量和适应性； 3、梳理&沉淀算法库：抽象算法接口，最大化提升算法成果和基座模型的复用率，提升大模型落地效率； 4、业务应用：深入研究并推进相关大模型技术的落地，包括但不限于智能审核、客服、Copilot等应用场景。
1.参与美团全球化业务中智能客服、智能审核、智能外呼等核心场景的大模型应用研发与落地工作。 2.针对跨文化、多语言、少样本等复杂业务挑战，研究并应用强化学习、多模态学习、高效后训练等前沿技术，对大模型进行深度优化与能力增强，提升模型在实际业务中的表现。 3.主要研究方向包括但不限于： a. 任务型对话技术攻关： 研究强化学习与高效后训练方法在多模态任务型对话中的应用，优化全球用户的复杂服务请求处理与任务达成效果。 b. 少样本多模态理解与推理： 探索在海外数据稀疏环境下，通过少样本学习等手段构建强大的多模态理解与推理能力，支持高效合规审核及风险识别。 c. 可控对话生成与知识融合： 面向智能外呼等场景，研究多语言环境下可控对话生成及知识融合技术，提升沟通的自然度、准确性和业务转化率，并追踪前沿技术动态，推动创新落地。