字节跳动多模态大模型算法工程师-商业信任与安全
任职要求
1、优秀的代码能力、数据结构和基础算法功底，熟练掌握C/C++或Python编程语言； 2、在ACM/ICPC、Top Coder、Kaggle等比赛中有优异的表现和获奖经历者优先考虑； 3、熟悉多模态和大模型训练、强化学习（RL）算法经验者优先； 4、在大模型领域，有主导过具有重要影响力的项目或发表过相关论文者优先； 5、出色的问题分析和解决能力，能够独立解决复杂的技术问题； 6、良好的沟通协作能力，能够与团队紧密合作，共同推进项目进展。
工作职责
商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，减少虚假宣传、不良暗示等内容，提升广告质量。该方向也是全球内容生产平台共同面对且长期研究的方向，在这里你可以在字节跳动商业化海量的文本、图像、视频、广告主、关联关系等数据基础上构建机器学习系统，深耕算法优化，为商业化各业务提供安全解决方案。 1、探索并落地超大规模多模态大模型，在业务场景做深度适配和极致优化； 2、参与多模态大模型多体裁内容数据链路建设、指令微调、偏好对齐、模型优化全流程实践； 3、将多模态大模型应用于图像/视频/文本内容理解（比如视频分类、视觉问答、跨模态检索、多模态表征）、交互、生成、逻辑推理等领域； 4、跟踪调研多模态大模型以及相关方向（包括但不限于CV/NLP/多模态/Agent）的前沿技术； 5、深入研究和探索多模态大模型在更多未来生活场景中的应用。
商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，减少虚假宣传、不良暗示等内容，提升广告质量。该方向也是全球内容生产平台共同面对且长期研究的方向，在这里你可以在字节跳动商业化海量的文本、图像、视频、广告主、关联关系等数据基础上构建机器学习系统，深耕算法优化，为商业化各业务提供安全解决方案。 1、探索并落地超大规模多模态大模型，在业务场景做深度适配和极致优化； 2、参与多模态大模型多体裁内容数据链路建设、指令微调、偏好对齐、模型优化全流程实践； 3、将多模态大模型应用于图像/视频/文本内容理解（比如视频分类、视觉问答、跨模态检索、多模态表征）、交互、生成、逻辑推理等领域； 4、跟踪调研多模态大模型以及相关方向（包括但不限于CV/NLP/多模态/Agent）的前沿技术； 5、深入研究和探索多模态大模型在更多未来生活场景中的应用。
团队介绍：商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，助力降低虚假宣传、不良暗示等内容发生概率，提升广告质量。该方向也是行业共同关注、长期研究的方向，在这里你可以基于平台能力及内容，深耕算法优化，为商业化各业务提供安全解决方案。 课题介绍：智能审核业务比较复杂，随着审核技术的不断演进，各个领域面临着新的风险问题和对抗形式，这对大模型的应用提出了新的挑战。例如，在审核业务中，涉及审核规则变更、长文本、长时序、多语言、少样本和AIGC生成对抗等问题时，现有的开源大模型表现往往不尽人意。因此，针对这些挑战，我们亟需研发专门针对智能审核的大模型，以提升其在治理中的有效性和适应性。特别的，针对业务特点，我们需要探索高质量的数据自动生成、高效的MOE Embedding、Auto-Prompt生成、高质量 COT输出、大模型知识蒸馏等。此外，该模型应能够满足审核业务的需求，实现高准确率的自主决策和可解释性的COT生成，显著减少误判。针对动态变化的审核规则变更，它能够通过RAG模块自动检索类似的审核案例，将复杂的审核规则变更分解为简单的原子任务，自动拆分出驳回和豁免原子任务，并自动调用相应的Tools来解决这些任务，从而建立“知道拒绝并且知道为何拒绝”的业内领先智能审核系统。最终，大模型智能审核系统的审核效果需要接近或者超过人工审核，往全机审的路线上演进。 1、模态融合能力：提升文本、音频、图像、视频和直播等多模态的细粒度理解能力，实现高准确率的自主决策和可解释性的COT生成； 2、Few-Shot能力：探索多语言、长时序和少样本问题，增强Few-Shot和Zero-Shot能力，针对多变的业务规则具备复杂指令和Auto-Prompt生成能力； 3、攻防对抗能力：研究AIGC图像视频的判别，增强审核大模型对隐晦、抽象的生成式内容的攻防对抗能力； 4、Agent能力：具备调用RAG模块，使用Tools，和Auto-Planning能力；提升大模型的动态推理和反思能力。
商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，减少虚假宣传、不良暗示等内容，提升广告质量。该方向也是全球内容生产平台共同面对且长期研究的方向，在这里你可以在字节跳动商业化海量的文本、图像、视频、广告主、关联关系等数据基础上构建机器学习系统，深耕算法优化，为商业化各业务提供安全解决方案。 1、数据工程：构建高质量数据的生产流程，其中包括预训练、指令微调等数据，提升业务应用效果； 2、算法研发：推进Knowledge Injection、SFT、RLHF等模型优化方面的工作，提高模型质量和适应性； 3、梳理&沉淀算法库：抽象算法接口，最大化提升算法成果和基座模型的复用率，提升大模型落地效率； 4、业务应用：深入研究并推进相关大模型技术的落地，包括但不限于智能审核、客服、Copilot等应用场景。
商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，减少虚假宣传、不良暗示等内容，提升广告质量。该方向也是全球内容生产平台共同面对且长期研究的方向，在这里你可以在字节跳动商业化海量的文本、图像、视频、广告主、关联关系等数据基础上构建机器学习系统，深耕算法优化，为商业化各业务提供安全解决方案。 1、数据工程：构建高质量数据的生产流程，其中包括预训练、指令微调等数据，提升业务应用效果； 2、算法研发：推进Knowledge Injection、SFT、RLHF等模型优化方面的工作，提高模型质量和适应性； 3、梳理&沉淀算法库：抽象算法接口，最大化提升算法成果和基座模型的复用率，提升大模型落地效率； 4、业务应用：深入研究并推进相关大模型技术的落地，包括但不限于智能审核、客服、Copilot等应用场景。