字节跳动内容理解多模态大模型算法工程师-电商-筋斗云人才计划

任职要求

1、获得博士学位，人工智能、计算机、数学相关专业者优先；
2、具备扎实的编码能力、数据结构和基础算法功底，熟练运用各种算法框架与工程框架；
3、在国际会议或期刊发表论文者（包括但不限于ACL、EMNLP、NeurIP…

工作职责

团队介绍：Data-电商-平台治理算法团队，通过优化算法，和业务团队协作，对字节旗下的电商产品进行全方位的质量和生态的治理，既包括风险、违规和低质问题的打击，也包括健康电商生态的建设和优化，在最大程度的优化平台治理的效果的同时提升治理的工作效率，降低成本。另外一方面，平台治理算法团队致力于攻坚前沿的AI技术，以技术驱动推动业务的变革和发展，领域涉及广泛，包括但不限于NLP/CV/多模态/大模型/图算法/序列算法等。

课题介绍：
背景：电商智能审核业务比较复杂，随着审核技术的不断演进，各个领域面临着新的风险问题和对抗形式，这对大模型的应用提出了新的挑战。例如，在电商审核业务中，涉及审核PBR变更、长文本、长时序、多语言、少样本和AIGC生成对抗等问题时，现有的开源大模型表现往往不尽人意。因此，针对这些挑战，我们亟需研发专门针对电商智能审核的大模型，以提升其在电商治理中的有效性和适应性。特别的，针对电商业务特点，我们需要探索高质量的数据自动生成、高效的MOE Embedding、Auto-Prompt生成、高质量 COT输出、大模型知识蒸馏等。此外，该模型应能够满足电商审核业务的需求，实现高准确率的自主决策和可解释性的COT生成，显著减少误判。针对动态变化的审核PBR变更，它能够通过RAG模块自动检索类似的审核案例，将复杂的审核PBR分解为简单的原子任务，自动拆分出驳回和豁免原子任务，并自动调用相应的Tools来解决这些任务，从而建立“知道拒绝并且知道为何拒绝”的业内领先智能审核系统。最终，大模型智能审核系统的审核效果需要接近或者超过人工审核，往全机审的路线上演进。
研究方向：模态融合能力：提升文本、音频、图像、视频和直播等多模态的细粒度理解能力，实现高准确率的自主决策和可解释性的COT生成；Few-Shot能力：探索电商多语言、长时序和少样本问题，增强Few-Shot和Zero-Shot能力，针对多变的业务规则具备复杂指令和Auto-Prompt生成能力；攻防对抗能力：研究AIGC图像视频的判别，增强审核大模型对隐晦、抽象的生成式内容的攻防对抗能力；Agent能力：具备调用RAG模块，使用Tools，和Auto-planning能力；提升大模型的动态推理和反思能力。

1、深入理解电商业务，探索基于大模型、多模态模型，持续提升商家/达人在准入、发品、售后等各个业务场景的风险识别效果；
2、提升商品治理审核智能化水平，迭代优化治理大模型，提升大模型对治理规则和商品信息的理解，实现高准高召的问题识别和自动处置；
3、负责强化电商场景下，大模型推理和反思能力，通过商品业务域SFT、高质量Cot、强化学习、数据合成等技术方案，提升商品治理大模型底座能力；
4、参与构建挖掘电商直播、商品、商家和带货主播等多种实体的数据，对大规模网络/海量特征序列进行建模，支撑商家、达人分类/风险团伙挖掘等业务场景解决问题，并为商家/达人治理提供支持；
5、参与构建大规模的图存储和图学习平台，完善电商社区内商家/商品/达人/视频内容的关系建设，构建电商实体通用表征能力，赋能治理业务；
6、建设售后服务MLLM基座大模型，并利用RAG/Agent/RL等技术，解决复杂场景下对体验问题的理解能力。