字节跳动智能音频算法工程师-视频云

1、负责火山引擎视频云后端服务的设计开发和体验优化，开发基于RTC场景的对话式AI，虚拟数字人，智能语音，媒体网关，媒体处理等产品和服务； 2、负责系统稳定性建设和产品体验提升，如全球化多IDC的容灾能力建设、系统并发能力提升、音质画质优化、全链路延迟优化、程序性能优化等。

阿里云是国内领先的音视频服务云厂商，业务涵盖直播、点播、智能媒体服务和实时音视频通信等方面。通过先进的音视频技术和强大的云计算能力，为各个行业提供高性能、高可靠、灵活智能的音视频服务。 具体职责包括不限于： 1、视频云直播、连麦，点播，短视频，媒体生产与处理等服务相关的实时/非实时的音频分析和处理； 2、音频处理算法，包括多场景降噪、自动增益控制、回声消除等； 3、音频特效算法研发，包括变调变速、机械音、性别老幼、拟物等各类变声以及说话人转换，虚拟3D声，HRTF； 4、音频分析，包括鼓掌、欢呼等特征音频标定，音乐鼓点标定，音乐风格分类、情绪分类等。

团队介绍：商业信任与安全算法团队，聚焦于通过人工智能技术（包括但不限于NLP/CV/多模态/图/大模型）识别和治理问题广告内容和问题广告主，助力降低虚假宣传、不良暗示等内容发生概率，提升广告质量。该方向也是行业共同关注、长期研究的方向，在这里你可以基于平台能力及内容，深耕算法优化，为商业化各业务提供安全解决方案。 课题介绍：智能审核业务比较复杂，随着审核技术的不断演进，各个领域面临着新的风险问题和对抗形式，这对大模型的应用提出了新的挑战。例如，在审核业务中，涉及审核规则变更、长文本、长时序、多语言、少样本和AIGC生成对抗等问题时，现有的开源大模型表现往往不尽人意。因此，针对这些挑战，我们亟需研发专门针对智能审核的大模型，以提升其在治理中的有效性和适应性。特别的，针对业务特点，我们需要探索高质量的数据自动生成、高效的MOE Embedding、Auto-Prompt生成、高质量 COT输出、大模型知识蒸馏等。此外，该模型应能够满足审核业务的需求，实现高准确率的自主决策和可解释性的COT生成，显著减少误判。针对动态变化的审核规则变更，它能够通过RAG模块自动检索类似的审核案例，将复杂的审核规则变更分解为简单的原子任务，自动拆分出驳回和豁免原子任务，并自动调用相应的Tools来解决这些任务，从而建立“知道拒绝并且知道为何拒绝”的业内领先智能审核系统。最终，大模型智能审核系统的审核效果需要接近或者超过人工审核，往全机审的路线上演进。 1、模态融合能力：提升文本、音频、图像、视频和直播等多模态的细粒度理解能力，实现高准确率的自主决策和可解释性的COT生成； 2、Few-Shot能力：探索多语言、长时序和少样本问题，增强Few-Shot和Zero-Shot能力，针对多变的业务规则具备复杂指令和Auto-Prompt生成能力； 3、攻防对抗能力：研究AIGC图像视频的判别，增强审核大模型对隐晦、抽象的生成式内容的攻防对抗能力； 4、Agent能力：具备调用RAG模块，使用Tools，和Auto-Planning能力；提升大模型的动态推理和反思能力。

团队介绍：Data-电商-平台治理算法团队，通过优化算法，和业务团队协作，对字节旗下的电商产品进行全方位的质量和生态的治理，既包括风险、违规和低质问题的打击，也包括健康电商生态的建设和优化，在最大程度的优化平台治理的效果的同时提升治理的工作效率，降低成本。另外一方面，平台治理算法团队致力于攻坚前沿的AI技术，以技术驱动推动业务的变革和发展，领域涉及广泛，包括但不限于NLP/CV/多模态/大模型/图算法/序列算法等。 课题介绍： 背景：电商智能审核业务比较复杂，随着审核技术的不断演进，各个领域面临着新的风险问题和对抗形式，这对大模型的应用提出了新的挑战。例如，在电商审核业务中，涉及审核PBR变更、长文本、长时序、多语言、少样本和AIGC生成对抗等问题时，现有的开源大模型表现往往不尽人意。因此，针对这些挑战，我们亟需研发专门针对电商智能审核的大模型，以提升其在电商治理中的有效性和适应性。特别的，针对电商业务特点，我们需要探索高质量的数据自动生成、高效的MOE Embedding、Auto-Prompt生成、高质量 COT输出、大模型知识蒸馏等。此外，该模型应能够满足电商审核业务的需求，实现高准确率的自主决策和可解释性的COT生成，显著减少误判。针对动态变化的审核PBR变更，它能够通过RAG模块自动检索类似的审核案例，将复杂的审核PBR分解为简单的原子任务，自动拆分出驳回和豁免原子任务，并自动调用相应的Tools来解决这些任务，从而建立“知道拒绝并且知道为何拒绝”的业内领先智能审核系统。最终，大模型智能审核系统的审核效果需要接近或者超过人工审核，往全机审的路线上演进。 研究方向：模态融合能力：提升文本、音频、图像、视频和直播等多模态的细粒度理解能力，实现高准确率的自主决策和可解释性的COT生成；Few-Shot能力：探索电商多语言、长时序和少样本问题，增强Few-Shot和Zero-Shot能力，针对多变的业务规则具备复杂指令和Auto-Prompt生成能力；攻防对抗能力：研究AIGC图像视频的判别，增强审核大模型对隐晦、抽象的生成式内容的攻防对抗能力；Agent能力：具备调用RAG模块，使用Tools，和Auto-planning能力；提升大模型的动态推理和反思能力。 1、深入理解电商业务，探索基于大模型、多模态模型，持续提升商家/达人在准入、发品、售后等各个业务场景的风险识别效果； 2、提升商品治理审核智能化水平，迭代优化治理大模型，提升大模型对治理规则和商品信息的理解，实现高准高召的问题识别和自动处置； 3、负责强化电商场景下，大模型推理和反思能力，通过商品业务域SFT、高质量Cot、强化学习、数据合成等技术方案，提升商品治理大模型底座能力； 4、参与构建挖掘电商直播、商品、商家和带货主播等多种实体的数据，对大规模网络/海量特征序列进行建模，支撑商家、达人分类/风险团伙挖掘等业务场景解决问题，并为商家/达人治理提供支持； 5、参与构建大规模的图存储和图学习平台，完善电商社区内商家/商品/达人/视频内容的关系建设，构建电商实体通用表征能力，赋能治理业务； 6、建设售后服务MLLM基座大模型，并利用RAG/Agent/RL等技术，解决复杂场景下对体验问题的理解能力。