小红书AI音频算法工程师-社区技术

1. 负责多模态大模型（文本、图像、视频、音频等）在AI搜索等方向的算法研究、设计与开发，推动模型在理解、生成、推理等任务上的性能突破。 2. 探索多模态后训练、对齐等核心技术，优化模型训练效率及跨模态任务泛化能力，以及场景应用的泛化能力； 3. 构建高质量离线多模态数据，设计数据增强及清洗策略，提升模型训练与应用服务效果； 4. 跟踪学术界与工业界最新进展，推进技术创新并形成技术前沿迭代机制，服务美团场景用户。

1、支持语音交互技术在字节跳动公司内外丰富的业务场景落地，解决落地过程中的前沿问题，持续优化在智能硬件中的音频理解及处理，以及语音助手核心技术效果； 2、专注端侧智能交互的前沿技术和算法效果，追求和探索业界最前沿算法； 3、负责字节跳动旗下音频内容创作和消费业务场景的智能移频理解和处理算法研发和业务支持； 4、跟踪智能音频领域的最新技术进展并升级团队自研的各算法系统，包括回声消除、AI降噪、多通道音频处理、音频事件理解与检测； 5、跟踪研发业界先进的音频进展，统计模型/机器学习/深度学习技术在语音/音频领域研发并落地产品。

1、支持语音交互技术在字节跳动公司内外丰富的业务场景落地，解决落地过程中的前沿问题，持续优化在智能硬件中的音频理解及处理，以及语音助手核心技术效果； 2、专注端侧智能交互的前沿技术和算法效果，追求和探索业界最前沿算法； 3、负责字节跳动旗下音频内容创作和消费业务场景的智能移频理解和处理算法研发和业务支持； 4、跟踪智能音频领域的最新技术进展并升级团队自研的各算法系统，包括回声消除、AI降噪、多通道音频处理、音频事件理解与检测； 5、跟踪研发业界先进的音频进展，统计模型/机器学习/深度学习技术在语音/音频领域研发并落地产品。

团队介绍：Data-电商-平台治理算法团队，通过优化算法，和业务团队协作，对字节旗下的电商产品进行全方位的质量和生态的治理，既包括风险、违规和低质问题的打击，也包括健康电商生态的建设和优化，在最大程度的优化平台治理的效果的同时提升治理的工作效率，降低成本。另外一方面，平台治理算法团队致力于攻坚前沿的AI技术，以技术驱动推动业务的变革和发展，领域涉及广泛，包括但不限于NLP/CV/多模态/大模型/图算法/序列算法等。 课题介绍： 背景：电商智能审核业务比较复杂，随着审核技术的不断演进，各个领域面临着新的风险问题和对抗形式，这对大模型的应用提出了新的挑战。例如，在电商审核业务中，涉及审核PBR变更、长文本、长时序、多语言、少样本和AIGC生成对抗等问题时，现有的开源大模型表现往往不尽人意。因此，针对这些挑战，我们亟需研发专门针对电商智能审核的大模型，以提升其在电商治理中的有效性和适应性。特别的，针对电商业务特点，我们需要探索高质量的数据自动生成、高效的MOE Embedding、Auto-Prompt生成、高质量 COT输出、大模型知识蒸馏等。此外，该模型应能够满足电商审核业务的需求，实现高准确率的自主决策和可解释性的COT生成，显著减少误判。针对动态变化的审核PBR变更，它能够通过RAG模块自动检索类似的审核案例，将复杂的审核PBR分解为简单的原子任务，自动拆分出驳回和豁免原子任务，并自动调用相应的Tools来解决这些任务，从而建立“知道拒绝并且知道为何拒绝”的业内领先智能审核系统。最终，大模型智能审核系统的审核效果需要接近或者超过人工审核，往全机审的路线上演进。 研究方向：模态融合能力：提升文本、音频、图像、视频和直播等多模态的细粒度理解能力，实现高准确率的自主决策和可解释性的COT生成；Few-Shot能力：探索电商多语言、长时序和少样本问题，增强Few-Shot和Zero-Shot能力，针对多变的业务规则具备复杂指令和Auto-Prompt生成能力；攻防对抗能力：研究AIGC图像视频的判别，增强审核大模型对隐晦、抽象的生成式内容的攻防对抗能力；Agent能力：具备调用RAG模块，使用Tools，和Auto-planning能力；提升大模型的动态推理和反思能力。 1、深入理解电商业务，探索基于大模型、多模态模型，持续提升商家/达人在准入、发品、售后等各个业务场景的风险识别效果； 2、提升商品治理审核智能化水平，迭代优化治理大模型，提升大模型对治理规则和商品信息的理解，实现高准高召的问题识别和自动处置； 3、负责强化电商场景下，大模型推理和反思能力，通过商品业务域SFT、高质量Cot、强化学习、数据合成等技术方案，提升商品治理大模型底座能力； 4、参与构建挖掘电商直播、商品、商家和带货主播等多种实体的数据，对大规模网络/海量特征序列进行建模，支撑商家、达人分类/风险团伙挖掘等业务场景解决问题，并为商家/达人治理提供支持； 5、参与构建大规模的图存储和图学习平台，完善电商社区内商家/商品/达人/视频内容的关系建设，构建电商实体通用表征能力，赋能治理业务； 6、建设售后服务MLLM基座大模型，并利用RAG/Agent/RL等技术，解决复杂场景下对体验问题的理解能力。