蚂蚁金服蚂蚁集团-多模态基础算法工程师-支付宝技术部
任职要求
计算机科学、人工智能、电子工程或相关领域的硕士或博士学位。 在以下至少一个领域有深入的研究或项目经验： 1.多模态： 熟悉多模态大模型（VLM/MLLM）、跨模态表征等技术。 2.语音处理： 精通ASR（特别是流式ASR）或TTS（特别是流式TTS）的核心算法。 3.计算机视觉： 熟悉实时目标检测、跟踪、姿态估计、行为识别等技术。 4.自然语言处理： 对大语言模型（LLM）有深入理解，熟悉Transformer等主流模型架构。 具备优秀的编程能力，熟练掌握 Python，并精通至少一种主…
工作职责
1. 提升对话式语音交互体验：围绕支付宝生活助手等智能化场景，持续打磨语音流式全双工交互体验，提升垂类场景语音理解生成质量，建设更具“真人感”的语音交互； 2. 构建多模态交互算法能力：结合多模态感知与融合算法，设计音视频模态协同实时理解、交互决策、长时记忆等关键技术能力，实现系统“边看边想边说”并辅以丰富的表现力； 3. 提升多模态交互反馈质量：面向文本/语音/视频等模态，在语义内容准确性的基础上提升表达“真实感”和“真人感”，包括但不限于副语言信息、视觉画质/美学提升等； 4. 优化端到端耗时体验：面向多模态大模型的训练/微调/推理加速方法，包括但不限于模型训练效率提升、模型加速、端云协同等，将算法模型极致优化并推动落地。
风控技术是蚂蚁大安全技术最核心的团队之一，全面支持蚂蚁支付宝、国际、数金几大板块的风险防控技术能力建设，子方向包括资金风控、内容安全、流量作弊风控、核身等硬核技术，用大数据和AI能力，构建蚂蚁金融和数字化风控技术底盘，保证了风险水位的长期持续稳定。团队敢于打硬仗，不断挑战行业型不确定性技术课题。 面向蚂蚁海量用户，日亿级交易，我们希望用大模型技术重构风控攻防的底层逻辑，结合万亿样本，进行大模型算法/工程/应用的全栈建模，选型，设计，研发，和优化，端到端解决风险防控问题，通过各种创新（如黑产对抗的强化学习，防控特征/策略的生成，面向对抗的多模态算法/系统设计和优化等），用智能化突破现有风险对抗体系的上限，保障支付宝的每一个客户的资金安全，为每一次支付保驾护航。
1、负责支付宝直播/短视频/小程序/社区等场景内容安全和内容理解相关视觉算法开发和优化； 2、基于MLLM构建与防控规则对齐的风险/质量/正向识别能力，解决内容场景中的内容识别/理解问题； 3、关注CV及多模态任务前沿技术和发展动态，以创新的技术视角解决内容安全场景的变种对抗、隐晦风险等问题。
1、深度知识挖掘，在超大规模数据用户行为数据上，通过大模型算法进行用户的深度理解，洞察用户的基础属性、兴趣爱好，为蚂蚁业务提供用户理解的数据底盘； 2、数据算法应用，通过大模型等前沿技术支持支付宝内容推荐业务、支付宝首页推荐业务，提升运营效率，提高业务营收； 3、前沿技术探索，进行大模型前沿技术探索和研发，包含但不限于pre-train、SFT、RLHF、大模型蒸馏等，用大模型解决实际的业务场景问题，负责算法设计、研发以及推动上线，提升业务效果；
1. 客户侧需求分析和机会洞察：能够和客户进行深入的交流，识别出客户在AI转型中的核心需求和问题痛点，并且洞察AI转型对客户经营增长带来的机会，并且结合支付宝的AI技术赋能客户，带来支付宝业务和客户双赢的增长。 2. AI解决方案编写和方案原型构建：能够根据给客户产出的AI解决方案，构建对应AI应用系统原型，通过原型帮助客户理解方案并且达成客户和支付宝在AI应用创新的全面合作。 3. 行业洞察和生态共建：深入把握AI应用技术发展较快的行业(职业教育、就业、物流无人车、两轮车、校园服务、低碳领域)等领域的AI发展方向，熟悉上下游生态产品和技术发展，联合生态一起进行产品共建，构建有支付宝业务技术特色的AI生态技术产品。 4. 支付宝智能业务增长：通过客户方案交付落地，生态产品共建落地，以及行业洞察分析带来机会的机会全面助力支付宝智能业务增长。