蚂蚁金服【蚂蚁星-Plan A】多模态大模型研发-多模态感知与交互(实习)
实习兼职蚂蚁星- Plan A人才计划实习地点:北京 | 上海 | 杭州状态:招聘
任职要求
1. 本科及以上学历,计算机相关专业,多模态算法相关工作经验; 2. 熟练掌握计算机视觉领域的基础理论和方法,熟悉PyTorch等主流深度学习框架,能够独立实现前沿模型; 3. 有良好的自我学习能力及自驱力,对前沿领域有强探索欲,富有想象力和创造力; 4. 良好的学术调研能力,良好的逻辑和数据分析能力,有高质量论文…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
多模态交互团队是蚂蚁基础智能部门专注于最前沿多模态交互大模型研究的团队 1. 研究多模态模型预训练新范式,突破多模态对齐、跨模态推理、多模态数据挖掘和合成、效果评测等关键技术难题; 2. 打造行业领先的算法能力:如视频问答、音视频交互等; 3. 探索视觉理解大模型与音视频交互大模型技术的深度融合路径,构建支持图像、视频、语音多模态理解的通用大模型架构和大规模训练; 4. 支持音视频交互推理加速框架建设,构建完善的音视频交互大模型数据链路,探索和细化不同的音视频交互模型的评估维度、方法和指标,落地评估系统,支撑基础大模型迭代和上线; 5. 关注多模态/NLP/语音等方向的前沿技术,及时将新技术应用到产品中。
包括英文材料
学历+
算法+
https://roadmap.sh/datastructures-and-algorithms
Step by step guide to learn Data Structures and Algorithms in 2025
https://www.hellointerview.com/learn/code
A visual guide to the most important patterns and approaches for the coding interview.
https://www.w3schools.com/dsa/
OpenCV+
https://learnopencv.com/getting-started-with-opencv/
At LearnOpenCV we are on a mission to educate the global workforce in computer vision and AI.
https://opencv.org/university/free-opencv-course/
This free OpenCV course will teach you how to manipulate images and videos, and detect objects and faces, among other exciting topics in just about 3 hours.
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具,在灵活性、可读性和性能上都具备相当的优势,近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
数据分析+
[英文] Data Analyst Roadmap
https://roadmap.sh/data-analyst
Step by step guide to becoming an Data Analyst in 2025
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
还有更多 •••
相关职位
社招技术类-开发
1. 营销阵地C端玩法架构设计与实现,在快速迭代中沉淀抽象以提升研发效率 2. 电商导购心智产品建设与迭代,用数据、技术驱动业务效果提升 3. 支撑大促活动,解决高并发高难度技术课题,协同上下游落地跨团队项目,并保障项目稳定 4. 推荐系统迭代与调优,构建多维度策略能力,提升整体推荐分发效率与效果
更新于 2025-07-21杭州
社招2年以上技术类-开发
方向一: 客户端平台:iOS/Android 方向二: 1.客户端基础框架的定制、开发、优化。 2.Web技术研发,移动端跨端动态技术研发,包括生态语言、渲染技术 方向三: 1.面向支付宝客户端iOS/Android平台的智能化基础设施建设,赋能端内各业务场景; 2.负责端侧计算引擎的架构设计与开发,增强对用户的理解; 3.负责端云共享学习、在线学习等领域的技术体系建设; 4.负责终端大模型框架与应用落地 5.强烈责任心和团队合作精神,乐于探索未知领域。
更新于 2025-04-03北京|上海|杭州
社招3年以上技术类-数据
1、与业务需求结合,设计并落地创新型实验及准实验,提升实验的效率和洞察深度,探索机器学习技术、动线挖掘、模型预测等方法在因果推断中的应用场景,解决观测数据中因果关系的识别,研发新型因果推断方法,优化业务决策; 2、从理解业务问题到因果因推断相关领域方法论研究、原型验证、直到与工程团队合作将成熟的技术产品化,推动方法从理论到实践的转化。设计可扩展的实验框架,支持大规模、多场景下的因果推算与效果评估; 3、负责通过AB实验设计、因果推断、深度学习等手段,量化运营策略效果和价值,科学评估运营手段,为业务决策提效。
更新于 2025-07-28北京