通义通义实验室-算法专家-多模态Mobile-Agent
任职要求
1. 具备良好的基础算法与代码能力，熟练掌握 Python 编程语言，熟悉Pytorch, transformers 等工具使用；有 ACM/ICPC、NOI/IOI、Top Coder、Kaggle 等算法竞赛经历或获奖记录者优先； 2. 拥有扎实的机器学习理论基础，熟悉多模态理解、强化学习、Tool Use、…
工作职责
团队介绍： 通义实验室专注于通用人工智能（AGI）、大模型基础研究及行业应用创新。我们以前沿技术探索为驱动，推动大模型赋能千行百业，助力AI创造社会价值，服务云上生态合作伙伴。Mobile-Agent 团队专注于多模态智能体技术研发，覆盖 Android、Ubuntu、Windows 等多端场景，依托集团业务场景与技术生态，推动前沿 AI 技术落地，提升多端智能交互体验。 职位描述： 1. 探索 Android、Ubuntu、Windows 等多端场景下，面向 GUI 交互、代码生成、Tool Use等场景的通用多模态 Agent 构建，助力提升多端智能体的交互能力与适配性； 2. 开展多模态理解、强化学习、Tool Use等前沿技术的研究与实践； 3. 进行多端相关数据建设、评测体系搭建，参与提升数据合成质量、模型规划能力等工作，为多模态智能体技术研发提供支撑； 4. 利用预训练、仿真等技术，协助对多端虚拟/现实场景环境进行建模，研发以多模态智能体为核心的技术原型
1. 主导端侧AI推理框架的整体架构设计与核心模块开发，支持Omni、Speech、VLM等多模态大模型在资源受限设备上的高效运行。 2. 深度优化模型推理性能，包括但不限于算子融合、内存复用、图优化、量化（INT8/INT4）、稀疏化、编译优化（如MLIR/TVM）等关键技术。 3. 针对高通、地平线、MTK、NVIDIA、华为昇腾等主流芯片平台，进行定制化适配与极致性能调优，实现低延迟、低功耗、高吞吐的推理能力。 4. 构建端侧多模态任务调度与资源管理机制，支持语音识别、视觉理解、对话生成等多模型并发执行与协同推理。 5. 与算法、系统、硬件及客户解决方案团队紧密协作，推动从模型训练到端侧部署的端到端Pipeline打通。 6. 跟踪业界前沿技术（如WebNN、ONNX Runtime Mobile、TensorRT-LLM、ExecuTorch等），引入先进工具链与优化策略。
1.参与设计并实现面向手机摄影领域的多模态（图像、视频等）深度学习模型，提升手机拍摄体验。 2.研究开发能够理解用户意图、自动优化照片质量的智能代理(Agent)系统。 3.对现有技术进行持续迭代优化，探索新的应用场景和技术突破点。 4.与产品团队紧密合作，根据市场需求定义项目目标，并推动技术创新成果的应用落地。 5.撰写高质量的技术文档和研究报告，参与相关学术会议或期刊的文章发表。
1.参与设计并实现面向手机摄影领域的多模态（图像、视频等）深度学习模型，提升手机拍摄体验。 2.研究开发能够理解用户意图、自动优化照片质量的智能代理(Agent)系统。 3.对现有技术进行持续迭代优化，探索新的应用场景和技术突破点。 4.与产品团队紧密合作，根据市场需求定义项目目标，并推动技术创新成果的应用落地。 5.撰写高质量的技术文档和研究报告，参与相关学术会议或期刊的文章发表。
● 作为多模态搜索算法团队的负责人，主导构建全球领先的AI驱动跨境B2B搜索引擎，帮助全球买家高效寻找优质制造工厂。 ● 带领团队攻克复杂采购需求的理解难题，支持用户通过图像、图文、Excel表格、PDF文档等多模态输入方式表达采购意图，实现端到端智能解析与语义理解。 ● 设计并落地先进的多模态融合架构，结合视觉、语言与结构化数据理解技术，提升对产品规格、工艺要求、批量参数等关键信息的精准提取能力。 ● 构建高精度、可扩展的搜索引擎匹配系统，融合语义推理、知识构建与向量检索技术，实现“所想即所得”的智能搜索体验。 ● 与产品、工程及业务团队深度协作，洞察业务需求，定义合理的技术路线图，推动技术创新与产品落地。