小米端到端算法(感知方向)专家工程师

我们是谁？ 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现厘米级高精地图、实时三维重建、多模态感知等核心技术的引擎，持续突破自动驾驶、AR导航、智慧交通等领域的技术边界。 团队gihub主页：https://github.com/amap-cvlab 为何加入我们？ 挑战世界级技术难题，追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 岗位职责： 团队主要聚焦多模态大模型技术在端到端自动驾驶的应用，我们期待你的工作将覆盖以下至少一个技术方向即可： 1. 在端到端自动驾驶、多模态大模型的训练及调优、BEV感知、基于深度学习/强化学习的规划控制、RLHF、驾驶场景视频生成等领域具备丰富且有独创性的研究经历。 2. 探索多模态大模型在下游任务中的技术能力，包括但不限于图文对齐/识别、跨模态理解生成、多模态检索、VLM端到端自动驾驶、世界模型等。 3. 了解大模型模型的训练/微调/推理加速方法，包括但不限于模型结构调优、训练效率提升、高效低成本微调、Muti-token推理，模型部署加速等。 4. 参与自动驾驶系统中机器学习算法的研究、开发与优化，包括但不限于深度学习算法在端到端感知大模型、规控大模型、视觉语言大模型等方面的应用。 5. 负责收集、整理和分析自动驾驶相关的数据集，进行数据预处理和标注，以提高模型的准确性和泛化能力。 6. 设计和实现端到端自动驾驶模型的训练流程，包括选择合适的优化算法、调整超参数、评估模型性能等，确保模型在不同场景下的稳定性和可靠性。

团队介绍：字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索算法创新和架构研发工作。我们使用最前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1）探索最前沿的NLP技术：从基础的分词、NER，到应用上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2）探索跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，让视频搜索拥有更强大的检索能力；3）探索大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4）探索千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务，方方面面都进行深入研究和创新。 1、参与搜索引擎研发，探索搜索全链路（分析、召回、粗排、精排、混排）的个性化行为建模，包括CTR、CVR预估、向量召回、价值混排、RAG、NLP、LLM、多模态、机器学习、深度学习等，推动搜索算法在国际化电商场景的落地与提升，提升亿级用户搜索体验； 2、参与国际化电商搜索算法的优化与迭代，提升转化效率、用户体验和供给生态；解决多语言相关性匹配、权威性感知、种草内容理解、重复铺货、山寨假货治理等技术难题，极致优化内容电商、传统货架电商等多种电商业务形态的基础搜索质量；极致提升商品、种草视频和带货直播的购物转化效率，促进GMV增长； 3、深入参与核心搜索产品的需求设计，负责算法和工程的高质量交付，持续优化效果提升产品体验； 4、挖掘数据，构建Query理解、召回、排序等模型，提升电商搜索算法能力； 5、学习前沿技术，探索大模型等创新技术在AI搜索场景的落地。

团队介绍：字节跳动抖音搜索团队主要负责抖音搜索算法创新和架构研发工作，主要包括短视频、直播、本地生活、视觉搜索等多个业务线。我们使用最前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，到应用上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，让视频搜索拥有更强大的检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新。 1、参与搜索引擎研发，探索搜索全链路（分析、召回、粗排、精排、混排）的个性化行为建模，包括CTR、CVR预估、向量召回、价值混排、RAG、NLP、LLM、多模态、机器学习、深度学习等，推动搜索算法在国际化电商场景的落地与提升，提升亿级用户搜索体验； 2、参与国际化电商搜索算法的优化与迭代，提升转化效率、用户体验和供给生态；解决多语言相关性匹配、权威性感知、种草内容理解、重复铺货、山寨假货治理等技术难题，极致优化内容电商、传统货架电商等多种电商业务形态的基础搜索质量；极致提升商品、种草视频和带货直播的购物转化效率，促进GMV增长； 3、深入参与核心搜索产品的需求设计，负责算法和工程的高质量交付，持续优化效果提升产品体验； 4、挖掘数据，构建Query理解、召回、排序等模型，提升电商搜索算法能力； 5、学习前沿技术，探索大模型等创新技术在AI搜索场景的落地。

机器智能部门介绍： 蚂蚁集团大安全事业群机器智能团队致力于打造安全科技的核心竞争力，做可信AI的持续引领者，为广大支付宝用户的数字化生活提供全方位安全保障。作为蚂蚁集团安全版图中的核心力量，我们正以最前沿的AI算法为刃、以大模型为盾，编织数字世界的"安全之网"。在这里，大模型、智能体、AI安全等热门的研究不再是纸上谈兵，每一个方向都在落地成为真实业务场景、十亿级用户的智慧防线。 关于团队，过去获得过浙江省科技进步一等奖、中国电子学会科技进步一等奖，人工智能学会吴文俊人工智能自然科学奖一等奖，中国图象图形学学会科技进步一等奖、多次获得中国计算机学会科技进步奖、世界人工智能大会SAIL之星与"镇馆之宝"，等多个重量级奖项。可信AI专利布局全球第一，主导制定ITU国际风控标准。多名Kaggle Grandmaster ，拿过多个KDD Cup/CVPR/NeurIPS/ICCV/CVPR/ECCV等多个顶会竞赛冠军，累计发表近百篇顶会论文； 在这里，你将有机会和毕业于海内外著名高校的行业专家们、众多KDD Cup/CVPR 等比赛冠军、Kaggle Grandmaster 、顶会论文作者们共同根植蚂蚁丰富的场景数据，利用海量算力探索创新前沿算法应用，使用领先的机器学习算法解决风控业务问题，构建数据与知识驱动的智能风控体系，提升用户的支付安全体验。 加入我们，让我们一起为世界带来微小而美好的改变。 1.伪造检测方向，统一篡改和生成，统一图像、音频和视频的Allinone模型，并探索推理和生成reward； 2.多模推理方向，视觉图像&视频reasoning，提升理解和推理能力，攻坚reward设计、多模态推理框架设计等核心问题； 3.多模交互方向，构建统一的端到端多模态模型，使其能够像人类一样同时感知多种模态的信息（文本、图像、音频、视频），并以流式方式生成文本和自然语音响应。