理想汽车【基座模型】多模生成大模型算法工程师
任职要求
1. 机器学习、模式识别、信号处理或相关专业的硕士或博士; 2. 在计算机视觉、AIGC、渲染生成、语音生成/合成等一个或多个领域有较深入的研究者; 3. 熟练掌握Python…
工作职责
1. 探索多模态理解与生成、语音/音乐生成、3D生成、视频生成、强化学习等前沿技术; 2. 利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模,研发以人工智能技术为核心的新技术、新产品。
预训练 探索下一代大模型预训练范式,从模型结构、训练策略、数据策略、算力利用率等角度切入,打造具有更强能力和更高潜力的基座模型。 1.设计更高效的模型结构,提高给定数据量、计算量、参数量、序列长度等约束下的模型能力,如长序列能力、记忆能力、推理能力等; 2.探索更科学的训练策略,对影响training dynamic的关键变量(如学习率、batchsize、初始化等)形成更科学的认知,探索更适合大模型的optimizer等; 3.研究模型结构和数据的耦合关系;探索预训练与上下游环节的联合优化;改进分阶段训练范式; 4.结合MLsys解决大规模训练和推理中遇到的卡点问题,实现算法和工程联合设计。 原生多模态 1.负责面向真实世界数据(尤其是大规模视频序列、图文交错数据等)的原生多模态大模型的架构设计与预训练技术探索。攻坚多模态信息(视觉、语言、音频、触觉等)的深度融合、统一表征与跨模态生成。借助更大规模自监督学习范式,驱动模型学习多模态序列分布,致力于让模型从海量数据中学习世界运行的规律、物理交互知识与通用技能; 2.设计并优化适用于原生多模态架构的表征构建与学习方案,以增强模型对多模态Token的深层理解、采样与复杂推理能力。结合SFT/RL等后训练探索,激发模型采样多模token,解决物理世界问题能力; 3.负责将原生多模态大模型学到的丰富先验知识高效迁移并赋能具身智能体。主导或参与强化学习(RL)、模仿学习(IL)、规划与控制算法的设计与优化,显著提升智能体在模拟及真实机器人上的学习效率、任务成功率与自主决策能力; 4.负责设计并与工程团队紧密协作搭建高逼真度、可扩展的具身智能模拟环境,产出多样化、高质量的合成交互数据,为强化学习算法的训练、测试以及Sim-to-Real研究提供坚实的数据与环境基础。 智能体系统 1.研发端到端训练、能够自主处理问题、具备完整工具使用能力的智能体(Agent)系统,在Agentic Coding、DeepResearch等各类端到端任务上取得突破。 2.探索能够自主与环境交互,自适应学习并持续提升的智能体(Agent)系统,提升大模型解决现实问题的能力。
研究方向一:图像生成大模型技术研究 1.负责下一代图像生成模型架构建设,包括但不限于AR-Diffusion、生成编辑统一架构构建; 2.负责生图专项能力升级,包括Reward model设计、多语言文字生成能力。 研究方向二:视频生成大模型技术研究 1.负责下一代视频生成模型架构建设,以及高效率、低精度损失、高压缩比的视频VAE和tokenizer建设; 2.负责视频生成下游功能拓展,包括多概念注入生成、交互式生成、长视频生成等。 研发方向三:视觉内容创作Agent 1.负责对话式创作助手核心能力攻坚,包括图像视频创作场景的CoT能力、交互式编辑能力提升。 2.负责图文海报、剧情化成片等典型应用场景的模型微调、Agent能力建设。 研究方向四:拟人化多模交互前沿路线研究 1.构建多模输入的人物视频生成模型,具备高度拟人化的面部驱动、人体动作生成。 2.构建基于多模态大模型的端到端交互模型,实现智能双工交互和人-物-场景的交互。
我们正在寻找一位AI算法应用工程师,加入我们的技术团队。 该职位将负责开发和优化我们的基于LLM的大模型AI应用,预训练、基座需求较少。重点在于AI应用的开发阶段,后续可能会有SFT或DPO的需求。开发基于大模型的应用产品,以教育行业落地为导向,实现技术价值最大化。 工作职责: 1.负责企业应用中生成式AI能力的设计、开发和部署,提供更好的用户体验 2.结合工作流、提示工程、模型选择、模型微调等技术,支持关键产品功能 3.开发并维护我们使用大型语言模型能力的服务,保证算法服务的稳定性和可观测性 4.跟进前沿趋势,为团队调研引入新的AI应用场景
工作职责 1. 参与广告投放平台(聚光、薯条等)核心业务系统设计和开发,包括广告管理、广告数据、创意优选等核心模块,服务于小红书商业广告数十万客户。 2. 参与到广告B端基于AI核心功能开发与优化,从投前拉新、投中广告诊断到投后复盘多个环节进行深度提效,不断降低广告营销门槛让更多的客户在小红书持续投放持续经营。 3,参与广告核心中台维护,负责底层海量广告库的维护与开发,不断提升广告系统的稳定性和整体运行效率,构建行业一流的广告基座服务。 4. 和产运、一线客户一起,共同设计小红书行业特色的广告产品,服务于千行百业广告主,共同推进小红书商业化广告快速发展。