小米大模型算法研究员
任职要求
1. 学术能力: - 精通深度学习、强化学习(RL)、自然语言处理(NLP)等领域,具备创新研究能力。 - 在相关领域的国际顶会或期刊发表高质量论文(如 NeurIPS、ICML、CVPR、ICLR、ACL 等)。 - 在领域内知名比赛(NOI、IOI、IPhO、ACM、Kaggle 等)中取得优异成绩者优先。 2. 编程能力: - 熟练掌握 Python、C++ 或其他编程语言,具备扎实的数据结构与算法基础。 - 熟悉主流深度学习框架(如 PyTorch、TensorFlow),能够高效实现复杂模型。 3. 实战经验: - 有大型模型训练及优化经验者优先,熟悉 LLM(大语言模型)训练和应用全流程。 - 有影响力的项目经验或相关实习经历者优先。 4. 团队合作与沟通能力: - 具备优秀的团队协作和沟通能力,能够推动团队共同解决复杂技术问题。 加分项 - 熟悉大型模型训练技术,包括预训练、SFT(监督微调)、RLHF&O1(基于人类反馈的强化学习)。 - 在多模态建模(如图像-文本、语音-文本对齐)领域有相关研究经验。 - 对 LLM 的推理和规划有深入
工作职责
1. 创新深度神经网络设计: - 开发新颖、开拓性的深度神经网络架构,推动深度学习领域的基础研究。 - 针对多模态(文本、图像、语音等)设计优化模型,提高模型的泛化能力和应用性能。 2. 科学评测体系构建: - 构建科学严谨的算法评测方法,系统评估模型的性能。 - 探索模型能力的潜在机制,推动模型优化和创新。。 3. 高质量数据合成与处理: - 通过数据生成、扩充和重写等方法,创建大规模、高质量的训练数据集。 - 结合指令调优、偏好对齐等技术提升数据质量与模型表现。 4. 强化学习优化: - 研究并实施基于RLHF/RLAIF的偏好对齐技术,提升模型在多领域的应用能力。 - 探索和优化主动学习、课程学习等有效的大模型训练方法。
AI赋能下沉业务,优化业务流程,提升业务效能。 1、大模型高效微调方法,包括数据采样与增强、微调技术探索等,持续提升模型的知识覆盖、推理、工具调用,长文本,RAG等相关能力; 2、大模型对齐方法,包括对齐策略迭代、奖励模型优化、数据构造与优化等,提升模型在安全、可信,风格等方面的表现; 3、基于LLM/VLM的Agent构建,包括通用Agent构建、Computer-Use能力探索、FunctionCall能力评估与增强等; 4、探索前沿的大模型相关技术,包括但不限于MoE、原生多模态、长文本技术、智能体构建等,并将前沿技术应用在业务中; 5、视觉-语言模型(VLM)优化方法,包括视觉-语言的特征对齐、VLM的优化和评估等;
1. 创新深度神经网络设计: - 开发新颖、开拓性的深度神经网络架构,推动深度学习领域的基础研究。 - 针对多模态(文本、图像、语音等)设计优化模型,提高模型的泛化能力和应用性能。 2. 科学评测体系构建: - 构建科学严谨的算法评测方法,系统评估模型的性能。 - 探索模型能力的潜在机制,推动模型优化和创新。。 3. 高质量数据合成与处理: - 通过数据生成、扩充和重写等方法,创建大规模、高质量的训练数据集。 - 结合指令调优、偏好对齐等技术提升数据质量与模型表现。 4. 强化学习优化: - 研究并实施基于RLHF/RLAIF的偏好对齐技术,提升模型在多领域的应用能力。 - 探索和优化主动学习、课程学习等有效的大模型训练方法。
1. 基于海量多模态感知数据,利用大模型微调等技术建立端侧和云端用户感知能力,应用在手机、汽车、IoT场景; 2. 负责IoT主动智能推荐算法优化,探索基于大模型的生成式推荐技术,提升IoT智能推荐决策能力; 3. 负责优化小爱从用户对话中提取记忆的能力,并应用在个性化场景中;