米哈游【实习】LLM Pretrain算法研究员
任职要求
1. 计算机科学、人工智能或相关领域的在读硕士或博士 2. 在自然语言处理、大语言模型研究或机器学习领域中具有相关研究经验 3. 具备扎实的代码与算法基础，熟练掌握PyTorch等深度学习框架 4. 具备有效的沟通和协作技能，对探索新技术和推动技术创新充满热情 加分项 1. 在NeurIPS/ICML/ACL/…
工作职责
1. 专研训练框架，快速定位训练中出现的问题，分析训练过程中的模型表现，跟infra team合作来保证训练策略的正确性 2. 紧跟领域前沿技术，研究新型LLM模型架构，提升训练或推理的计算效率和模型性能 3. 研究不同架构、数据、目标函数和优化方法等各个算法方面的scaling law，总结出高效稳定的预训练策略 4. 拓展模型在长文本理解和生成的能力
研究领域： 人工智能 项目简介： 【攻击】蚁鉴作为蚁天鉴大模型安全一体化解决方案的重要组成部份之一，聚焦于大语言模型潜在输出内容安全的主动挖掘和模型安全能力的量化评测。随着大模型的应用场景不断扩增，使用场景不断多样化，模态增加，agent组件增加，其暴露出来的潜在风险问题也随之扩大。我们希望通过建立一套自动化选件红队体系，挖掘更多的风险，研发更高攻击成功率的方法。从而更快，更全面地发现风险，评估风险，解决风险。当前评测遇到挑战： 1、如何批量的自动发现扫描未知的安全风险； 2、多模态agent 大模型安全评测方案设计； 3、如何对非API的复杂智能体（例如支小宝）进行评测； 4、大模型其他安全问题的研究，例如：能耗攻击，后门，可解释性等； 【防御】大模型对齐作为蚁天鉴安全护栏核心能力之一，对于不安全或者有攻击性的query，在response的价值观等安全性方面往往能表现出更加优秀的性能，在安全链路中发挥着及其重要的作用。 然而，内容安全大模型依然存在大模型的不足： 1. 与语言模型相比，多模内容安全大模型在内容的理解和生成存在许多跨域风险的理解与对齐问题。 2. 幻觉问题，对于一些低频知识依然存在幻觉，特别是在涉政场景，幻觉问题的影响会被放大。 3. 模型难以可控生成，对于一些紧急badcase修复和业务调整依然需要大量数据重新训练成本较高，无法进行及时高效地局部模型知识更新。 4. 推理模型安全性研究与防控。
1. Agent方向：直接参与到导购Agent的算法研发工作，包含无障碍导购Agent、搜索导购Agent两个Agent项目并结合技术创新与实际业务落地，产出高质量论文、专利与开源成果。包括相关项目的高质量数据构建，支撑复杂任务建模与行为学习，运用大模型SFT、RL等Post-training训练方法并探索 Online RL 等前沿方法，设计并落地“过程监督 + 结果监督”联合训练范式，融合MCTS、ToT、Reflection等推理方法，等等； 2. LLM应用方向：探索基于LLM的Query理解大模型，通过天猫的数据微调大模型生成ID表征向量，在搜索和推荐算法各模块进行深度的探索和应用。包括但不限于语义相关性、类目预测、召回排序等。探索生成式搜索技术（如Query扩展、结果摘要生成），助力搜索从“信息呈现”向“决策辅助”升级； 3. 结合业务需求，设计和扩展LLM的应用场景范围及规模，提高模型微调后再垂直领域的应用及专家模式的架构尝试； 4. 跟踪LLM与Agent领域的国际前沿技术动态，开展前沿算法的研究工作，推动技术创新在业务场景中的落地应用，重点突破复杂推理、GUI Agent、AI搜索等方向的技术沉淀和业务创新。
1. 探索LLM前沿领域研究，包括但不限于数据集建设、模型预训练、模型蒸馏、迁移学习、逻辑推理、智能体、MoE、Scaling law和模型评估等工作。 2. 负责优化和提升LLM对齐效果，包括数据质量优化、指令微调、奖励模型优化、强化对齐、策略迭代等，提高算法的效率和性能。 3. 参与LLM在AI虚拟人、AI评论生成、AI广告创意生成、LLM4Rec等业务场景的应用工作。
- 深度参与视频领域大语言模型的 Pretrain & SFT 阶段的工作，并建立视频领域的 LLM benchmark体系； - 探索LLM前沿领域研究，包括但不限于数据建设、模型预训练、长上下文扩展、模型评估等工作； - 基于RAG技术，解决视频领域的问答问题和大模型幻觉问题； - 配合完成视频垂类大模型相关技术与业务沉淀工作（业务数据收集、文档撰写、技术调研等）。