美团AI训练师主管
任职要求
本科及以上学历,有AI数据生产和评估相关领域背景,具备2年以上训练师团团队管理经验; 能准确理解业务诉求,对质量/数据变化敏锐,能通过独到的视角或科学的方法发现并解决问题,推动业务指标达成和策略落地; 有自然语言处理、搜索、人工智能领域相关工作经验,有AI项目交付经验者优先; 有想象力、良好的理解阅读能力和创意,了解国内外各种类型的AI产品…
工作职责
负责对基于大模型构建的通用垂类应用进行效果和质量评估;通过与产品研发团队的紧密合作,制定评估标准和体系,准确分析评估效果,为应用的优化和改进提供支持,以提升应用的性能、用户体验和市场竞争力; 应用效果与质量评估: 1)负责评估基于大语言模型构建的通用垂类应用的效果和质量,包括但不限于语言理解准确性、生成内容的合理性、逻辑连贯性、知识准确性等方面; 2)参与设计测试用例,涵盖不同场景、用户需求和输入条件,以确保应用在各种情况下的稳定性和可靠性; 3)参与收集和分析用户反馈数据,结合实际使用情况,对应用的性能和用户体验进行综合评估; 评估标准与体系建设: 1)理解业务需求和产品目标,与产品研发团队密切沟通和协作,负责制定详细、明确的评估标准和指标体系; 2)理解评估数据的收集、整理和分析流程,确保评估数据的完整性和可靠性,为评估体系的持续改进提供数据支持; 评估效果分析与报告:撰写评估报告,清晰阐述评估方法、过程、结果和结论,为产品研发团队提供决策依据和改进方向。
1、技术培训需求调研与体系规划:开展多维度的技术能力缺口诊断(如产品技术、专项问题),运用问卷、访谈、绩效数据分析等方式识别关键需求。基于业务战略(如产品迭代、投诉改善目标),制定年度/季度培训计划,明确优先级、资源配置及实施路径。 2、技术认证体系与月考管理:设计分层级技术认证标准(如初级/高级工程师认证),关联职业发展通道与激励机制。主导技术月考全流程:题库开发(结合产品故障库)、考核实施、成绩分析,输出能力短板改进方案。 3、讲师团队建设与管理:选拔内部技术专家担任讲师,设计培养计划(含课程开发、授课技巧、课堂控场能力训练)。建立讲师激励体系(如课时津贴、荣誉评级),确保课程质量与讲师留存率。 4、一线工程师能力提升与认证体系化:开发针对性课程(如3C数码产品故障排查、黑白电维修技术),通过工作坊、情景模拟强化实操能力。搭建“培训-认证-实践-复训”闭环体系,推动能力数据化(如认证通过率、故障解决效率提升率)。 5、技术专项攻坚组织:主导高优先级专项(如多维率降低、重大投诉改善),协调研发、服务团队开展根因分析,设计培训干预方案并跟踪落地效果。
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架,优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline; 2、研发支持多机多卡 RL 的分布式训练框架,开发TP/PP/ZeRO-3与RL流程的动态协同机制,解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链,主导框架与 MLOps 平台集成,提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作,参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代; 5、参与分析各业务 GPU 利用率与饱和度等指标,结合业务场景持续优化训练框架能力,提升框架领先性。
【业务介绍】 作为公司统一的机器学习平台团队,负责调度公司所有模型训练与推理资源;基于自建的训推引擎,构建公司统一的机器学习平台,为公司所有算法同学(稀疏 & 稠密,含 LLM) 模型迭代提供端到端的一站式服务;包括 数据生产,模型训练,模型上线,特征管理,模型测试,资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路,离在线数据相关的开发工作,包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作;包括样本平台,特征平台,训练平台,推理平台等AI应用后台建设等; 3、研究分析业内AI平台产品,优化技术方案,改进产品功能,完善产品体验。