蚂蚁金服蚂蚁集团-大模型评测技术专家-北京/杭州Z
任职要求
1. 计算机或相关专业研究生以上学历。 2. 具备扎实的算法编程能力，熟练使用TensorFlow、PyTorch等主流深度学习框架。 3. 独立思考能力，良好的沟通能力，喜欢探索，有责任心，能主动发现问题并通过技术解决问题。 4. 具有自然语言处理、计算机视觉、语言大模型…
工作职责
1. 建设一站式的大模型自动化评测平台，负责大模型评测基准建设和评测算法研究应用。 2. 为蚂蚁AI业务建设科学的评测体系，参与AI业务评测基准建设，对数据、模型和业务进行全面评估验证。系统化业务问题识别与优化机制，帮助指引算法和技术迭代方向，推动业务落地并取得效果。
1. 构建端到端的数据与MLOps基础设施，支撑语音、图像、文本、传感器等多模态数据的大规模处理及模型的后训练、评估与部署。 2. 设计自动化数据管线，实现多模态数据的收集、清洗、标注、版本管理、质量监控及隐私合规处理。 3. 主导MLOps核心能力建设，包括实验跟踪、特征管理、训练调度、A/B测试、模型版本控制、灰度发布与在线监控。 4. 搭建覆盖模型能力（如ASR准确率、NLU F1、LLM任务完成率）、系统性能（延迟、资源占用）和用户体验（上下文连贯性、任务成功率）的自动化评测体系。 5. 推动AI驱动的测试创新，探索基于大模型的测试用例自动生成、用户行为模拟、对抗测试等前沿方法。
负责蚂蚁集团语言大模型的评测算法研究与应用，搭建业界领先的大模型评测体系，精准全面地评估大模型的能力。基于AIGC等技术建设高质量评测数据集，与业界公开评测集有机结合，深入大模型预训练、后训练、深度思考等各个阶段，利用大模型等技术提高评测效率和准确性，通过高效高质量评测提升语言大模型、垂域大模型的能力和用户体验。
1、模型服务API： 开发实现端到端的模型服务，涵盖LLM/VL/embedding/rerank等大语言模型， 也包含diffusion model方向的生图生视频的模型服务，构建高效的服务框架提升模型接入效率， 优化端到端服务性能，确保稳定性； 2、百炼大模型开发平台上各领域模型服务架构设计迭代、性能优化以及核心服务开发； 3、百炼大模型开发平台模型微调、模型评测技术架构设计、算法开发以及对应业务能力建设。
1、负责政企客户的大模型需求收集、分析，设计服务解决方案，通过SOP的把控，端到端的把控项目风险和履约落地。 2、负责政企客户的大模型项目专家技术支持，包括但不限于模型调优、Prompt工程、工作流、RAG、AI agent。 3、负责阿里云 AIStudio、AIWorks等平台的企业级客户的专家服务，持续推动客户做好标准化大模型迁云、云上优化，并根据现场问题持续反馈推进产品改进。 4、深入大模型和客户业务的结合，沉淀孵化大模型服务解决方案，制定服务差异化竞争策略，助力客户在大模型应用上取得成功。