小红书大模型-Alignment数据实习生
任职要求
对 LLM 对齐、后训练、对话系统有兴…工作职责
1、面向多类任务（任务型/复杂指令/多轮对话/工具使用/推理/偏好/安全），批量构造 prompt families 2、设计 Prompt diversity、difficulty 的维度设计和系统实现 3、结合模型输出结果，基于 score / RM / heuristics 做 prompt×response 联合筛选 4、全程参与做 data → model → eval → refine 的闭环和模型合版实验 5、参与 SFT-prompt 和 RL-prompt 的差异化设计（多阶段 / multi-turn RL-friendly prompt）
1、负责面向国内及海外场景的大模型安全护栏模型（Safety Guardrail Model）的训练、评测与迭代优化； 2、参与安全价值观对齐模型（Safety Alignment Model）的数据构建、清洗、标注与增强工作； 3、协助设计多语言安全测试集Benchmark构建，评估模型在敏感、违规、越狱等场景下的鲁棒性； 4、支持基于DPO、SFT等技术的安全微调实验，分析训练曲线与对齐效果； 5、编写自动化脚本，提升数据处理与模型评测效率，输出清晰的技术文档。
深入理解 LLMs/MLLM 模型从数据、训练 到 评测的全流程，抽象认知能力维度，完善评测体系和构建业界前沿的Benchmark； 深入理解metric-based 评估方法，创新性的运用mulit-agent、self-critical/self-refinement、evaluator LLM 等手段打造scalable的自动化评测范式。 对模型进行全方面细致的评测，对模型能力进行深入归因分析，产出围绕模型的客观认知，为模型训练迭代提供重要的指导意见； 追踪NLP/多模态方向前沿进展，积极主动地学习和探索新的方法和技术。
1、负责基于LLM及多模态大模型的应用创新研发，并在真实场景实现落地，创造收益增长； 2、负责LLM应用中台及相关技术创新研发，包括但不限于Agents 、RAG、 function call、system prompts等。
多模态大模型技术（large multimodal models，LMM）是整个学术界和工业界的研究热点，但当前的主流技术方案在面对复杂的自然图像时，细粒度理解能力仍存在明显缺陷，大大限制了相关技术的行业落地。本项目拟研究解决多模态大模型中的视觉-文本细粒度理解及对齐问题，从而提升多模态大模型的视觉能力，推动其在各行业和专业领域的应用落地。项目包括但不限于如下待探索的细分关键研究方向：（1）细粒度图文对齐学习技术（Fine-grained image-text alignment）；（2）多模态上下文学习技术（Multi-modal in-context learning）；（3）多模态代理技术（Multi-modal agents）。