夸克算法实习生-基础大模型方向（研究型）
任职要求
1.自然语言处理、机器学习、数据挖掘、人工智能等相关专业的硕士生/博士生； 2.熟练掌握 Tensorflow、Pytorch 等深度学习框架，扎实的编程基础，具备独立的算法实现能力； 3.有 LL…
工作职责
1.负责包含文本、视频、图片、语音等多模态数据对齐的基础大模型核心技术研发，包括 Pretrain、SFT、RL 等，持续追踪和应用领域最新技术进展； 2.预训练：跟进和研发更先进的 foundation 模型结构、训练模式、scaling law，提高训练效率和优化关键问题（如推理、长序列能力，多模态融合）； 3.后训练：跟进和研发基座模型的后训练技术，充分激发模型潜力，包括但不限于高质量指令样本构建、课程学习、reasoning RL 等方向； 4.应用：通过模型与场景的深度耦合，推进大模型能力在实际业务中的最优表达，构建具备长期价值的智能 Agent； 5.结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。
1.负责指令型大模型（LLMs）核心技术研发，包括预训练、垂域SFT、RLHF等 2.负责推理型大模型（RLMs)核心技术研发，包括RL、ReFT等，持续追踪和应用领域最新技术进展； 3.严肃医疗诊疗方向的上限探索，用大模型辅助医学问题解决提效 4. 基于研究成果撰写高质量学术论文，积极参与业界交流活动，建立和维护学术界与产业界的合作关系。
1.负责LBS搜索领域内，NLP和大模型相关的算法研发，包括但不限于LLM预训练、Agent、NLP、召回排序模型等。 2.应用最新的技术，推进线上应用的创新与优化，提升信息分发的体验和效率。 3.与工程团队紧密合作，确保算法研发成果的有效落地。
1. 基于大模型研究图像和视频质量评价技术，需要对影响图像质量的细分维度（如：噪声、模糊度、亮度、对比度、炫光等）做可解释性分析，综合性地给出图像质量分数； 2. 基于大模型研究图像美学评价和AI构图技术，需要对影响美学打分的细分维度（如：颜色、光线、对称性、构图合理性等）做可解释性分析，综合性地给出美学评估分数； 3. 参与数据质量评估、标注标准制定及自动化数据 Pipeline 的搭建与维护。
作为研究型实习生，你将加入公司大模型训练加速方向的研究团队，参与超大规模场景下，文本和多模态领域 pre/post/alignment 方向上的高效训练相关的 前沿策略和工程实现工作。该岗位以科研驱动为主，进行理论研究、策略设计、工程原型与实验评估，并鼓励发表顶会/期刊论文与开源贡献。 1、 研究RL场景加速技术，探索前沿的训推分离、梯度压缩、通信压缩、计算压缩 相关技术，改进RL场景不同模型的训练效率，提升e2e吞吐达到业界SOTA水平； 2、 研究前沿的pretrain加速技术，探索不同模态下的 IO/流水调度/算子融合/低精度量化 等加速策略，改进超大规模训练下训练效率，提升MFU； 3、研究大模型训练策略自动寻优技术，通过模型显存、计算、通信 自动化分析和模拟，实现不同模型在不同硬件、不同规模下的训练性能最大化； 4、将研究成果落地为可复现的工程原型，集成/对接业界主流的开源训练框架(megatron/veRL); 5、撰写技术报告与论文，与团队成员及外部学术界保持沟通交流；