新浪微博CTR 模型训练推理优化工程师
任职要求
1、精通 C/C++/CUDA 编程，熟悉 GPU 架构，对 GPU 推理优化有深入理解与实践。 2、熟悉传统推荐模型优化技术，具备丰富的推理优化经验，能够独立完成训练推理服…
工作职责
1、负责 CTR 模型在 GPU 上的训练推理性能优化，支撑高并发、低延迟场景下的线上业务稳定落地； 2、结合大模型技术，推动 CTR 模型升级的工程优化，提升推理效率与资源利用率。
1. 负责到家搜索推荐机器学习引擎的工程架构工作，包括 CTR/LLM 模型训练/推理优化、 用户特征平台建设等; 2. 建设面向多场景、高性能、可拓展的机器学习引擎，支撑外卖/闪购/医药/营销等场景的搜索推荐业务需求; 3. 持续优化工程架构，提升系统性能表现、算力规模以及迭代效率; 4. 调研业界前沿技术发展动态，结合业务实际情况，实现在业务的落地
1. 负责到家搜索推荐机器学习引擎的工程架构工作，包括 CTR/LLM 模型训练/推理优化、 用户特征平台建设等; 2. 建设面向多场景、高性能、可拓展的机器学习引擎，支撑外卖/闪购/医药/营销等场景的搜索推荐业务需求; 3. 持续优化工程架构，提升系统性能表现、算力规模以及迭代效率; 4. 调研业界前沿技术发展动态，结合业务实际情况，实现在业务的落地
1、负责设计与开发分布式模型训练系统，支持千亿参数的PS架构和万亿参数的Transformer架构，优化算力异构集群； 2、设计开发高性能模型推理服务，优化低延迟、高并发、高稳定性的推理系统，满足搜广推场景毫秒级响应需求； 3、优化训练和推理中的性能瓶颈，通过升级架构、算子优化、访存优化、量化技术等压榨硬件算力； 4、优化大模型的训练和推理速度，调研开发DeepSeek、Megatron、DeepSpeed、vLLM等模型和框架的落地； 5、与算法团队紧密合作，针对业务需求（CTR/CVR、大语言模型、强化学习等），推动新技术在场景中的应用。
1）模型应用落地：负责Prompt设计、Few-shot/Zero-shot优化、Continual Pretrain、SFT/RL、RAG链路搭建，提升模型在垂直场景的效果与稳定性，并落地业务解决方案，如AI搜索、智能问答、内容生成、对话系统等； 2）数据构建与评估：构建高质量指令数据、偏好数据、评估集，设计自动化评估指标（如BLEU、ROUGE、人工一致性、幻觉率）； 3）系统协同优化：与工程团队协作，提升模型的训练效率和推理效率，包括但不限于KV-Cache、量化、投机解码等技术，以及部署链路（如vLLM、TensorRT、Triton）的优化； 4）业务效果闭环：建立A/B实验体系，跟踪模型上线效果，持续迭代优化，推动业务指标（如CTR、转化率、用户满意度）提升。