快手大模型数据开发工程师-【可灵AI专项】
任职要求
1、本科及以上学历，计算机科学、数据科学、电子信息、自动化等相关专业优先； 2、具备较强的自驱力和快速学习能力，拥有严谨的问题分析与解决能力，良好的跨团队沟通协作意识； 3、熟练掌握 Python/C++/C 中的至少一种编程语言，具备扎实的算法与数据结构基础； 4、有扎实的工程研发基础，熟悉计算机体系结构、操作系统、分布式计算、网络通信、内存管理、多线程编程等基础知识。 加分项： 1、熟悉 LLM/VLM/DI…
工作职责
1、参与超大规模 AIGC 训练数据生产体系建设，覆盖图片、视频、文本、音频等多模态数据的全生命周期管理，支撑世界领先的多模态生成模型训练需求； 2、与算法团队、AI infra团队深度协作，深入理解业务场景，持续迭代数据生产系统的稳定性、易用性，不断提升交付效率； 3、针对多模态训练数据的打标和训练特征的离线推理场景，优化推理吞吐和性能； 4、参与数据生产过程的资源整体利用率优化，包括异构资源调度、算力动态规划、弹性扩缩容等，降低单位数据生产成本。
1.面向3D大模型的预训练与后训练数据管线，参与设计和实现高性能、可扩展的分布式大数据处理平台，支撑海量数据的清洗、标注、归一化等预处理操作，确保数据质量与处理效率； 2.基于Kubernetes（K8S）体系构建并优化大规模任务处理系统，负责GPU、CPU等异构资源的编排与调度，通过资源配额、负载均衡、节点亲和性等策略提升资源利用率和系统稳定性； 3.与算法工程师紧密协作，深入理解3D大模型研发流程（包括数据收集、模型训练、评估调优等），参与前沿模型中3D数据解决方案的设计、开发与维护，持续提升平台的数据生产效率、易用性及系统健壮性；
1、端到端数据流水线设计：负责设计、构建与优化面向大模型训练的超大规模多模态数据端到端处理流水线，覆盖数据获取、清洗、标注、质量验证到最终训练集生成的全过程。 2、高性能数据算子库开发：抽象和封装多模态数据（文本、图像、视频、音频）的通用处理逻辑，设计并实现高性能、可复用的数据算子库（如：图像解帧、语音识别、文本分词、质量过滤、数据增强等）。 3、训练数据Dataloader研发：深入跟进模型训练阶段，基于处理好的高质量数据集，研发与优化与PyTorch等训练框架无缝集成的高性Dataloader，确保训练过程中数据读取与加载的效率，解决I/O瓶颈，极大提升GPU利用率。 4、流水线编排与效率提升：研发灵活的配置化流水线引擎，支持原子算子的快速编排，并持续优化全链路的数据处理速度和资源效率，快速响应算法团队的数据需求。 5、质量与评估体系：建立数据质量监控与评估体系，确保输出数据集的洁净度、一致性与有效性，并能量化数据质量对最终模型效果的影响。
1.负责飞猪大模型项目，训练数据、评测数据、大模型全链路日志数据建设及管理工作； 2.负责训练数据生产链路设计、建设、管理，包括预训练、SFT、后训练等； 3.负责评测数据生产、评测报告数据开发，参与评测标准定制、评测流程设计；
1.负责飞猪大模型项目，训练数据、评测数据、大模型全链路日志数据建设及管理工作； 2.负责训练数据生产链路设计、建设、管理，包括预训练、SFT、后训练等； 3.负责评测数据生产、评测报告数据开发，参与评测标准定制、评测流程设计；