字节跳动数据开发工程师-大模型知识工程
任职要求
1、熟悉至少一种编程语言，如Go, Python, Java等； 2、对大数据技术有深入的理解加分，熟练掌握如Spark、Flink、Kafka、Hive、HDFS等工具加分…
工作职责
1、设计和开发大规模预训练数据处理链路，为基座模型预训练提供稳定、可靠的高质量数据处理能力，包括数据寻源、数据抓取/采集、数据解析（OCR、图片、网页）等工作内容； 2、设计和开发服务大模型预训练的数据平台，管理数据的元信息、血缘、存储治理等数据全生命周期要素；提供预训练数据的可视化、可观测能力；探索数据实验、数据发版的工程上限； 3、针对LLM、VLM等模型构建数据合成方案和框架，支持数据Scale等工作； 4、根据大模型训练数据特点，抽象并开发高效、可靠的数据加工框架，提升所有大模型算法工程师处理数据的工程效率。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。
【业务介绍】 我们是小红书内稠密类模型（LLM/MLLM/SD/CV/NLP）统一的AI平台QuickSilver，负责调度公司内所有稠密类模型训练与推理资源，基于自建的训推引擎，为公司所有AI算法同学迭代业务模型提供端到端一站式AI服务；包括数据管理，模型管理，模型训练、压缩、推理、部署，服务管理，资源调度等一系列能力。 工作职责： 1、负责稠密类模型训练推理开发平台的架构设计和核心功能研发 2、设计和实现大模型训练部署流程，包括模型fine-tuning、推理服务化等 3、构建云原生架构，设计高可用、高性能的微服务体系 4、优化平台性能，提升系统稳定性和可扩展性
关于我们： 滴滴国际化Fintech业务，是滴滴国际化战略的重要组成板块。近年来，滴滴Fintech在拉美地区积极探索和开展电子支付、信贷、信用卡、商户收单等业务，为当地用户带来更便捷、优质、更高性价比的金融服务。我们诚挚邀请真诚、可靠、勇于挑战的您和我们一起，携手并肩，拥抱金融出海的浪潮，和滴滴Fintech一起快速成长。 职位描述： 1、参与并完成风控平台基建研发，包括决策引擎、特征平台、核身、模型、名单、图数据库、监控平台、Databus等多个方向 2、建设提效工具，提升风控研发流程的效率。 3、积极跟其他团队沟通和配合，推动项目进展，讨论并提出有建设性的意见。
滴滴国际化Fintech业务，是滴滴国际化战略的重要组成板块。其支付业务，已经覆盖了全球十多个国家，在中国互联网公司出海中出类拔萃。 自2021年开始，滴滴Fintech在拉美地区大力发展电子支付和信贷业务。短短2年时间，其个人信贷业务，已经在墨西哥的Fintech玩家中位于第一梯队；其电子钱包业务也在巴西的Fintech玩家中也名列前茅，实现快速增长。此外，滴滴Fintech还在拉美地区积极探索和开展信用卡、商户收单等业务，为当地用户带来更便捷、优质、更高性价比的金融服务，实现多个从0到1的突破。 我们诚挚邀请真诚、 可靠、勇于挑战的您和我们一起，携手并肩，拥抱金融出海的浪潮。和滴滴Fintech一起，实现从0到1，从1到100的快速成长 职位描述： 1、参与并完成风控平台基建研发，包括决策引擎、特征平台、核身、模型、名单、图数据库、监控平台、Databus等多个方向 2、建设提效工具，提升风控研发流程的效率。 3、积极跟其他团队沟通和配合，推动项目进展，讨论并提出有建设性的意见。