字节跳动大模型算法工程师-AI Coding(北京/上海/杭州)
任职要求
1、硕士及以上学位,计算机、软件工程、人工智能等相关专业背景; 2、具备数据构建、指令微调及模型开发经验,拥有扎实的代码能力、数据结构与算法基础; 3、优秀的问题分析与解决能力,能够深入解决大模型训练及应用中的复杂问题; 4、熟悉深度学习框架(如PyTorch等),了解大模型的训练与推理流程; 5、熟悉大模型的增量预训练、指令微调、RL等技术; 6、有Pretra…
工作职责
1、聚焦集团研发提效场景,负责代码生成相关算法的设计与研发; 2、深入研究大语言模型(LLM)后训练等前沿技术,提升算法的准确性与效率; 3、分析业务需求,设计并实现适配多场景的算法解决方案,满足产品线的算法需求; 4、持续跟踪LLM领域的最新技术动态,并将其应用于实际业务场景中,推动技术落地。
通义千问(Qwen)是由通义实验室自主研发的超大规模语言模型,具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型,涵盖参数量从亿级到万亿级的基座大语言模型,并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成,从逻辑推理到内容创作,从单一多模态到全模态统一理解生成,Qwen正在打造全球领先的全模态模型技术体系,推动AI在企业服务、开发者生态、个人用户等领域的深度应用,引领下一代人工智能的发展。 Coder团队致力于构建能够执行、扩展并自我进化的自主系统,通过构建超智能的coding agent/digital agent,扩展数字世界,为迈向真实世界的智能奠定基础。 工作职责: 1. 负责通用模型 Qwen 的代码能力和代码专有模型 Qwen-Coder 的构建。 (1)包括但不限于数据收集、预训练、后训练(强化学习)、评测等方向上的探索。 (2)通过Large-scale Pre-training 和 Large-scaleRL来提升Code Reasoning能力,在专家级编程竞赛超越人类,并构建 Coding Agent 来解决真实世界软件开发任务; 2. 负责Computer-Use Agent (GUI-Agent)的建设,以最直观的方式—鼠标、键盘、编码等操作来代替人类执行数字世界任务。 (1)通过Scaling海量数字世界数据结合大规模合成数据,来提升Computer-Use Agent的Grouding能力。 (2)通过Long Horizon的方式进行强化训练,结合可扩展的多模态环境反馈来提升CU Agent的Reasoning的能力。
团队介绍:AI应用与创新团队,立足于抖音集团(抖音、直播、今日头条、番茄小说、财经等),致力于AI技术研究与业务创新赋能,包括:AI x 体验、 AI x 质量、AI x 安全等,助力业务品质与口碑的持续提升。 团队积极向上,工程师文化,技术氛围好,拥有算法(大模型、推荐、机器学习)、工程(后台、前端、大数据)、产品等多种职能岗位,地域覆盖深圳、北京、杭州、上海。 1、负责字节跳动抖音系产品多业务场景下的代码AI提效&提质相关研发工作,包括并不限于代码风险识别、代码数字孪生、智能单测生成等; 2、持续跟进LLM和软件工程的前沿技术,关注AI Coding、UI建站、PRD审计、多Agent协同等前沿技术进展,探索新技术在代码AI方向的应用; 3、深入分析业务和技术问题,和产品/研发/质量/运营等同学密切配合解决,提高项目整体效率和收益。
1、跟踪大语言模型、多模态、强化学习等算法的最前沿进展,将相应技术赋能到机器翻译、多语言理解等小红书国际化实际的业务场景中; 2、结合业务场景,探索大语言模型、多模态模型、扩散模型等在搜广推场景的落地方案,提升海外多语言用户的搜索和推荐基础体验; 3、基于成熟的AI平台服务,构建AI搜索、素材智能创作等完善的AI原生应用和X+AI应用,打造具有核心用户价值的热点应用。