
商汤C++软件工程师(世界模型方向)
任职要求
1. 计算机、软件、电子等相关专业,本科及以上学历,一年以上相关行业工作经验 ; 2. 扎实的计算机基础知识,精通c/c++开发,编程功底扎实,优秀的开发和调试能力; 3. 自我驱动力强,对新技术有钻研兴趣,并拥有良好的自学能力; 4. 具备优秀的逻辑思维能力,有良好的沟通和团队协作能…
工作职责
1. 构建辅助驾驶/机器人场景的大模型端&云侧协同计算平台,支撑云&边&端平台的深度学习计算部署落地,打造计算机视觉在边缘计算行业的核心竞争力和解决方案; 2. 深度学习算法、LLM、语音应用成果转化,负责LLM、检测、分类、分割、3D等方向算法的工程化、服务化和产品化; 3. 异构计算芯片性能优化,在市场主流移动端SOC芯片——Qualcomm、MTK、Nvidia霸等,进行异构计算极致性能优化; 4. 算法SDK通用框架构建与优化,保证深度学习算法部署落地的高效稳定,可移植可扩展。
团队介绍:字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破,同时专注于分布式系统、机器学习系统的构建和性能优化,从内存、Disk等优化到索引压缩、召回、排序等算法的探索,充分给同学们提供成长自我的机会。主要工作方向包括:1、探索前沿的NLP技术:从基础的分词、NER,文本、多模态预训练,到业务上的Query分析、基础相关性等,全链路应用深度学习模型,每个细节都充满挑战;2、跨模态匹配技术:在搜索中应用CV+NLP深度学习技术,实现多模态视频搜索强大的语义理解和检索能力;3、大规模流式机器学习技术:应用大规模机器学习,解决搜索中的推荐问题,让搜索更加个性化更加懂你;4、千亿级数据规模的架构:从大规模离线计算,分布式系统的性能、调度优化,到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新;5、推荐技术:基于超大规模机器学习技术,构建业界领先的搜索推荐系统,对搜索推荐技术进行探索和创新。 课题介绍:随着大模型技术的快速发展,智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时,逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术,提升搜索系统的智能化水平,优化用户体验,并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括: 1、探索大模型与排序算法的结合,提升个性化排序的精度和用户体验; 2、研究生成式检索算法,解决百亿乃至千亿级别候选库的超大规模检索问题; 3、利用大语言模型(LLM)提升复杂多义Query的搜索满意度。 1、参与搜索引擎(策略、模型)研发工作,支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品,致力于为数亿用户提供数千亿精准搜索结果,打造极致的搜索体验; 2、探索前沿技术,探索大模型等创新技术在AI搜索场景的落地,参与搜索引擎、搜索大模型的改进,包括而不限于: 1)NLP、大模型:构建大规模高质量数据(数据建设、数据抓取与解析、数据合成等)、分词、NER,文本、多模态预训练、Query分析、基础相关性等,全链路结合应用机器学习/深度学习模型,探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合,实现搜索引擎全链路革新并进行极致的系统优化,探索提升AI搜索引擎的能力,包含而不限于相关性、权威性、时效性、意图理解能力等;探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等,提高搜索引擎的准确性和智能化程度; 2)召回与排序:借助语义理解、个性化预估、机制设计等技术,解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型; 3)多模态、跨模态匹配技术:基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术,提升视觉搜索的使用体验;在搜索中结合CV+NLP深度学习技术,实现多模态、视频搜索、强大的语义理解和检索能力; 4)页面分析和摘要:从千亿视频/网页中提取最有价值的信息,进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验; 5)链接分析:从万亿链接中找出最有价值的网页,优化链接质量、索引质量、垃圾作弊识别、调度策略等。
团队介绍:字节跳动 Seed 团队成立于 2023 年,致力于寻找通用智能的新方法,追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等,在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心,坚持深耕基础,期望成为世界一流的 AI 研究团队,为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力,支持豆包、扣子、即梦等超过 50 个应用场景。 1、深度参与图像生成、视频生成、多模态视觉理解等视觉大模型训推一体化平台建设; 2、负责视觉大模型训练优化算法研究和落地,通过5D并行、通信优化、AutoCheckpointing等分布式训练手段提升模型的训练速度与效率; 3、通过编译优化、模型并行优化、图融合、高性能算子开发、低精度计算、Memory复用、Cache优化、高并发服务请求优化等技术,打造业界领先的高性能大模型训推引擎; 4、与算法部门深度合作,分析性能瓶颈,通过软硬结合提升模型训推效率,优化和部署视觉大模型,支持AI工具链和技术生态建设,推动字节跳动AI关键业务发展。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。 1、评估:负责评估符合业务要求的异构计算芯片,建立/完善评估体系、负载模型,预估业务收益; 2、推理:负责异构计算芯片落地实际推理业务,适配异构计算芯片特性,降低推理时延,提高推理吞吐; 3、训练:负责异构计算芯片落地实际训练业务,根据芯片计算、通信特性,优化显存占用,提高训练吞吐; 4、算子:负责开发异构计算芯片的高性能算子,根据芯片特性,优化算力、带宽利用率; 5、编译:负责通过编译技术实现异构计算芯片在不同业务场景中落地,负责实现更加高效的异构硬件编程范式; 6、调研:负责调研、验证前沿软硬件结合方向,比如稀疏计算(Sparse Computation)、存内计算(In-Memory Computing)、数据流计算(DataFlow)等。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。 1、评估:负责评估符合业务要求的异构计算芯片,建立/完善评估体系、负载模型,预估业务收益; 2、推理:负责异构计算芯片落地实际推理业务,适配异构计算芯片特性,降低推理时延,提高推理吞吐; 3、训练:负责异构计算芯片落地实际训练业务,根据芯片计算、通信特性,优化显存占用,提高训练吞吐; 4、算子:负责开发异构计算芯片的高性能算子,根据芯片特性,优化算力、带宽利用率; 5、编译:负责通过编译技术实现异构计算芯片在不同业务场景中落地,负责实现更加高效的异构硬件编程范式; 6、调研:负责调研、验证前沿软硬件结合方向,比如稀疏计算(Sparse Computation)、存内计算(In-Memory Computing)、数据流计算(DataFlow)等。