阿里巴巴阿里国际站-PaaS平台与调度系统开发工程师-推理服务资源调度的架构设计与开发
任职要求
1. 本科及以上学历,计算机相关专业,具备两年以上PaaS平台或调度系统开发与运维经验。 2. 熟练掌握Java、Python、C++等至少一种主流编程语言,具备扎实的数据结构、算法与计算机系统基础。 3. 熟悉云原生相关架构,以及大规模并行计算相关技术栈。 4. 有实际参与推理服务相关设计、开发和维护经验,了解相关分布式并行推理技术。 5. 具备良好的项目协调能力、问题分析与解决能力,能够推动多团队协作。 6. 关注行业前沿技术,有较强的学习能力,对创新驱动和交付高质量产品充满热情。
工作职责
1. 负责推理服务资源调度的架构设计与开发,提升推理服务性能。 2. 负责异构资源的优化编排,实现全球多机房、多规格资源的统一调度。 3. 研发模型离线推理和在线推理混布系统,支持自动化运维、弹性伸缩等,优化集群资源利用率。 4. 保障推理服务的稳定性与扩展性,并能根据业务特性提供高效的支持。
团队介绍:Stone-AI PaaS团队专注研究AI/大模型应用相关领域的技术和产品,致力于创造和实现创新的人工智能平台服务。团队目前已服务于字节跳动多款产品,比如豆包、Cici、Coze、Trae等。同时团队内部也在孵化多款AI应用创新产品,积极探索大模型应用的技术发展。团队氛围好,发展空间大,欢迎加入! 课题介绍: 背景:随着人工智能技术的飞速发展,大语言模型(LLM)在自然语言处理领域取得了显著进展,为智能对话系统的发展提供了有力支撑。然而,现有的智能对话系统在面对复杂多变的实际应用场景时,仍存在诸多不足。一方面,用户对于交互的多样性和便捷性提出了更高要求,期望能够实现语音、图像、文本等多模态信息的自然交互;另一方面,面对复杂问题,当前对话系统缺乏深度思考和推理能力,难以提供全面且精准的解答。同时,在知识获取方面,如何高效地调度各类工具,挖掘优质内容,以满足用户的多样化需求,也成为亟待解决的问题。因此,开展对多模态交互、深度思考、工具调度以及优质内容挖掘方向的研究,对于提升通用对话助手的性能和用户体验具有重要的现实意义。 研究方向: 1、多模态交互方向:深入研究语音、图像、文本等多模态信息的融合与交互技术,开发能够实现多模态信息无缝对接的算法模型。通过构建多模态语义理解框架,使对话助手能够准确理解不同模态输入的含义,并根据用户需求以语音、图像、文本等多种形式进行输出,实现自然流畅的多模态交互体验。例如,当用户输入一张图片并提出相关问题时,对话助手能够识别图片内容,并结合文本信息进行分析解答,同时可以以语音形式反馈结果; 2、深度思考方向:探索基于深度学习的推理机制,提升对话助手的逻辑推理和问题解决能力。引入知识图谱、语义网络等技术,增强对话助手对知识的理解和运用能力,使其能够在面对复杂问题时,进行深度思考和分析,挖掘问题的本质,提供更具逻辑性和准确性的回答。比如,在解答科学类复杂问题时,对话助手能够基于知识图谱进行推理,给出全面且深入的解释; 3、工具调度方向:构建智能工具调度系统,使对话助手能够根据用户问题的类型和需求,自动识别并调用合适的外部工具,如信息检索工具、数据分析工具、翻译工具等。建立工具之间的协同工作机制,确保在处理复杂任务时,多个工具能够相互配合,实现信息共享和流程优化,提高问题解决的效率和质量。例如,在处理跨国业务相关问题时,对话助手可以同时调用翻译工具和信息检索工具,快速获取并翻译相关资料,为用户提供准确信息; 4、优质内容挖掘方向:研发高效的内容挖掘算法,从海量的文本、图像、视频等数据中筛选出优质、有价值的信息。利用自然语言处理和计算机视觉技术,对内容进行分类、标注和评估,建立优质内容数据库。通过与对话助手的交互,根据用户的兴趣和需求,精准推送相关的优质内容,满足用户对高质量信息的获取需求。比如,为对历史文化感兴趣的用户推荐相关的优质纪录片、学术论文等。
团队介绍:Stone-AI PaaS团队专注研究AI/大模型应用相关领域的技术和产品,致力于创造和实现创新的人工智能平台服务。团队的算法能力目前已服务于字节跳动多款产品,比如豆包、Cici、Coze、Trae等。同时团队内部也在孵化多款AI应用创新产品,积极探索大模型应用的技术发展。团队氛围好,发展空间大,欢迎加入! 课题介绍: 背景:随着人工智能技术的飞速发展,大语言模型(LLM)在自然语言处理领域取得了显著进展,为智能对话系统的发展提供了有力支撑。然而,现有的智能对话系统在面对复杂多变的实际应用场景时,仍存在诸多不足。一方面,用户对于交互的多样性和便捷性提出了更高要求,期望能够实现语音、图像、文本等多模态信息的自然交互;另一方面,面对复杂问题,当前对话系统缺乏深度思考和推理能力,难以提供全面且精准的解答。同时,在知识获取方面,如何高效地调度各类工具,挖掘优质内容,以满足用户的多样化需求,也成为亟待解决的问题。因此,开展对多模态交互、深度思考、工具调度以及优质内容挖掘方向的研究,对于提升通用对话助手的性能和用户体验具有重要的现实意义。 研究方向: 1、多模态交互方向:深入研究语音、图像、文本等多模态信息的融合与交互技术,开发能够实现多模态信息无缝对接的算法模型。通过构建多模态语义理解框架,使对话助手能够准确理解不同模态输入的含义,并根据用户需求以语音、图像、文本等多种形式进行输出,实现自然流畅的多模态交互体验。例如,当用户输入一张图片并提出相关问题时,对话助手能够识别图片内容,并结合文本信息进行分析解答,同时可以以语音形式反馈结果; 2、深度思考方向:探索基于深度学习的推理机制,提升对话助手的逻辑推理和问题解决能力。引入知识图谱、语义网络等技术,增强对话助手对知识的理解和运用能力,使其能够在面对复杂问题时,进行深度思考和分析,挖掘问题的本质,提供更具逻辑性和准确性的回答。比如,在解答科学类复杂问题时,对话助手能够基于知识图谱进行推理,给出全面且深入的解释; 3、工具调度方向:构建智能工具调度系统,使对话助手能够根据用户问题的类型和需求,自动识别并调用合适的外部工具,如信息检索工具、数据分析工具、翻译工具等。建立工具之间的协同工作机制,确保在处理复杂任务时,多个工具能够相互配合,实现信息共享和流程优化,提高问题解决的效率和质量。例如,在处理跨国业务相关问题时,对话助手可以同时调用翻译工具和信息检索工具,快速获取并翻译相关资料,为用户提供准确信息; 4、优质内容挖掘方向:研发高效的内容挖掘算法,从海量的文本、图像、视频等数据中筛选出优质、有价值的信息。利用自然语言处理和计算机视觉技术,对内容进行分类、标注和评估,建立优质内容数据库。通过与对话助手的交互,根据用户的兴趣和需求,精准推送相关的优质内容,满足用户对高质量信息的获取需求。比如,为对历史文化感兴趣的用户推荐相关的优质纪录片、学术论文等。
蚂蚁HCS 算力服务是全站通算,智算资源管理的基础设施平台, 通过Kubernetes等容器和平台技术,为上层业务提供云原生服务,AI算力服务,全局资源动态分配,调度节点单集群规模超过万台,同时致力于在系统、业务多个层面,包括os/kernel、容器/PaaS、智能调度/仿真容量等进行技术突破,提高容器系统规模化的资源利用效率,降低大促等各种大规模复杂业务场景下的资源成本,打造智能、高效、稳定的智算基础设施平台,HCS产品架构师的职责包括: ● 平台架构设计: 在日益复杂的AI异构的大背景下,主导设计并构建能够支撑大规模算力交付的平台架构,涵盖系统,内核,存储,网络,算力,kubernetes,确保平台具备高性能、高可用、弹性扩展和安全性,满足海量业务场景需求。 ● 算力交付体系构建: 建立高效的算力交付体系,优化资源调度和分配策略,实现算力的快速供给和弹性伸缩,降低业务获取算力的复杂度,和提升算力使用体验。 ● 算力优化架构:设计和建设智算时代的通智一体的算力架构,实现算力的分时,混部,隔离,一体化调度的架构,充分满足业务的同时,提升资源利用率 ● 经营体系搭建: 构建算力服务的经营体系,制定合理的资源定价模型和计费策略,建立完善的成本控制和收益分析机制,推动平台实现商业化运营。