快手大数据计算引擎研发工程师/专家(杭州)
任职要求
1、本科及以上学历,计算机科学与技术、软件工程或相关专业方向; 2、熟悉 Java 语言,扎实的计算机基础; 3、熟悉至少一种主流大数据引擎,包括但不限于 Spark/Presto/Flink/Kylin/…
工作职责
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
1、负责网商银行数据体系和解决方案建设,赋能业务数字化运营,提升运营效率,保障数据的质量和稳定性; 2、负责业务领域核心数据体系的规划设计。在数据技术上,能结合业界技术探索数据服务的增量。在数据化运营和数据能力产品化上,制定数据技术和服务的策略。包括用户标签体系、数据智能化和自动化体系和实时数据体系的建设; 3、规划设计数据服务工具,提升数据研发的工作效率,搭建数据服务的工具/产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透; 4、负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效。
1、参与快手数据平台新一代数据分析引擎的建设,支撑超大规模业务数据量,提供统一化极致性能的解决方案; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
作为大模型评测研发工程师,将负责“大模型通用Benchmark评测体系”与“业务领域Benchmark构建”的全链路研发:从评测数据集设计、智能化自动化评估方法探索研究、指标实现,到平台化落地,精准衡量模型能力边界,持续驱动模型语料优化与模型迭代 通用 Benchmark 研发 • 持续迭代覆盖语言理解、推理、知识、幻觉、对齐、代码、多模态、Agent 等各个维度的自动化评测框架; • 研究并实现更贴合业务发展的评测方法与指标,构建高效、可扩展、可复现、可解释的评测引擎 业务领域 Benchmark 构建与评测 • 深入跨境电商各个业务领域,构建领域Benchmark,真实反馈模型业务表现 • 设计场景化评估方案,如RAG、Agent、COT、 In-Context Learning等,并形成端到端评测能力; 评测方法研究 • 探索基于 LLM-as-a-Judge、人类偏好对齐、模型解释性等前沿评测技术 • 跟踪 ACL / EMNLP / NeurIPS / ICML / ICLR 等会议,高效复现SOTA方法,形成可比对可参考的评估系统