阿里巴巴Blink大数据计算架构演进之路

栏目:图说 来源:孟州日报 时间:2019-06-11
作者介绍:王绍翾,淘宝花名"大沙",加州大学圣迭戈分校计算机工程的博士,2015 年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。加入阿里之前,曾在 Facebook 开发分布式图关系数据库 TAO。加入阿里之后,王绍翾一直从事阿里新一代计算平台 Blink 的研发工作。先后负责过阿里淘宝天猫的搜索离线数据处理,Blink 计算平台的 SQL 查询和优化,最近开始负责 Blink 大数据计算平台和算法工程平台。王绍翾是 Apache Flink 的 committer,除了自己,他在团队内部还培养出多位 Apache Flink committer。
演讲概述

大数据计算框架, big Data Infrastructure (DI), 往往最终服务的都是 Business Intelligence (BI) 和 Artificial Intelligence (AI) 类型的计算。阿里巴巴 Blink 是一款基于 Apache Flink 改造的大数据计算引擎。Flink 从诞生的第一天开始就是成为一个统一批处理、流处理以及人工智能计算的引擎。我们相信 Flink 的架构具有独特的优势,并且一直在为这个目标而努力。本演讲分享阿里巴巴是如何打造出 Blink 这一款大数据计算引擎来支撑大数据计算的 Data Infrastrucuture,从而服务于各式各样的 Business Intelligence (BI) 和 Artificial Intelligence (AI) 业务。

演讲视频


应作者要求本期演讲PPT不对外发布

背景简介

目前阿里巴巴所有的业务,包括阿里巴巴所有子公司都采用了基于 Flink 搭建的实时计算平台。作为 Apache 软件基金会下的顶级项目,Flink 有许多优点,比如,Flink 很好地引入和设计了 State, 引入了 Chandy-Lamport 算法。虽然 Flink 在理论模型和架构方面有很多创新,但在 State、Chandy-Lamport 算法等方面还存在缺陷,尤其是在大规模使用上,要知道阿里的业务场景及其复杂,很多问题在一般的公司、一般的场景是很难接触到的。阿里巴巴自 2015 年开始改进 Flink,并创建了内部分支 Blink,对 Flink 进行大量的修改和完善,让其适应阿里巴巴这种超大规模的业务场景。在这个过程当中,团队不仅对 Flink 在性能和稳定性上做出了改进和优化,同时在核心架构和功能上也进行了大量创新和改进。



以上就是王绍翾老师在 QCon 上海 2018 的精彩分享,更多话题探索请持续关注新一届的 QCon 大会。

目前大会8 折报名中,立减 1760 元。点击 「阅读原文」或识别二维码了解 QCon 十周年的精心策划。有任何问题欢迎联系票务小姐姐 Ring:电话 010-53935761,微信 qcon-0410。


相关文章
评论
新版评论功能开发中
头条推荐
最新资讯