Apache Flink Meetup · 上海站,超强数据湖干货等你!

能不克不及有一个过流的批量技能堆叠而不呈现一致的疯狂?

你会因为没有批次数据而苦恼吗?

你见过更新海量数据的时效性跟不上吗?

Apache Flink社区2021的第一次聚会在那里!

4月17日|上海|线下

来一场Flink x数据湖的干货体验之旅吧~

本次Meetup邀请了来自阿里巴巴、腾讯、戴尔科技集团、汽车之家的四位手艺专家,围绕Flink数据湖的利用主题,围绕湖库一体化架构理论、冰山与东西存储的数据湖建立计划、数据大范畴入湖理论、数据入湖挑战等,全面阐发数据湖的消费和利用难点。

# # #【生意没了】

超寡适用干货,从数据湖利用面临的应战脱手,分析数据湖架构晋级、东西存储与 Iceberg 的数据湖生态和百亿数据入湖理论,轻松 get 数据湖切确打开体式格局;勾当体例寡样化,线下线上同步开启,同城可参加线下 Meetup 背靠背交换,异地也可正在线傍观曲播,超卓本色没有错过;丰厚周边等你拿,报名参与就无时机获得超寡 Flink 社区定造的精巧周边!

▼如今就报名▼www.huodongxing.com/event/25907…

高鹏介绍及主题

# # # #汽车之家基于阿帕奇冰山的湖库一体化建筑理论

迪邢星|汽车之家是及时大赛和辩说赛平台的负责人

演讲介绍:

近年来,批处置流和仓库存储的集成已经成为数据范畴的一个热门话题。汽车之家也在继续摸索若何停行晋级革新数据架构,充实结转“别致”数据的成本,为用户带来更好的体验。本文将基于Apache Iceberg的stop warehouse架构,分享汽车之家推广流程的一些理论。

高鹏简介:

汽车之家迪做为适时竞赛和辩说平台,临时负责搭建适时竞赛和平台,勤奋为公司供给普遍、高效、颠簸的竞赛和询价。

# # # #冰山和东西贮存建造和修复数据湖方案

孙伟|戴尔科技集团次要软件R&D司理

演讲介绍:

本次讲座的核心将讲解若何基于东西存储和冰山构建数据湖生态。陈述东西存储行为冰山的数据湖存储撑持需要处置的少量功效和优化思惟,为开源S3目次供给了可行的完成计划,并给出了与其他存储计划(如HDFS)比拟的不敷之处。

讲座将进一步给出商业东西存储对冰山适应的另一种更佳理论办法,搭建Flink+冰山+东西存储的数据湖stop演示。同时,本次讲座将基于存储空之间优化的思惟,通过对东西存储和冰山别离形式的变革,给出一个源数据和用冰山表共享数据源的办法,以适应差别的利用场景。

高鹏简介:

孙伟,戴尔科技集团初级软件R&D司理,2014年参加戴尔科技集团,深化了从Atmos到ECS的东西存储产物的规划和R&D,在散布式细碎和东西存储架构规划方面有丰硕的经历。如今,我们正在勤奋将东西存储与开源数据平台深度别离,并帮忙客户成立完美的数据湖方案。

亿级及时数据入湖实战

陈浩杰|腾讯数据湖初级R&D工程师

演讲介绍:

能不克不及有一个过流的批量技能堆叠而不呈现一致的疯狂?你会因为没有批次数据而苦恼吗?你见过更新海量数据的时效性跟不上吗?

利用腾讯最新技能Flink+冰山技能,协助浩瀚营业方完成营业数据的及时入库,端到端的数据可见性提拔到秒级。本次分享将介绍腾讯应用Flink+冰山技能对百亿数据入湖的义务,入湖过程中碰到的挑战,以及若何停行优化担保阐发引擎对入湖数据的高效查询。

高鹏简介:

陈浩杰,腾讯数据湖初级R&D工程师,有着丰硕的数据使命经历,是开源数据组件Spark、Iceberg、Parquet等的奉献者。

Flink和Iceberg若何应对数据入湖的挑战

胡铮|伊特,阿帕奇冰山公司的姐妹,阿里巴巴技能专家

演讲介绍:

我们经常将差别底子原因的数据实时或及时同步到仓库/数据湖,很少有令人头疼的问题:

那时候该怎么办,同步的义务加倍,制止原始数据上报?在持续的数据导入后,营业方创造功课运行越来越慢?老板说:若何更及时的向外界上报MySQL数据,好比分钟?同步数据功课跑啊跑突然中缀。本来下流改了图式?其他成就

那一次,我们将帮忙Flink和Iceberg测试和处置上述数据入湖的相关挑战,帮忙商科学生更高效地专注于本身的贸易挑战。

高鹏简介:

胡铮(子怡),目前是Apache Flink数据湖项目标第二个规划和R&D使命,是Apache Iceberg和Apache Flink的临时活泼奉献者。同时,他也是Apache HBase PMC的成员和HBase Truth and Theory的合著者。

活动日程和注册

■活动日程

Apache Flink Meetup · 上海站,超强数据湖干货等你!_Flink

■活动概述

时间:4月17日13:00-17:30地址:上海市长宁区上海金钟路968号滕空SOHO携程12号楼11楼曲播:developer.aliyun.com/live/246619

您可以还会对下面的文章感兴趣:

最新评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。