零基础快速构建低成本、高性能数据湖—腾讯云DLC架构揭秘

分论坛:技术创新

专题:大数据平台与数据中台

分享时间:2022-08-20


内容简介:

数据湖是一种越来越受欢迎的数据存储和分析方法,可解决处理海量异构数据的难题。 云上数据湖解决方案的核心架构原则SSOT,即一份数据满足不同形态、不同引擎、不同大数据云产品的绝大部分大数据需求,无需数据移动、冗余,极大程度的降低用户云上存储成本。 云原生背景下,大数据与云原生技术更加紧密的结合,基于容器k8s的大数据弹性计算架构也越来越普及,能够为用户极大程度降低云上计算成本。 今天的分享整体介绍腾讯云数据湖解决方案及数据湖计算产品DLC的架构原则


演讲提纲:

一、数据湖背景、发展历程、架构价值 1、腾讯云数据湖解决方案架构原则SSOT,存算分离 2、DLC定位:数据湖解决方案粘合剂,全托管云原生数据湖产品形态。 二、腾讯云数据湖DLC内核技术揭秘,架构原则 KISS,适应云原生 1、ETL稳定性相关:DLC spark shuffle manager设计、解决对象存储一致性、无rename问题 2、分析性能相关:常驻共享sparkcontext、统一sql/view/udf presto无感分析加速、local cache加速分析、海量元数据、数据湖格式加速分析 3、成本相关:数据湖表格式、DLC特有虚拟集群弹性模型 三、新一代高性能、低成本数仓建设 1、如何利用文件格式建立高效低成本的稀疏索引 2、增量数仓新范式 3、展望实时增量数仓


听众受益:

1、如何玩转云上大数据,构建低成本、高性能、稳定的数据业务平台 2、数据平台优化思路 3、大数据计算引擎的最新动态


联系我们
Contact Us
购票热线:4006-998-758
赞助合作:一竹 联系电话:18515447737 邮箱:sunyz@keylinking.com
媒体合作:Leo 联系电话:13717747738 邮箱:liumb@keylinking.com
活动地址
中国·深圳 华侨城洲际大酒店