| title | date | tags | author | type | meetup_type | image | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
【Infra Meetup No.108】TiDB DDL & 数据云平台访问 & 同盾大数据平台 |
2019-06-19 |
|
|
meetup |
review |
/images/meetup/meetup-108-20190619/1.jpeg |
讲师介绍：李霞，TiDB 研发工程师，目前主要负责 TiDB 的 online DDL 研发工作，曾就职于京东，从事分布式存储研发工作。
李霞老师本次分享的主要内容包括：
-
F1 online asynchronous DDL 的原理。
-
TiDB DDL 的基本框架，详细讲述其实现。
-
Add index 的具体流程，并简介了其他几种 DDL 语句实现特性。
-
DDL 的一些辅助功能。
最后结合之前介绍的原理和实现，讲解了常见的几个问题以及解决方式。
讲师介绍：陈邦义，数据平台产品经理，图尔兹创始人。
陈邦义老师重点介绍了数据平台的访问入口 Daios。首先是现代数据平台的基本架构，在这其中架构的设计、开发、治理者们面对的是多种数据源带来的数据访问困难。接着介绍了数据访问门户的架构设计、包括 DMS、SAS、Tools 和 Base，以及一些设计理念权衡，其中也强调了数据访问的安全问题和解决办法。最后分享了产品开发过程中的一些挑战性难点，比如调试器、增量 SQL 解析、数据可视化渲染等等。
讲师介绍：李斌松，同盾大数据平台负责人。
李斌松老师首先介绍了大数据平台的基本架构，通过数据采集、数据交换、otter 方案把所有可能的数据写入 HIVE 表或者 TiDB，构建数据湖，所有使用数据人员通过 WebIDE 使用分析数据，降低使用门槛。接着介绍了平台数据管理的模型设计、数据权限、数据血缘、表元数据信息等方便的内容，其中数据安全是重点，由平台层面的细粒度权限控制和 HDFS ACL 权限校验双重保证。最后介绍了作业运维和作业调度设计和实现。