Categories
数据库

ORC字典实现

本文分析ORC中字典的实现

Categories
数据库

Presto兼容Hive语法语义的一些改动

本文介绍Presto的语法和语义向Hive兼容的一些改造工作。

Categories
数据库

Druid存储结构

Apache Druid是一款优秀的OLAP引擎,众所周知数据存储格式对一款存储系统来说是最核心的组件,Druid的数据格式是自定义的,以此保证了在海量数据下的亚秒级查询。本文深入分析Druid V1版本数据存储格式,包括索引结构和数据在磁盘中的存储方式。在阅读本文之前希望您对Druid和数据存储有简单了解。

Categories
数据库

KYLIN、DRUID、CLICKHOUSE核心技术对比

KYLIN、DRUID、CLICKHOUSE是目前主流的OLAP引擎,本文尝试从数据模型和索引结构两个角度,分析这几个引擎的核心技术,并做简单对比。在阅读本文之前希望能对KYLIN、DRUID、CLICKHOUSE有所理解。

Categories
数据库

Kylin数据模型

Apache Kylin是一款国人主导的优秀的OLAP引擎,工作中对Kylin有大规模的使用,尝试总结Kylin核心技术,本文是第一篇,偏向数据模型方面。

Categories
数据库

关于Redis的一点思考

记录对Redis核心技术的一些思考。

Categories
数据库

优酷Redis运维经验

Redis是时下比较流行的Nosq技术。在优酷我们使用Redis Cluster构建了一套内存存储系统,项目代号蓝鲸。到目前为止集群有700+节点,即将达到作者推荐的最大集群规模。集群从Redis Cluster发布不久就开始运行,到现在已经将近两年时间。在运维集群过程中遇到了很多问题,记录下来希望对他人有所帮助。

Categories
数据库

优酷近千节点的Redis Cluster调优经验

在优酷我们使用Redis Cluster构建了一整套内存存储系统,项目代号为蓝鲸。蓝鲸的设计目标是高效读写,所有数据都在内存中。蓝鲸的主要应用场景是cookie和大数据团队计算的数据,都具有较强的失效性。所以所有的数据都有过期时间。更准确的说蓝鲸其实是一个全内存的临时存储系统。