起因

前段时间在鼓捣数据表的数据上线，主要流程是将线下的数据同步到线上去，线上的部分需要需要和线下保持一直，并且每一次操作都需要自动化将表进行备份， 这个过程主要是靠自己进行代码同步，因为规则比较自定义，所以没有使用一些现有的数据同步。

前言

我们的数据计算式基于clickhouse的，由于接触clickhouse不久，看官网介绍语法和mysql是类似的，就放心大胆的使用mysql的大量语法，然后遇到了一个很奇怪的问题，也是这个奇怪的问题让我对列式数据库有了更深入的了解。

前因

场景1：线上的数据异步同步使用的是rabbitmq，当对数据库数据进行增删改时候会发送一条mq消息到同步服务，同时进行查库写入es。

1.备份数据库脚本

vi dump.sh

left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录
right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录
inner join(等值连接) 只返回两个表中联结字段相等的行

举例如下：
表A记录如下：

我们先来了解什么是主从同步，主从同步，顾名思义也称为主从复制，用来建立一个和主数据库完全一样的数据库环境。主从同步使得数据可以从一个数据库服务器复制到其他服务器上，实现主数据库的数据和从数据库的数据保持一致。

集群是共享存储的,是data-sharing . 主从复制中没有任何共享 . 每台机器都是独立且完整的系统,是nothing-sharing.

1、 为查询缓存优化查询

像 NOW() 和 RAND() 或是其它的诸如此类的SQL函数都不会开启查询缓存，谨慎使用

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。

2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=0

前言

因业务需要，给mysql做了主备，然后准备使用数据库中间件来进行读写分离和分片。

前言

Atlas是360开源的mysql数据库中间件，主要致力于读写分离，分片等操作，降低数据库与后端耦合性。