Mycat了解下

首先说下,因为本身不怎么推荐中间件,所以我对这东西也只是了解,业内mycat用的最好的应该顺风算一个,但是他们是做过二次开发的,咱菜鸡比不了,据说最近出来一个叫cetus的还不错,有空可以关注下

Ⅰ、Mycat安装走一走

这玩意就是一个jar包

cd /usr/local/src
yum install java-1.8.0-openjdk -y
wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
tar zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 
./mycat/bin/mycat start

默认启动8066端口,也就是说8066就是个中间件,它的通信协议就是mysql的,咱们是可以通过mysql的协议(用mysql的原生客户端)去访问的,也就是说直接连8066端口就行

连上去会发现Server version:是5.6.29,这不是说server是5.6.29,是指通信协议是5.6.29

和直接用mysql是一样的,这就是对业务透明,至于库里面的表是怎么分的,你并不知道

Ⅱ、Mycat配置

所有的配置文件都是xml,这是个不好的点,这个年代谁还用xml啊,改成json也好啊,而且是不持久化的,元数据不存在数据库中,是通过xml来存放的,比较差,吐槽一下

咱这里只看最重要的三个配置文件

2.1 server.xml——Mycat服务参数调整和用户授权的配置文件

配置mycat的账号密码

<user name="db_w">
		<property name="password">123456</property>
		<property name="schemas">db</property>
</user>   

<user name="db_r">
		<property name="password">123456</property>
		<property name="schemas">db</property>
		<property name="readOnly">true</property>
</user>

2.2 schema.xml——逻辑库定义和表以及分片定义的配置文件

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<schema name="db" checkSQLschema="false" sqlMaxLimit="100">
		<table name="whh" dataNode="dbdn$1-3" rule="mod-long-id" />
	</schema>
	
	<dataNode name="dbdn$1-3" dataHost="host_n127.0.0.1_3306" database="db_$1-3" />

	<dataHost name="host_n127.0.0.1_3306" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat> select user() </heartbeat>
		<writeHost host="hostM" url="127.0.0.1:3306" user="root" password="123">
		</writeHost>
	</dataHost>
</mycat:schema>

这里我们把whh这张表分成三个分片放到3306这个实例的db_1、db_2、db_3三个库中

2.3 rule.xml——分片算法

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
	- you may not use this file except in compliance with the License. - You 
	may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
	- - Unless required by applicable law or agreed to in writing, software - 
	distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
	WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
	License for the specific language governing permissions and - limitations 
	under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
	<tableRule name="mod-long-id">
		<rule>
			<columns>a</columns>
			<algorithm>func1</algorithm>
		</rule>
	</tableRule>
...
<function name="func1" class="io.mycat.route.function.PartitionByLong">
		<property name="partitionCount">8</property>
		<property name="partitionLength">128</property>
	</function>

根据字段a来分片

2.4 验证一把

(db_w@127.0.0.1) [db]> explain select * from whh;
+-----------+-----------------------------+
| DATA_NODE | SQL                         |
+-----------+-----------------------------+
| dbdn1     | SELECT * FROM whh LIMIT 100 |
| dbdn2     | SELECT * FROM whh LIMIT 100 |
| dbdn3     | SELECT * FROM whh LIMIT 100 |
+-----------+-----------------------------+
3 rows in set (0.01 sec)

Ⅲ、题外话

复杂查询不要用中间件去实现,如果选出来的结果集有50g,这意味着什么？意味着中间件需要50g的内存来存数据,比如做个order by什么的捞出来到中间件的数据很大,你有这么大的内存吗？

其实中间件对你的限制还是很多的,Mycat可以尝试用一下,这是开源社区里比较靠谱的一个中间件,但是olap场景下数据量太大,千万别用中间件,很多表关联,估计mycat都不支持这种语句

唉,分布式数据库运维很麻烦,sharding-jdbc吧,基于jdbc驱动层来做的分库分表,只支持java,不推荐,太老了,proxy吧不能实现分片,只能实现读写分离,简单的逻辑在业务里控制和在中间件没什么区别,复杂逻辑中间件也控制不了,反正不推荐中间件