MySQL的NoSQL扩展插件HandlerSocket
HandlerSocket已经作为Percona Server数据库的一个插件，用来实现NoSQL 功能。
一．HandlerSocket介绍：
2010年11月日本社交游戏开发公司DeNA发布了MySQL HandlerSocket插件。Handlersocket插件是由日本人Yoshinori Matsunobu开发的。传统的关系型数据库在处理每个请求的时候，都需要做SQL解析，查询优化，执行，事务管理，锁管理等一系列的开销操作，消耗性能。非关系型数据库（NoSQL）就去掉了这些操作。通过handlersocket插件，可以直接跟MySQL的存储引擎层做key-value式的交互操作，省略了MySQL的SQL层次的处理，大大的减少了资源的开销。
二．HandlerSocket架构：
HandlerSocket在MySQL内部实现一个NoSQL的网络服务，以mysqld进程的daemon存在，监听特定端口（9998和9999）与client通过TCP/IP接收NoSQL的协议和API，然后通过MySQL存储引擎API直接进行CRUD相关的操作。同时，还可以通过传统的MySQL的方式进行操作。
简单快速的操作通过handlersocket来实现。复杂的操作通过传统的MySQL方式来实现。
HandlerSocket结构图如下：
1.MySQL Client ---> MySQL Upper Layer ---> Storage Engine Layer
使用MySQL传统的方式，客户端通过3306端口与Upper层交互，在Upper层进行SQL解析，打开表，查询优化，关闭表等等操作，然后再提交到Storage Engine 层。
2.HandlerSocket Client ---> HandlerSocket daemon plugin ---> Storage Engine Layer
使用HandlerSocket方式，减少了很多在传统方式下的SQL层的操作。使用9998端口进行读操作，使用9999端口进行写操作。
三．HandlerSocket优缺点：
优点：
1.省去了MySQL的SQL层相关的操作，大大的减少了CPU的消耗。
2.采用合并操作的方式，合并多个请求同时执行，减少了CPU开销和IO操作次数。
3.基于简单的文本协议，节省网络流量，提高网络吞吐量。
4.能同时使用传统的MySQL和HandlerSocket的方式访问MySQL数据库，互不冲突。
5.支持大的并发连接。
6.可以继续使用MySQL的Replication等等成熟机制。
7.避免有双重缓存。
8.具有较高的读写性能，在CPU Bound的场景中，读取性能一般是同等环境下的MySQL的3-7.5倍。同时写入性能也能达到3-5倍。
不足之处：
1.由于采用合并操作的方式，响应时间比MySQL来说大一些。
2.没有安全相关的保证，绝大部分NoSQL产品都有这样的问题。
3.在IO Bound的场景中，性能的提升可能不是很明显。
4.目前只支持MySQL5.1和MySQL5.5版本的Innodb存储引擎。
四．HandlerSocket的安装：
1.下载安装
|
1
2
3
4
5
6
7
8
9
10
|
# wgethttps://download.github.com/ahiguti-HandlerSocket-Plugin-for-MySQL-1.0.6-71-g159ea6d.tar.gz
# tar zxvf ahiguti-HandlerSocket-Plugin-for-MySQL-1.0.6-71-g159ea6d.tar.gz -C ../software/
# cd ../software/ahiguti-HandlerSocket-Plugin-for-MySQL-159ea6d/
# ./autogen.sh
# ./configure --prefix=/usr/local/handlersocket
--
with
-
mysql
-
source
=
/
usr
/
local
/
src
/
software
/
mysql
-
5.1.36
//mysql源码目录
--
with
-
mysql
-
bindir
=
/
usr
/
local
/
mysql
-
5.1.36
/
bin
//mysql安装目录可执行目录
--
with
-
mysql
-
plugindir
=
/
usr
/
local
/
mysql
-
5.1.36
/
lib
/
mysql
/
plugin
//mysql插件目录
# make
# make install
|
2.修改配置文件
在my.cnf文件[mysqld]下增加以下配置：
|
1
2
3
4
|
loose_handlersocket_port
=
9998
//指定读请求端口号
loose_handlersocket_port_wr
=
9999
//指定写请求端口号
loose_handlersocket_threads
=
16
//指定读线程数目
loose_handlersocket_threads_wr
=
1
//指定写线程数目
|
3.安装handlersocket.so：
|
1
|
>
INSTALL
PLUGIN
handlersocket
SONAME
'handlersocket.so'
;
|
4.查看进程状态
|
1
2
3
4
|
# netstat -ntpl
tcp
0
0
0.0.0.0
:
3306
0.0.0.0
:
*
LISTEN
31402
/
mysqld
tcp
0
0
0.0.0.0
:
9998
0.0.0.0
:
*
LISTEN
31402
/
mysqld
tcp
0
0
0.0.0.0
:
9999
0.0.0.0
:
*
LISTEN
31402
/
mysqld
|
5.常见问题
configure: error: MySQL source version does not match MySQL binary version
解决方法：在configure.in文件中首行添加一行[MySQL Server] 5.1.36。
五．HandlerSocket性能测试：
先来看看软件作者的测试结果：
环境：2.53GHZ，8核CPU，32G内存的Nehalem服务器
结果：
六．安装PHP扩展包php-handlersocket
|
1
2
3
4
5
6
7
8
9
10
11
12
|
# wget http://php-handlersocket.googlecode.com/files/php-handlersocket-0.0.7.tar.gz
# tar zxvf php-handlersocket-0.0.7.tar.gz -C ../software/
# /usr/local/php5.2.13/bin/phpize
# ./configure --prefix=/usr/local/php-handlersocket \
--
with
-
php
-
config
=
/
usr
/
local
/
php5
.
2.13
/
bin
/
php
-
config
\
--
with
-
handlersocket
\
--
with
-
handlersocket
-
includedir
=
/
usr
/
local
/
handlersocket
/
include
/
handlersocket
# make
# make install
# vim /usr/local/Zend/etc/php.ini
添加下面一行
extension
=
/
usr
/
local
/
php5
.
2.13
/
lib
/
php
/
extensions
/
no
-
debug
-
zts
-
20060613
/
handlersocket
.
so
|
查看是否加载成功：
常见问题：
cc -shared.libs/handlersocket.o-lstdc++ -L/usr/local/handlersocket/include/handlersocket/lib -lhsclient-Wl,-rpath -Wl,/usr/local/handlersocket/include/handlersocket/lib -Wl,-soname -Wl,handlersocket.so -o .libs/handlersocket.so
/usr/bin/ld: cannot find -lhsclient
collect2: ld returned 1 exit status
make: *** [handlersocket.la] Error 1
解决方法：# cd /usr/local/handlersocket
|
1
|
# cp -rf lib include/handlersocket/
|
七．测试：
1.建立测试表
|
1
2
3
4
5
6
7
8
9
10
|
mysql
>
create
table
`
ttlsa_com
`
(
->
`
id
`
int
(
10
)
auto_increment
not
null
,
->
`
k
`
varchar
(
50
)
default
null
,
->
`
v
`
varchar
(
50
)
default
null
,
->
primary
key
(
`
id
`
)
,
->
key
`
index_k
`
(
`
k
`
)
->
)
engine
=
innodb
;
mysql
>
insert
into
ttlsa_com
values
(
''
,
'k1'
,
'v1'
)
;
mysql
>
insert
into
ttlsa_com
values
(
''
,
'k2'
,
'v2'
)
;
mysql
>
insert
into
ttlsa_com
values
(
''
,
'k3'
,
'v3'
)
;
|
2.PHP使用实例
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
|
<
?
php
$
host
=
'localhost'
;
$
port
=
9998
;
$
port_wr
=
9999
;
$
dbname
=
'hstestdb'
;
$
table
=
'hstesttbl'
;
//GET
$
hs
=
new
HandlerSocket
(
$
host
,
$
port
)
;
if
(
!
(
$
hs
->
openIndex
(
1
,
$
dbname
,
$
table
,
HandlerSocket
::
PRIMARY
,
'k,v'
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
die
(
)
;
}
$
retval
=
$
hs
->
executeSingle
(
1
,
'='
,
array
(
'k1'
)
,
1
,
0
)
;
var_dump
(
$
retval
)
;
$
retval
=
$
hs
->
executeMulti
(
array
(
array
(
1
,
'='
,
array
(
'k1'
)
,
1
,
0
)
,
array
(
1
,
'='
,
array
(
'k2'
)
,
1
,
0
)
)
)
;
var_dump
(
$
retval
)
;
unset
(
$
hs
)
;
//UPDATE
$
hs
=
new
HandlerSocket
(
$
host
,
$
port_wr
)
;
if
(
!
(
$
hs
->
openIndex
(
2
,
$
dbname
,
$
table
,
''
,
'v'
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
die
(
)
;
}
if
(
!
(
$
hs
->
executeUpdate
(
2
,
'='
,
array
(
'k1'
)
,
array
(
'V1'
)
,
1
,
0
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
die
(
)
;
}
unset
(
$
hs
)
;
//INSERT
$
hs
=
new
HandlerSocket
(
$
host
,
$
port_wr
)
;
if
(
!
(
$
hs
->
openIndex
(
3
,
$
dbname
,
$
table
,
''
,
'k,v'
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
die
(
)
;
}
if
(
!
(
$
hs
->
executeInsert
(
3
,
array
(
'k2'
,
'v2'
)
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
}
if
(
!
(
$
hs
->
executeInsert
(
3
,
array
(
'k3'
,
'v3'
)
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
}
if
(
!
(
$
hs
->
executeInsert
(
3
,
array
(
'k4'
,
'v4'
)
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
}
unset
(
$
hs
)
;
//DELETE
$
hs
=
new
HandlerSocket
(
$
host
,
$
port_wr
)
;
if
(
!
(
$
hs
->
openIndex
(
4
,
$
dbname
,
$
table
,
''
,
''
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
die
(
)
;
}
if
(
!
(
$
hs
->
executeDelete
(
4
,
'='
,
array
(
'k2'
)
)
)
)
{
echo
$
hs
->
getError
(
)
,
PHP_EOL
;
die
(
)
;
}
|
3.方法注释
openIndex(1, $dbname, $table, HandlerSocket::PRIMARY, 'k,v')
打开索引，第一个参数1用来在每个HandlerSocket对象中唯一标识一个表名；$dbname表示为数据库名；$table表示为表名；HandlerSocket::PRIMARY表示为索引名；'k,v'表示为要查询的列名。
executeSingle(1, '=', array('k1'), 1, 0)
执行查询，第一个参数要跟之前的openIndex方法中的第一个参数保持一致；第二个参数’=’表示检索的条件，支持’=’,’>=’,’<=’,’>’,’<’；第三个参数array(‘k1’)表示一个arrayref，指定检索的key，其长度必须小于或者等于对应索引的列数；第四个和第五个参数指定查询的limit和offset。
executeMulti 可在一次调用中执行多个操作。
如需转载请注明出处： http://www.ttlsa.com/html/3022.html
成长的对话版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！
