远程分布式持久化队列服务MemcacheQ安装笔记

    由于公司的需求，想通过memcached 实现一个基于memcached 的分布式queue。不过基于稳定性和开发时间的关系还是想用现有的开源项目.

    昨天试验了一下,twitter的一个分布式队列服务starling,感觉速度很快,效果不错.但是看看了一下发现没有持久化的相关参数设置(参数还不熟),如果服务或者机器重启以后数据就丢失了.这对一些敏感的数据不是很适用.

[参考:http://ooft.javaeye.com/blog/495158] 

 

    今天试一下memcacheQ,它是memcachedb的一个变种,它基于Berkeley的文件存储的,应该是一种持久化的队列.

 

1.安装linux开发工具包
(1)在可视化窗口下载打开"添加删除程序",找到"开发->开发工具"打钩,更新.插入对应的linux安装盘.
2.安装依赖包

Berkeley DB 4.7 (经试验只能用4.7版本,使用4.8版本时memcacheQ-0.1.1版本编译不通过)
Download from <http://www.oracle.com/database/berkeley-db/db/index.html>
How to install BerkekeyDB:

$tar xvzf db-4.7.25.tar.gz
$cd db-4.7.25/
$cd build_unix/
$../dist/configure
$make
$sudo make install

libevent 1.4.x
Download from <http://monkey.org/~provos/libevent/>

How to install libevent:

$tar xvzf libevent-1.4.x-stable.tar.gz
$cd libevent-1.4.x-stable
$./configure
$make
$sudo make install

系统需要动态加载新的lib,编辑/etc/ld.so.conf,在末尾加入两行:

/usr/local/lib
/usr/local/BerkeleyDB.4.7/lib

保存后,运行 ldconfig -v  命令.

3.安装memcacheQ
$tar xvzf memcacheq-0.1.x.tar.gz
$cd memcacheq-0.1.x
$./configure --enable-threads
$make
$sudo make install

4.启动memcacheQ
memcacheq -d -r -u wuf -p21201 -H /data1/memcacheq -N -v -L 1024 -B 1024 > /data1/mq_error.log 2>&1
-d 后台运行
-p 指定监听端口,这里端口是21201
-H 数据文件存放路径,这里是/data1/memcacheq(必须事先建好目录)
-u 指定已什么用户运行,memcacheq不允许已root运行,所以必须指定一个用户.

注:指定的用户必须有数据文件的读写权限,如这里的/data1/memcacheq和/data1目录.
可以使用"chown 用户名 目录" 的命令给目录授权.

5.关闭memcacheQ
使用ps命令查查memcacheQ的进程:ps -ef|grep wuf,然后直接将进程kill掉.

 

6.测试:

测试代码和Java使用starling分布式消息队列异步处理事务中的一样.

经过测试服务重启后,数据没有丢失.

插入和读取的速度平均 1000条/S 比(starling慢)