Linux 安装 Memcached 及 PHP Memcached 扩展

作者： BroQiang

发布于 2017-06-07 | 最后更新 2017-06-07

修改原文

为什么要学习 Memcahe

首先我们要知道 Memcache 是做什么的，为什么需要学习 Memcache

Memcache 是什么？

首先我们看下 官方 的介绍

memcached is a high-performance, distributed memory object caching system

高性能，分布式内存对象缓存系统，用于通过减轻数据库负载来加速动态Web应用程序

我们可以看到他的定义，前面的都是修饰性的，也可以说是 Memcache 的优点，简单的说它就是一个缓存系统

就是将数据缓存到内存当中，可以通过内存来访问数据，我们如果对计算机的构造了解就应该知道，直接访问内存中的数据，和在数据库中查询数据，就完全不是一个概念了

Memcahced 安装

官网

下载地址

安装规划

CPU 需求

Memcached 对CPU的使用很轻，它是多线程工作的，默认为4个工作线程，一般服务器的CPU都可以满足 Memcached

内存需求

  • 和 Web 应用放在一起，这种方式就是通常就是 将应用和缓存放在同一台服务器

    这时就要考虑应用的负载，比如：

    服务器是4G内存，LNMP环境消耗了2G内存，此时就建议 Memcached 分配1.5G内存

    因为如果分配过高，他就会用到 Swap ，Swap 是将内存保存到磁盘上，反而会降低缓存的效率

    这种情况是非常尴尬的，所以缓存并非越大越好，看实际的应用和硬件的配置

  • 单独部署缓存服务器

    • 此种方式部署，此时就不需要担心负载问题，可以将大量的内存放在缓存服务器中，Memcached 软件本身只会消耗很少的内存

    • 不过此种方式需要注意的是服务器间的网络通讯，大多数每个实例不会超过 10Mbps

      不过最好是通过光纤通道，用hba卡将服务器在内网中连接，如果是异地部署的话，要保证足够的带宽

  • 集群部署

    集群部署的好处就是可以降低缓存的丢失带来的痛苦，比如你有10个Memcached服务器，其中一个宕机了，就只会丢失10%的缓存

    但是如果你只有两台缓存服务器，一但缓存宕机，那就会丢失50%，当然，只有一台缓存服务器的时候，宕机就会更糟糕了

源码编译安装

# 下载安装包
wget https://memcached.org/files/memcached-1.4.37.tar.gz

# 安装依赖关系
sudo apt install libevent-dev

# 解压缩，并进入到目录
sudo tar xzvf memcached-1.4.37.tar.gz -C /usr/local/src/
cd /usr/local/src/memcached-1.4.37

# 编译安装
sudo ./configure --prefix=/usr/local/memcached
sudo make
sudo make install

配置环境变量

在 /etc/profile.d/下新建 memcached.sh 文件，用来专门保存Memcached的配置，写入下面内容

export MEMCACHED_HOME=/usr/local/memcached
export PATH=$PATH:$MEMCACHED_HOME/bin

执行 source 或 . 使配置生效

source /etc/profile.d/memcached.sh
# 或
. /etc/profile.d/memcached.sh

服务器端的配置

启动服务

需要注意几个参数，这里只列出主要的常用的参数，额外的可以通过 memcached -h 去查询

  • -m Memcached 进程使用多少内存，单位是 M

  • -d Memcached 以守护进程的方式执行，如果是通过初始化脚本启动的，可以不用考虑这个参数

  • -p 监听TCP端口，默认是11211，如果需要启动多个实例，就将下一个服务的端口设置成11211以外的其他端口，如11212

  • -l 指定监听的IP，默认是 0.0.0.0

    如果你的防火墙没有限制的情况下，Memcached 将对外暴露

    如果你是将Memcached 和web应用部署到同一台服务器，可以将监听IP设置成 127.0.0.1

    如果是一个集群，就将监听配置成私网IP，如果必须使用公网IP的时候，要设置好防火墙的权限

  • -U UDP 端口，默认是开启，端口是 udp 11211，不过建议将其禁用，将端口设置为 0 ，就可以关闭

    # 下面的配置就是Memcached 最大内存1024M，端口11211，监听地址是127.0.0.1 后台执行
memcached -m 1024 -p 11211 -l 127.0.0.1 -d
# 后台执行后要想停用，可以killall memcached ，将所有的Memcached实例全都杀死
killall memcached
# 或者 kill 指定 pid

额外的说明

  • 线程 Memcached 每一个线程都可以处理并发链接，libevent 可以通过并发链接实现良好的可以伸缩性，因此每个线程都能处理许多客户端

    和否写web服务器不同，如 apache，每个活动的客户端连接就要使用一个进程或线程

    默认情况下配置4个线程，除非运行的 Memcached 非常吃力，一般不应该修改这个配置，4个足够

    当线程数超过80的时候，将使得Memcached运行会非常的慢

  • 连接限制

    默认的，Memcached 最大连接数会被设置成1024个，如果超出这个数量的客户端连接，将会挂起，等待其他连接释放后才会连接

    因此配置完成后要根据实际情况去配置这个值，一般情况下这个配置足够了，当然高并发的时候就要适当的调整了

    这个一般根据web服务提供的最大连接数去配置

查看正在运行的配置

echo "stats settings" | nc 127.0.0.1 11211

启动脚本

我们将源码包中的 script 目录中的 启动脚本复制到 系统的启动脚本中

sudo cp /usr/local/src/memcached-1.4.37/scripts/memcached.service /lib/systemd/system/
# 我们要根据实际的软件安装情况修改几个配置
# 1. 修改下默认的配置文件的位置，将下面的配置修改
EnvironmentFile=/etc/sysconfig/memcached
# 修改成
EnvironmentFile=/usr/local/memcached/etc/memcached.conf

# 2. 将 启动文件的位置修改
ExecStart=/usr/bin/memcached -p ${PORT} -u ${USER} -m ${CACHESIZE} -c ${MAXCONN} $OPTIONS
# 修改成
ExecStart=/usr/local/memcached/bin/memcached -p ${PORT} -u ${USER} -m ${CACHESIZE} -c ${MAXCONN} $OPTIONS

然后我们在 我们刚刚修改的配置文件 /usr/local/memcached/etc/memcached.conf 中写入下面配置，来定义配置文件

PORT=11211

USER=root

CACHESIZE=1024

MAXCONN=1024

OPTIONS="-l 127.0.0.1 -U 0"

Memcached 客户端

telnet 的连接，并测试

系统命令

# 连接
telnet 127.0.0.1 11211
# 查看版本
version
# 查看状态，后面可以跟 settings/items/sizes/slabs 这些参数，可以展示出不同的结果
stats

# 清空所有缓存，后面可以添加时间，表示在指定时间之后再清理缓存
flush_all

存储命令

格式：

# 命令及参数
<command> <key> <flags> <exptime> <bytes> [<version>]
# 数据
<datablock>
# 返回的状态
<status>

参数说明：

  • command 可以使用的命令，包括 set/add/replace/append/prepend/cas

    • add 只有数据不存在时进行添加，如果存在就会提示NOT_STORED

    • set 不管是否存在都会添加，并且会将之前的值覆盖

    • replace 只会替换已经存在的key

    • append 在原本的key对应的值后面追加字符，并不会破坏原本的超时时间

    • prepend 在一个 key 的 value 前面追加字符，并不会破坏原本的超时时间

    • cas 即check and set，只有版本号相匹配时才能存储，否则返回EXISTS

      在后面的gets时一起说

  • key 存储 key 的名字，长度为250个字符，不包含空格和控制字符

  • flags 是一个16位的无符号的整数(以十进制的方式表示)。

    该标志将和需要存储的数据一起存储,并在客户端get数据时返回，

    就是Memcached提供的一个额外标记的地方，可以根据实际需要去使用

  • exptime 过期时间，单位为秒，0为永远，表示用不过期，如果过期时间超过30天，就要用unix时间戳表示

  • bytes byte字节数，不包含\r\n，根据长度截取存/取的字符串，可以是0，即存空串

  • version 版本号，可选的，可不写，这个字断主要是给cas命令用，每次set key为新的value后，version都会变化

  • datablock 储存的内容value，以\r\n结尾，可以包含\r或\n

    支持serialize格式的数据，这样我们通过PHP手册就可以知道PHP都能支持什么格式的数据

  • status STORED/NOT_STORED/EXISTS/NOT_FOUND/ERROR/CLIENT_ERROR/SERVER_ERROR服务端返回的状态标志

实例：

我们先不考虑flag，等到PHP部分再详细说明用途，暂时就随便用一个整数去设置，比如16

# 设置 name 为5个字符，过期时间不限制
set name 16 0 5
# 写入名字 zhang
# 可以试验下名字超出5个或者不到5个，看看出现什么错误了

# add 命令，先尝试添加name，然后再尝试添加个不存在的 id
add name 16 0 5

# 添加 id
add id 16 0 5

# 替换id
replace id 16 0 10

读取命令

读取命令格式：

get/gets key1 key2 ...keyn

说明：

  • get 根据 key 获取到对应的值

  • gets 和get相同，比get会多flag、bytes和[version] 信息

实例：

# 获取name和id的值
get name id
# 获取name和id的值，并有详细信息
gets name id
# 给一个已经存在的key设置新的value，但是它会先检查 version和它gets的version是否一致，如果是一致的，则会生效，否则会报错 EXISTS。
cas name 16 0 5 13

删除命令

格式：

# 这个很简单的，加上key即可，不能批量删除
delete key

计数命令

用法：

incr key number
decr key number

说明： 用来对value为int数字型的key进行加n或者减n操作，直接看实例，如果操作的是字符串将会报错

计数命令实例：

# 给刚才的id增加，先看下id现在的值，然后再看加完之后的结果，再看减少之后的结果
get id
incr id 1

# 减少，当结果小于等于0的时候一直返回0
decr id 2

Memcached 内存管理机制

通过前面的讲解，已经对Memcached 有一些概念了，这里再讲解他的存储机制更容易理解一下

可以理解成这里是一些理论性的东西

slab/chunk

大家应该都用过excel，我们可以用excel表格去解释下，经更容易理解了

memcached 的内存空间有很多个slab（对应excel就是sheet），每一页又有很多个 trunk(对应excel就是单元格)

单个slab最大是值1M

item

memcached 会把我们写入的 value 打包成 item，并保存到trunk中，一个item保存到一个trunk中

根据上面的单个slab最大值是1M，value又会打包成item，所以我们的value最大不能超过1M

严格的说是key+value+flags不能超过1M，key是不能超过250个字节，所以计算数据能否保存的时候要将他减去

如果超过1M怎么办？

  • 可以去修改Memcached的源码，将 POWER_BLOCK 常量设置更大，然后重新编译

  • 替换其他的缓存系统，这个是个人比较推荐的，不建议去修改源码，因为这样稳定性不能保证，现在市面上有很多中缓存系统，要选用适合的

slabclass

我们往chunk中塞item的时候，item总不可能会与chunk的大小完全匹配吧，chunk太小塞不下或者chunk太大浪费了怎么办？

就是我们在像单元格填充数据时的时候，格子太小，出界了，或者我们的内容很少在一个大格子里面好浪费。

所以memcached的设计是，我们会准备“几种不同格子的slab”，也就是说根据“slab分割的chunk的大小不一样”来分成“不同的种类的slab”，而 slabclass就是“slab的种类”的意思了

trunk大小的分配

我们可以在启动服务器的时候通过-vv参数查看默认的Trunk 分配

可以通过 -n 和 -f 参数来设置默认的 trunk 大小

  • -n 允许分配的最小空间，默认是48个字节，设置后的最小空间就是48+设置的值

  • -f trunk 空间增长的步长，默认是1.25倍

实例：

# 查看默认的大小及数量
memcached -vv

# 自定义 -n 和 -f 参数，观察下结果
memcached -n 40 -f 2 -vv

内存分配申请

向memcached添加一个item时候，memcached首先会根据item的大小，来选择最合适的slabclass。

例如要插入 10字节的一个 item，默认情况下 slab class 1 的 chunk 大小为96字节，因此是可以放到在class1中，96-10 = 86 个字节的空间就会被浪费了(先不考虑key和flag占用的)，memcached 会去检查 slab class 1 大小的 chunk 还有没有空闲的，如果没有，将会申请新的 slab class1 空间并划分为该种类chunk。

例如我们第一次向memcached中放入一个 小于 96 字节的item时，memcached会使用slab class1，并会用去一个chunk，剩余 10921 个chunk供下次有适合大小item时使用，当我们用完这所有的chunk之后，下次再有一个在96字节以下的item添加进来时，memcached会再申请空间生成一个class1 slab（这样就存在了2个slab class1）。

删除策略

memcached是懒检测机制，当存储在内存中的对象过期甚至是 flush_all 时 ，它并不会做检查或删除操作，只有在get时才检查数据对象是否应该删除。

删除数据时，Memcached同样是懒删除机制，只在对应的数据对象上做删除标识并不回收内存，在下次分配时直接覆盖使用。所以，当memcached过期或者删除的时候，它所占用的内存并不会释放，除非将服务重新启动。

当Memcached 没有空间保存新的数据时会怎么处理？会自动覆盖最后一次使用时间最早的数据，用来保存最新的数据

Memcached 集群

由于Memcached服务器与服务器之间没有任何通讯，并且不进行任何数据复制备份，所以当任何服务器节点出现故障时，会出现单点故障，如果需要实现HA，则需要通过另外的方式来解决。

通过Magent缓存代理，防止单点现象，缓存代理也可以做备份，通过客户端连接到缓存代理服务器，缓存代理服务器连接缓存连接服务器，缓存代理服务器可以连接多台Memcached机器可以将每台Memcached机器进行数据同步。

如果其中一台缓存服务器down机，系统依然可以继续工作，如果其中一台Memcached机器down掉，数据不会丢失并且可以保证数据的完整性。

由于章节和环境的关系，此处就不说明集群环境，具体可以参考：https://code.google.com/p/memagent

PHP 操作 Memcached

我们上面这么多篇幅的内容就是为了这里做准备的

通过上面的内容，已经了解了 Memcached 到底是怎么回事了，下面我们再看PHP怎么去使用 Memcached 就会很轻松了

PHP 的Memcached 扩展

PHP 有两个关于Memcache的扩展 Memcache 和 Memcached，他们有什么区别呢?

  • Memcache

    php memcache独立用php实现，是老客户端，实际应用中已发现有多个问题，而且功能少

  • Memcached

    基于原生的libmemcached的扩展，更加完善，建议使用 memcached，后面的讲解也是按照此扩展进行

Memcached 的扩展，对应 Memcached 本身来说，就是一个客户端，和我们之前用 telnet 连接操作是相同的，只是此处把 telnet 换成了 PHP

PHP 的Memcached 扩展安装

到 pecl 下载 Memcached 扩展包

# 安装 libmemcached 客户端 ，因为 Memcached 扩展需要 libmemcached 客户端支持
sudo apt install libmemcached-dev

# 安装依赖关系，HP 扩展需要 libmemcached 必须启用sasl，默认就是启用
# 但是要确保服务器安装了sasl包，configure 之后一定要注意看下，是否有 SASL support: yes 这个信息
sudo apt install libsasl2-dev

# 下载安装包
wget https://pecl.php.net/get/memcached-3.0.3.tgz

# 因为是PHP的扩展，所以解压到 PHP 的源码包的 ext 目录中
tar xzvf memcached-3.0.3.tgz -C /usr/local/src/php-7.1.4/ext/memcached-3.0.3
/usr/local/src/php-7.1.4/ext/memcached-3.0.3

# 通过  phpize 生成 configure 文件，phpize是专门用来准备 PHP 扩展库的编译环境的工具
sudo /usr/local/php/bin/phpize

# 编译安装
sudo ./configure --with-php-config=/usr/local/php/bin/php-config  --with-zlib-dir
sudo make
sudo make install

# 可以看到，他将 Memcached 扩展安装到了下面的位置
/usr/local/php/lib/php/extensions/no-debug-non-zts-20160303/

# 修改 php.ini 加载memcached扩展
sudo vim /usr/local/php/etc/php.ini
# 在最下面写入
extension=memcached.so

# 测试是否生效
php -i | grep memcached

代码演示

官方文档

公告
本博客已经由 go 重写，点击 about 了解更多， 点击 Laravel 版本博客 可以查看旧版博客，如果你喜欢本博客，欢迎 Star ， 感谢！
标签
linux 25 go 21 php 7 算法 7 mysql 3 数组 3 源码分析 2 翻译 2 http 2 nginx 2 ide 1 vim 1 字符串 1 laravel 1 redis 1 git 1
友情链接