虽然事件过去一周多了，但是记忆还尚尤新，理论上我们都晓得 Redis 是基于内存存储的，一般也是用于存储一些有价值的热数据，而我司中就有傻孩纸把图片这种二进制文件bese64_encode后使用chunk_split函数分成小块，给存进了 redis。以下是情景重放。

情景描述

redis

再发现使用率是108%时，此时服务是正常的，达到110%时，云Redis服务就拒绝连接了，此时sentry里收到大量错误，收到打开网站500错误页，服务瘫痪。

解决方案

  1. 云 redis 存储空间

  2. 释放现有 redis 空间

操作面板无法得知，方案1中耗时问题，果断选择了方案2，一行命令删除指定前缀key，命令如下：

1
2
3
4

./redis-cli -h 主机地址 -p 端口 keys "course-*" |xargs ./redis-cli -h 主机地址 -p 端口 del

# 具体执行命令
redis-cli -h 主机 -n 2 keys 'wechat*' | xargs redis-cli -h 主机 -n 2 del

问题代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

/**
    * 获取该页面对应的二维码
    * @param string $scene
    * @return string WXACodeBase64
    */
public function getWXACode($scene)
{

    $sceneMd5 = md5($scene);
    $getWXACodeImgBase64 = Redis::get('wechat:js:api:WXACodeImg:' . $sceneMd5);

    if (isset($getWXACodeImgBase64)) {
        $result = [
            'code' => 200,
            'msg' => 'success',
            'data' => $getWXACodeImgBase64
        ];
    } else {
        $accessToken = $this->getAccessToken(self::GET_WXACODE);
        if (isset($accessToken)) {
            $param = [
                'scene' => $scene
            ];
            $apiResult = HttpToolLib::curl(self::WXACODE_API_URL . $accessToken, json_encode($param), true);
            $resJson = json_decode($apiResult, true);
            if (isset($resJson) && array_key_exists('errcode', $resJson)) {
                $result = [
                    'code' => $resJson['errcode'],
                    'msg' => $resJson['errmsg'],
                    'data' => null
                ];
                \Log::error('getWXACodeError[code:' . $resJson['errcode'] . ';msg:' . $resJson['errmsg'] . '.]');
            } else {
                $getWXACodeImgBase64 = chunk_split(base64_encode($apiResult));
                Redis::setnx('wechat:js:api:WXACodeImg:' . $sceneMd5, $getWXACodeImgBase64);
                $result = [
                    'code' => 200,
                    'msg' => 'success',
                    'data' => $getWXACodeImgBase64
                ];
            }
        }
    }

    return $result;

}