加入收藏 | 设为首页 | 会员中心 | 我要投稿 北几岛 (https://www.beijidao.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

[视频教程] 基于redis的消息队列实现与思考

发布时间:2021-05-21 06:52:50 所属栏目:大数据 来源: https://www.jb51.cc
导读:使用redis的list列表来实现消息队列功能,相信大家都听过消息队列,但是在业务中可能并没有真正去使用它。在公司项目中正好有个场景使用到了消息队列,因此就来说一下流程。 在web界面上有个功能是群发邮件,用户可以创建一个5000邮箱的邮件列表,编辑完邮件

使用redis的list列表来实现消息队列功能,相信大家都听过消息队列,但是在业务中可能并没有真正去使用它。在公司项目中正好有个场景使用到了消息队列,因此就来说一下流程。
在web界面上有个功能是群发邮件,用户可以创建一个5000邮箱的邮件列表,编辑完邮件内容后可以给这个邮件列表发信。如果使用同步的方式,直接在浏览器-服务器模式下调用smtp服务发信,肯定速度非常慢,也有可能会超时。现在就是在点完发信后,进入到redis的一个list中,然后直接给用户返回发送成功。至于这些信什么时候发送和完成,都是对用户透明的。在后台进程任务中会去消费list数据,逐条进行发信。

web点击后的入队列很简单,就是单纯的for循环,然后使用lPush在队列的头部增加元素。
后台使用定时任务每隔30分钟启动PHP进程,去消费list中的数据,并且kill掉之前的PHP进程。这样做是为了防止PHP进程僵死,定时重启进程来进行操作。

在kill掉进程的时候,有可能会导致正在发信的过程被结束,取出的数据没有被发送成功。redis有提供一个功能是在弹出数据的同时,可以插入到另一个队列中,并且这个操作是原子性的,这样就使用另一个备用队列来存储发送失败的数据,重新进行补偿发送

?

<?PHP
/**
 * 模拟web入队列
 */
$redis=new Redis();
$redis->connect('192.168.1.114',6379);

for($i=0;$i<5000;$i++){
    $message="mes {$i}";
    $redis->lPush("emails",$message);
}
echo "ok";
<?//后台进程
while(true$email=$redis->bRPopLPush ("emails","emails_bak",20);
    
    var_dump($email);
    usleep(100);模拟发信耗时
    $redis->lRem("emails_bak",1)">);
}

redis提供的所以关于list的函数

blPop,brPop 阻塞式读取和删除第一个/最后一个元素
bRPopLPush 从列表中弹出一个值,并把它推到另一个列表中
rPopLPush 弹出列表中的最后一个元素,并把他推到另一个列表中
lRange,lGetRange 获取列表中一系列元素
lIndex,lGet 从其索引中获取元素
lSet 通过索引设置元素
lRem,lRemove 通过索引删除元素
lInsert 在列表中一个元素之前或之后插入一个元素
lLen,lSize 获取列表的长度/大小
lPop 弹出列表中的第一个元素
lPush 在列表前添加一个元素
rPop 弹出列表最后一个元素
rPush 在列表末尾增加一个元素
lPushx 仅在列表存在时才在列表前添加元素
rPushX 仅在列表存在时,才在列表结尾增加元素
lTrim,listTrim 将列表修剪到指定范围

?

cron的规则:

*/30 * * * * root ps -ef |grep SendMassMail | grep -v ps |awk '{print $2}' | xargs kill -9? ;PHP /usr/local/sinamail/tools/SendMassMailAndMonitor.PHP

我的视频教程

https://www.bilibili.com/video/av73188455/

(编辑:北几岛)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读