没有合适的资源？快使用搜索试试~ 我知道了~

文库首页硬件开发嵌入式Memcached学习笔记

Memcached学习笔记

memcache

需积分: 9 6 下载量 188 浏览量 2015-12-17 17:23:14 上传评论 3 收藏 620KB PDF 举报

温馨提示

试读

48页

距离写这篇学习笔记已经差不多大半年时间了，当时在EMERSON做嵌入式开发，想转型找个大数据/服务器相关的工作，为了给自己找工作增加点资本就话了点时间看了下memcached的代码，同时写了一个memcached的持久化存储模块并上传到了github上https://github.com/songbin/memPE 。偶尔之间在电脑上看到自己写的这篇文档，感觉或许会对其他学习memcache的人有点帮助，所以就打算直接发到网上。

资源详情

资源评论

memcached-master 1.4.22 instruction

写文档的人:宋斌 anticode@163.com 个人博客 http://www.cainiaods.com/

一些絮絮叨叨

距离写这篇学习笔记已经差不多大半年时间了，当时在 EMERSON 做嵌入式开发，想转型

找个大数据/服务器相关的工作，为了给自己找工作增加点资本就话了点时间看了下

memcached 的代码，同时写了一个 memcached 的持久化存储模块并上传到了 github 上

https://github.com/songbin/memPE 。

偶尔之间在电脑上看到自己写的这篇文档，感觉或许会对其他学习 memcache 的人有点帮

助，所以就打算直接发到网上。

也欢迎大家一起交流学习，我的博客 http://www.cainiaods.com/

多线程机制

memcache 中的线程根据职责的不同可以做出以下的划分:

1.一个主线程

主线程的作用就是创建一个 socket 用来持续不断的监听来自客户端的 request。

2.若干个工作线程(event worker thread)

所有具体逻辑的处理都是在 worker thread 中完成的。比如哈希表、LRU 管理、数

据解析/传输/查找等等。

3.一些后台线程

……

主线程

在 memcached.c 文件 main 函数中会调用 server_sockets 或者 server_socket_unix 函数创建

socket 来启用主监听线程。到底是调用这两个函数中的哪一个取决于启动参数。如果在启

动 memcached 的时候使用了-s 命令，则会调用 server_socket_unix 否则默认调用

server_sockets。

主线程创建流程【只考虑 TCP 协议】

第一步，通过 server_socket 创建一个用来监听的 socket

第二步，在 server_socket 中调用 conn_new 函数。

1.传递要绑定的 event_base 事件是 EV_READ | EV_PERSIST

2.传递的 conn 初始状态是 conn_listening

3.传递的 socket handle 就是刚创建的 socket handle 号。【线程池是一个以 socket fd 为

索引的 hash table】

4.传递的 event_base 就是主线程的 main_base

5.传递的协议就是 TCP 协议

第三步，在 conn_new 函数中初始化了 conn 参数，并把上一步 libevent 的监听事件和

event_handler 回调函数绑定。把新创建的 event 加到监听队列中去。

第四步，在 event_handler 回调函数中对参数合法性进行判断，然后调用 drive_machine 函

数。drive_machine 里面是一个根据 conn state 运行的有限状态机。

所以就是说，所有客户端发送给 memcached 的 socket read request 都会直接被送到

drive_machine 函数中进行处理。

work thread 工作线程

在 memcached.c 的 main 函数里面调用 memcached_thread_init 函数段创建 work thread。

核心功能部分步骤如下

第一步，为每个线程创建一个 pipe，分别为 write 和 read

第二步，调用 setup_thread 函数将第一步创建的 pipe 中的 notify_receive_fd 绑定到

libevent 的 EV_READ 触发事件上去，其回调函数是 thread_libevent_process。

第三步，对每个线程加锁。

部分代码如下所示：

for (i = 0; i < nthreads; i++) {

int fds[2];

if (pipe(fds)) {

perror("Can't create notify pipe");

exit(1);

}

threads[i].notify_receive_fd = fds[0];

threads[i].notify_send_fd = fds[1];

setup_thread(&threads[i]);

/* Reserve three fds for the libevent base, and two for the pipe */

stats.reserved_fds += 5;

}

/* Create threads after we've done all the libevent setup. */

for (i = 0; i < nthreads; i++) {

create_worker(worker_libevent, &threads[i]);

}

命令处理

GET

connection 是一个新的网络连接

只考虑 TCP 协议和 ascii 码传输。

我们只分析新 connection 处理过程，至于已经存在的 connection 第二次客户端发送请求处

理流程大同小异。

如果是新 connection，memcached 的打印如下

<37 new auto-negotiating client connection

37: going from conn_new_cmd to conn_waiting

37: going from conn_waiting to conn_read

37: going from conn_read to conn_parse_cmd

37: Client using the ascii protocol

<37 get test

> FOUND KEY test

>37 sending key test

>37 END

37: going from conn_parse_cmd to conn_mwrite

37: going from conn_mwrite to conn_new_cmd

37: going from conn_new_cmd to conn_waiting

37: going from conn_waiting to conn_read

第一步，主线程状态机处在 conn_listening 状态，accept 到客户端请求，调用

dispatch_conn_new 函数分配到一个 work thread，并指定 worker thread 初始状态为

conn_new_cmd，监听的 libevent 事件为 EV_READ，然后跳出主线程状态机，此后的工作

就交给 worker thread。

第二步，在 dispatch_conn_new，函数中将 connection 信息封装，加入到

connection 队列中去。同时为该线程的 pipe 写端写入字符’c’，转到 pipe 读端绑定的回调

函数 thread_libevent_process 中。

第三步，thread_libevent_process 接收到字符’c’，从改线程的 connection 池队头弹

出一个封装好了的 connection item。然后调用 conn_new 函数，实例化 connection 绑定回

调函数。此后就进入该线程的 machine_drive 函数里的有限状态机进行处理。此时状态机

的状态是第一步传进来的 conn_new_cmd 状态。

第四步，在 conn_new_cmd 状态进入 reset_cmd_handler 函数，在这个函数里面会

转入 conn_waiting 状态，在 conn_waiting 状态会转化为 conn_read 状态

第五步，在 conn_read 状态调用 try_read_network 函数，在此函数中会将该

connection 的 socket 内容读取到 connection 的结构体成员 rbuf 中并且根据 rbytes 做偏移，

并且根据 try_read_network 函数的返回值决定下一步状态。

返回值

下一步状态

READ_NO_DATA_RECEIVED

conn_waiting

READ_DATA_RECEIVED

conn_parse_cmd

READ_ERROR

conn_closing

READ_MEMORY_ERROR

直接跳出

第六步，进入 conn_parse_cmd 状态。调用 try_read_command 函数，从 conn 结构

体中取出已经读到的命令，然后调用 process_command 函数，因为是 GET 命令，则会接

着调用 process_get_command 函数。

第七步，process_get_command 函数中根据 key 获取 item，并把 item 存放在 conn

结构体中的 msglist 元素中，数据格式如下：

if (add_iov(c, "VALUE ", 6) != 0 ||

add_iov(c, ITEM_key(it), it->nkey) != 0 ||

add_iov(c, ITEM_suffix(it), it->nsuffix - 2) != 0 ||

add_iov(c, suffix, suffix_len) != 0 ||

add_iov(c, ITEM_data(it), it->nbytes) != 0)

"VALUE "

key

"" + flags + "" + data length + "\r\n" + data (with \r\n)

在 process_get_command 函数结束时会把状态机转换到 conn_mwrite 状态。

第八步，在 conn_write 状态会调用 transmit 函数，transmit 函数从 conn 的 msglist

成员中取出 msghdr，然后使用 sendmsg 函数发送到对应的 socket 上去。msghdr 结构体里

面就存放着 key 对应 item 的格式。打印如下

for(int index = m->msg_iovlen-1 ; index > 0 ; index-- ){

char *buf = (char*)m->msg_iov[index].iov_base ;//= (void *)buf;

printf("[%s:%d]buf[%s]\n",__FUNCTION__,index,buf);

剩余47页未读，继续阅读

评论收藏

内容反馈

Memcached学习笔记

评论0

最新资源

Memcached学习笔记

评论0

最新资源

相关推荐

Memcached学习笔记2.doc

Memcached源码剖析笔记

Memcached学习笔记 — 第四部分:Memcached Java 客户端-gwhalin(1)-介绍及使用

memcached学习笔记

Memcached 学习资料(memcached Memcached使用手册 Memcached源码剖析笔记)

Redis全套学习笔记 (带章节目录) 完整版pdf

Memcached 源码剖析笔记

Memcached源码剖析笔记.pdf

Memcached源码剖析笔记.docx

Memcached源码剖析笔记_wrapper1

网上收集最新的Memcached学习资料

NoSQL学习笔记

php学习笔记

Java架构面试笔试专题资料及经验（含答案）和学习笔记.zip

redis 缓存技术学习笔记

php之Memcache学习笔记

Memcached分布式缓存学习.doc

FreeBSD下Apache、PHP、SVN、Memcached、PostgreSQL、MySql的安装笔记

韩顺平 PHP Memcached缓存技术资料源码笔记图解PPT_Ady

Laravel 5 学习笔记

MVC使用Memcache+Cookie解决分布式系统共享登录状态学习笔记6

最全的Java程序员知识（专业知识+面试+视频教程）学习资料合集.zip

编程狂人第九期（2014-1-20）

高性能高并发服务器架构大全