用户名: 密码: 忘记密码? 注册

memcached-数据结构

作者:  时间: 2010-05-04
1、item(_stritem)结构体(memcached.h 292行-309行):
    item是memcached中存储数据的最小单位,是key-value的抽象,还记录了最近访问时间、消亡时间等重要信息。下面根据源代码一一介绍:

typedef struct _stritem {
    
struct _stritem *next; //下一个item
    
struct _stritem *prev; //上一个item
    
struct _stritem *h_next; //hash表的下一项
    rel_time_t
time; //最近访问时间
    rel_time_t exptime
; //消亡时间
    
int nbytes; //数据大小
    
unsigned short refcount; //引用计数
    
uint8_t nsuffix; // **的长度 
    
uint8_t it_flags; /* ITEM_* above */
    
uint8_t slabs_clsid;// item所存入的slab
    
uint8_t nkey; //key长度
    
void * end[];
    
/* if it_flags & ITEM_CAS we have 8 bytes CAS */
    
/* then null-terminated key */
    
/* then " flags length\r\n" (no terminating null) */
    
/* then data with terminating \r\n (no terminating null; it's binary!) */
} item;


    在memcached中每个item 是存储在其对应大小的slabclass_t 里的,同时又在hash 表中有记录。既可以使用自己的内存分配机制来减少操作系统在处理内存碎片,添加释放等多余的操作,又可以使用hash 表的性质对其进行快速的定位。

2、slab(slabclass_t)结构体(slabs.c 26行-44行):
    slabclass_t保存了分级大小的空间槽,以分别适用于不同大小的item存放.取决于两个命令行参数,-f和-n.在应用slabclass_t时,定义的是一个数组,该数组长度取决于增长的指数级别和初始值大小(32+chunk_size),每个空间槽是不允许大于1M的,也就是1048576。slabclass是由(MAX_NUMBER_OF_SLAB_CLASSES)个slabclass_t结构体构成的数组,每个slabclass_t结构体的大小是根据增长因子递增的,增长因子可以由客户端来设定,1.28版本的默认值为2,合理的调优增长因子可以避免空间的浪费

typedef struct {
    
unsigned int size; //items大小
    
unsigned int perslab; //每个slab有多少个item

    
void **slots; //item链表
    
unsigned int sl_total; //已有item的数量
    
unsigned int sl_curr; //第一个空闲链表位置

    
void *end_page_ptr; //指向下一个空闲item槽的页面结尾地址的指针或者是0
    
unsigned int end_page_free; //在最后分配页面中,存在的items的数量。

    
unsigned int slabs; //在这个级别中分配了多少个slab

    
void **slab_list; //slab数组的指针
    
unsigned int list_size; //slab数组大小

    
unsigned int killing; /* index+1 of dying slab, or zero if none */
    
size_t requested; //需要的字节数
} slabclass_t;

static slabclass_t slabclass[MAX_NUMBER_OF_SLAB_CLASSES];


3、conn结构体(memcached.h 330行-417行):
     conn结构是联系上下文的关键对象。对于每个连接的到来,都有一个conn结构与其对应,并且对应到某个连接状态,进入状态转换而完成操作。
    conn在程序开始也进行了一次预分配,分配200个连接空间。当200个使用完之后便是按需分配,到达一个分配一个。
    connitem、iovec(内核级别缓冲结构)关联

typedef struct conn conn;
struct conn {
    int sfd;
    sasl_conn_t *sasl_conn;
    enum conn_states state;
    enum bin_substates substate;
    struct event event;
    short ev_flags;
    short which; //刚刚被触发的事件

    char *rbuf; //缓存读入的命令
    char *rcurr; //语法分析的位置
    int rsize; //缓存读入命令的大小
    int rbytes; //从rcur开始还有多少信息没有进行语法分析

    char *wbuf;
    char *wcurr;
    int wsize;
    int wbytes;
    
    enum conn_states write_and_go;//在写操作完成后加入什么状态
    void *write_and_free; //在写操作完成后释放该内存

    char *ritem; //指向读入item的value
    int rlbytes;

    //nread信息数据

    /**
     * 在读取数据之前,item被用来保存一个item结构体,

     *这个结构体在读入命令行(set/add/replace)后被创建,
     *数据被读入ITEM_data(item)防止多余拷贝
     */


    void *item; //保存set/add/replace命令

    //总体情况
    int sbytes; //总字节数

    //nwrite信息数据
    struct iovec *iov;
    int iovsize; //在iov[]数组中分配的元素个数
    int iovused; /* number of elements used in iov[] */在iov[]数组中被使用元素的个数


    struct msghdr *msglist;
    int msgsize; //在msglist[]数组中分配的元素个数
    int msgused; //在msglist[]数组中被用的元素个数
    int msgcurr; //正在传送的元素个数
    int msgbytes; //当前msg中的字节数

    item **ilist; //需要输出的item链表
    int isize;
    item **icurr;
    int ileft;

    char **suffixlist;
    int suffixsize;
    char **suffixcurr;
    int suffixleft;

    enum protocol protocol; //此次连接的端口
    enum network_transport transport; //此次连接的传输工具

    //UDP客户端的数据
    int request_id; //UDP连接需要一个ID
    struct sockaddr request_addr; //最近发出请求的地址
    socklen_t request_addr_size;
    unsigned char *hdrbuf; //udp包的头
    int hdrsize; //头部空间

    bool noreply; //如果没发送应答,将被置为true
    //当前环境的命令
    struct {
        char *buffer;
        size_t size;
        size_t offset;
    } stats;

    //二进制协议
    //二进制协议的头
    protocol_binary_request_header binary_header;
    uint64_t cas; //所要返回的cas
    short cmd; //当前所处理的命令
    int opaque;
    int keylen;
    conn *next; /*/用来创建一个conn结构体链表
    LIBEVENT_THREAD *thread; //指向服务的线程
};