-
當(dāng)前位置:首頁 > 創(chuàng)意學(xué)院 > 技術(shù) > 專題列表 > 正文
常用命令:set/get/decr/incr/mget等;
應(yīng)用場景:String是最常用的一種數(shù)據(jù)類型,普通的key/value存儲都可以歸為此類;
實(shí)現(xiàn)方式:String在redis內(nèi)部存儲默認(rèn)就是一個字符串,被redisObject所引用,當(dāng)遇到incr、decr等操作時會轉(zhuǎn)成數(shù)值型進(jìn)行計(jì)算,此時redisObject的encoding字段為int。
常用命令:hget/hset/hgetall等
應(yīng)用場景:我們要存儲一個用戶信息對象數(shù)據(jù),其中包括用戶ID、用戶姓名、年齡和生日,通過用戶ID我們希望獲取該用戶的姓名或者年齡或者生日;
實(shí)現(xiàn)方式:Redis的Hash實(shí)際是內(nèi)部存儲的Value為一個HashMap,并提供了直接存取這個Map成員的接口。如圖所示,Key是用戶ID, value是一個Map。這個Map的key是成員的屬性名,value是屬性值。這樣對數(shù)據(jù)的修改和存取都可以直接通過其內(nèi)部Map的Key(Redis里稱內(nèi)部Map的key為field), 也就是通過 key(用戶ID) + field(屬性標(biāo)簽) 就可以操作對應(yīng)屬性數(shù)據(jù)。當(dāng)前HashMap的實(shí)現(xiàn)有兩種方式:當(dāng)HashMap的成員比較少時Redis為了節(jié)省內(nèi)存會采用類似一維數(shù)組的方式來緊湊存儲,而不會采用真正的HashMap結(jié)構(gòu),這時對應(yīng)的value的redisObject的encoding為zipmap,當(dāng)成員數(shù)量增大時會自動轉(zhuǎn)成真正的HashMap,此時encoding為ht。
常用命令:lpush/rpush/lpop/rpop/lrange等;
應(yīng)用場景:Redis list的應(yīng)用場景非常多,也是Redis最重要的數(shù)據(jù)結(jié)構(gòu)之一,比如twitter的關(guān)注列表,粉絲列表等都可以用Redis的list結(jié)構(gòu)來實(shí)現(xiàn);
實(shí)現(xiàn)方式:Redis list的實(shí)現(xiàn)為一個雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過帶來了部分額外的內(nèi)存開銷,Redis內(nèi)部的很多實(shí)現(xiàn),包括發(fā)送緩沖隊(duì)列等也都是用的這個數(shù)據(jù)結(jié)構(gòu)。
常用命令:sadd/spop/smembers/sunion等;
應(yīng)用場景:Redis set對外提供的功能與list類似是一個列表的功能,特殊之處在于set是可以自動排重的,當(dāng)你需要存儲一個列表數(shù)據(jù),又不希望出現(xiàn)重復(fù)數(shù)據(jù)時,set是一個很好的選擇,并且set提供了判斷某個成員是否在一個set集合內(nèi)的重要接口,這個也是list所不能提供的;
實(shí)現(xiàn)方式:set 的內(nèi)部實(shí)現(xiàn)是一個 value永遠(yuǎn)為null的HashMap,實(shí)際就是通過計(jì)算hash的方式來快速排重的,這也是set能提供判斷一個成員是否在集合內(nèi)的原因。
常用命令:zadd/zrange/zrem/zcard等;
應(yīng)用場景:Redis sorted set的使用場景與set類似,區(qū)別是set不是自動有序的,而sorted set可以通過用戶額外提供一個優(yōu)先級(score)的參數(shù)來為成員排序,并且是插入有序的,即自動排序。當(dāng)你需要一個有序的并且不重復(fù)的集合列表,那么可以選擇sorted set數(shù)據(jù)結(jié)構(gòu),比如twitter 的public timeline可以以發(fā)表時間作為score來存儲,這樣獲取時就是自動按時間排好序的。
實(shí)現(xiàn)方式:Redis sorted set的內(nèi)部使用HashMap和跳躍表(SkipList)來保證數(shù)據(jù)的存儲和有序,HashMap里放的是成員到score的映射,而跳躍表里存放的是所有的成員,排序依據(jù)是HashMap里存的score,使用跳躍表的結(jié)構(gòu)可以獲得比較高的查找效率,并且在實(shí)現(xiàn)上比較簡單。
appendfsync no 當(dāng)設(shè)置appendfsync為no的時候,Redis不會主動調(diào)用fsync去將AOF日志內(nèi)容同步到磁盤,所以這一切就完全依賴于操作系統(tǒng)的調(diào)試了。對大多數(shù)Linux操作系統(tǒng),是每30秒進(jìn)行一次fsync,將緩沖區(qū)中的數(shù)據(jù)寫到磁盤上。
appendfsync everysec 當(dāng)設(shè)置appendfsync為everysec的時候,Redis會默認(rèn)每隔一秒進(jìn)行一次fsync調(diào)用,將緩沖區(qū)中的數(shù)據(jù)寫到磁盤。但是當(dāng)這一次的fsync調(diào)用時長超過1秒時。Redis會采取延遲fsync的策略,再等一秒鐘。也就是在兩秒后再進(jìn)行fsync,這一次的fsync就不管會執(zhí)行多長時間都會進(jìn)行。這時候由于在fsync時文件描述符會被阻塞,所以當(dāng)前的寫操作就會阻塞。所以結(jié)論就是,在絕大多數(shù)情況下,Redis會每隔一秒進(jìn)行一次fsync。在最壞的情況下,兩秒鐘會進(jìn)行一次fsync操作。這一操作在大多數(shù)數(shù)據(jù)庫系統(tǒng)中被稱為group commit,就是組合多次寫操作的數(shù)據(jù),一次性將日志寫到磁盤。
appednfsync always 當(dāng)設(shè)置appendfsync為always時,每一次寫操作都會調(diào)用一次fsync,這時數(shù)據(jù)是最安全的,當(dāng)然,由于每次都會執(zhí)行fsync,所以其性能也會受到影響。
redis能做什么(redis可以做什么)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于redis能做什么的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準(zhǔn),寫出的就越詳細(xì),有微信小程序端、在線網(wǎng)頁版、PC客戶端
官網(wǎng):https://ai.de1919.com。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043,或添加微信:1454722008
本文目錄:
一、Redis實(shí)現(xiàn)簡單消息隊(duì)列
打開瀏覽器,輸入地址,按下回車,打開了頁面。于是一個 HTTP 請求( request )就由客戶端發(fā)送到服務(wù)器,服務(wù)器處理請求,返回響應(yīng)( response )內(nèi)容。
我們每天都在瀏覽網(wǎng)頁,發(fā)送大大小小的請求給服務(wù)器。有時候,服務(wù)器接到了請求,會發(fā)現(xiàn)他也需要給另外的服務(wù)器發(fā)送請求,或者服務(wù)器也需要做另外一些事情,于是最初們發(fā)送的請求就被阻塞了,也就是要等待服務(wù)器完成其他的事情。
更多的時候,服務(wù)器做的額外事情,并不需要客戶端等待,這時候就可以把這些額外的事情異步去做。從事異步任務(wù)的工具有很多。主要原理還是處理通知消息,針對通知消息通常采取是隊(duì)列結(jié)構(gòu)。生產(chǎn)和消費(fèi)消息進(jìn)行通信和業(yè)務(wù)實(shí)現(xiàn)。
上述異步任務(wù)的實(shí)現(xiàn),可以抽象為生產(chǎn)者消費(fèi)模型。如同一個餐館,廚師在做飯,吃貨在吃飯。如果廚師做了很多,暫時賣不完,廚師就會休息;如果客戶很多,廚師馬不停蹄的忙碌,客戶則需要慢慢等待。實(shí)現(xiàn)生產(chǎn)者和消費(fèi)者的方式用很多,下面使用 Python 標(biāo)準(zhǔn)庫 Queue 寫個小例子:
大概輸出如下:
Python內(nèi)置了一個好用的隊(duì)列結(jié)構(gòu)。我們也可以是用redis實(shí)現(xiàn)類似的操作。并做一個簡單的異步任務(wù)。
Redis提供了兩種方式來作消息隊(duì)列。一個是使用 生產(chǎn)者消費(fèi)模式 模式,另外一個方法就是 發(fā)布訂閱者模式 。前者會讓一個或者多個客戶端監(jiān)聽消息隊(duì)列,一旦消息到達(dá),消費(fèi)者馬上消費(fèi),誰先搶到算誰的,如果隊(duì)列里沒有消息,則消費(fèi)者繼續(xù)監(jiān)聽。后者也是一個或多個客戶端訂閱消息頻道,只要發(fā)布者發(fā)布消息,所有訂閱者都能收到消息,訂閱者都是平等的。
主要使用了redis提供的blpop獲取隊(duì)列數(shù)據(jù),如果隊(duì)列沒有數(shù)據(jù)則阻塞等待,也就是監(jiān)聽。
使用redis的pubsub功能,訂閱者訂閱頻道,發(fā)布者發(fā)布消息到頻道了,頻道就是一個消息隊(duì)列。
我們分別實(shí)現(xiàn)了兩種異步任務(wù)的后端服務(wù),直接啟動他們,就能監(jiān)聽redis隊(duì)列或頻道的消息了。簡單的測試如下:
啟動腳本,使用
可以分別在監(jiān)聽的腳本輸入中看到異步消息。在異步的任務(wù)中,可以執(zhí)行一些耗時間的操作,當(dāng)然目前這些做法并不知道異步的執(zhí)行結(jié)果,如果需要知道異步的執(zhí)行結(jié)果,可以考慮設(shè)計(jì)協(xié)程任務(wù)或者使用一些工具如 RQ 或者 celery 等。
二、利用Redis設(shè)計(jì)庫存系統(tǒng)的苦與樂
在秒殺等高并發(fā)場景下,既要保證庫存安全,也要擁有極高的系統(tǒng)性能。從存儲結(jié)構(gòu)上,很多同學(xué)會選用Redis,畢竟Redis的單線程操作特性,很好地避免了線程安全的問題,同時具備極高的讀寫性能。
我們先來看下庫存系統(tǒng)設(shè)計(jì)的幾大核心要點(diǎn):
1. 庫存安全:既要保證線程安全,也要防止出現(xiàn)超賣
2. 同步響應(yīng):業(yè)務(wù)場景基本不允許異步響應(yīng)庫存扣減結(jié)果
3. 性能極限:在seckill場景下,性能總是被要求越高越好
我們來看下如何利用Redis來解決上面的三個問題。
一.庫存安全
利用Redis來做庫存扣減,避免超限的"方法"很多,坑也很多,我們先來看下常用的陷阱有哪些。
1. 先獲取當(dāng)前庫存值進(jìn)行比較,再進(jìn)行扣減
defdecr_stock():conn=redis_conn()key="productA"current_storage=conn.get(key)current_storage_int=int(current_storage)ifcurrent_storage_int<=0 :return0result=conn.decr(key)returnresult
我們先在Redis中拿到當(dāng)前的庫存值,然后check是否已經(jīng)扣減到了零,如果已經(jīng)扣減到了零,則直接return;否則,就利用Redis的decr原子操作進(jìn)行扣減,同時返回扣減后的庫存值。
這種方法的問題很明顯,在并發(fā)條件下,會出現(xiàn)臟讀,設(shè)想一個場景,AB兩個請求進(jìn)來,A獲取的庫存值為1,B獲取的庫存值為1,然后兩個請求都被發(fā)到redis中進(jìn)行扣減操作,然后這種場景下,A最后得到的庫存值為0;但是B最后得到的庫存值為-1,超限。
2. 先扣減庫存,再做比較,跟進(jìn)情況是否做回滾
defdecr_stock():conn=redis_conn()key="productA"current=conn.decr(key)ifcurrent>=0:returncurrentelse: #回滾庫存conn.incr(key)return0
直接先對庫存值進(jìn)行扣減,得到當(dāng)前的庫存值;然后,對此庫存值進(jìn)行check,如果庫存>=0,則返回庫存值,如果庫存<0,則回滾庫存,以便于防止負(fù)庫存量的存在。
Redis Decr命令:DECR 命令會返回鍵 key 在執(zhí)行減1操作之后的值。
這種做法引入了兩個新的問題:
1).如果大批量的并發(fā)請求過來,redis承受的寫操作的量,是加倍的,因?yàn)榛貪L庫存的存在導(dǎo)致的。所以這種情況下,高并發(fā)量進(jìn)來,極有可能將redis的寫操作打出極限值,然后會出現(xiàn)很多redis寫失敗的錯誤警告
2). Redis的Decr操作和回滾操作無法保證原子性,在宕機(jī)情況下,容易產(chǎn)生數(shù)據(jù)不一致
3.先扣庫存,然后通過整數(shù)溢出控制,根據(jù)情況進(jìn)行回滾
defdecr_stock():conn=redis_conn()key="productA"current=conn.decr(key) #通過整數(shù)控制溢出的做法ifcheck_overflow(current):returncurrentelse: #回滾庫存conn.incr(key)return0 defcheck_overflow(stock): #如果當(dāng)前庫存未被遞減到0,則check_number為int類型,isinstance方法檢測結(jié)果為true #如果當(dāng)前庫存已被遞減到負(fù)數(shù),則check_number為long類型,isinstance方法檢測結(jié)果為falsecheck_number=sys.maxint - stockcheck_result=isinstance(check_number,int)returncheck_result
這種做法和方法2類似,只是比對部分由直接和0比對,變成了通過檢測integer是否溢出的方式來進(jìn)行。這樣就徹底解決了高并發(fā)情況下,直接和零比對,限制不住的問題了。
雖然此種做法,相對于做法二說來,要靠譜很多,但是仍然解決不了在高并發(fā)情況下,redis寫并發(fā)量加倍的問題,極有可能某個促銷活動,在開始的那一刻,直接將redis的寫操作打出問題來。
4.基于分布式鎖的庫存扣減
defdecr_stock():key ="productA" lock = getLock(key)iflocked ==1: current_storage = conn.get(key) current_storage_int = int(current_storage)ifcurrent_storage_int<=0:return0 result = conn.decr(key)returnresultelse:return"someone in it"
Redis在2.8以后支持Lua腳本的原子性操作,可以用來做分布式鎖,解決超限的問題。
5. All in Lua
defstorage_scenario_six(): conn = redis_conn()lua =""" local storage = redis.call('get','storage_seckill') if storage ~= false then if tonumber(storage) > 0 then return redis.call('decr','storage_seckill') else return 'storage is zero now, can't perform decr action' end else return redis.call('set','storage_seckill',10) end """result = conn.eval(lua,0) print(result)
二、同步響應(yīng)
如果只用Redis來進(jìn)行存儲,處理完數(shù)據(jù)直接返回前端即可。如果還要持久化到DB,要盡量避免直接操作DB,因?yàn)镈B往往是最大的IO瓶頸,如果要異步落庫到DB,比如使用MQ。要注意處理Redis扣減和消息發(fā)送的原子性處理。
三、性能
官網(wǎng)上redis的讀寫性能能到10W/QPS左右,這個量級應(yīng)該可以解決絕大部分的場景。
但是經(jīng)常有同學(xué)在壓測的時候達(dá)不到這個性能,主要還是卡在網(wǎng)絡(luò)環(huán)境上,在5W/QPS的時候,帶寬就超過10M/s了。所有想追求Redis的極致性能,最好還是在同機(jī)房進(jìn)行調(diào)用。
三、基于redis做緩存分頁
在實(shí)際業(yè)務(wù)中我們會將一些熱數(shù)據(jù)緩存到redis里面,這時候數(shù)據(jù)量比較大的話,我們就要對這些熱數(shù)據(jù)進(jìn)行分頁,分頁的方式有2種:
第一:從redis拿出所有數(shù)據(jù)后,再做內(nèi)存分頁(不推薦),熱點(diǎn)數(shù)據(jù)小的時候可以這樣做,性能相差不是很大,但是當(dāng)數(shù)據(jù)量大的時候,分頁期間就會占用大量內(nèi)存,或撐爆;
第二:基于redis的數(shù)據(jù)結(jié)構(gòu)做緩存分頁,這里又分2種
①:基于redis的list數(shù)據(jù)結(jié)構(gòu),直接通過list的數(shù)據(jù)結(jié)構(gòu),用range方法可以進(jìn)行分頁,在數(shù)據(jù)量大的時候,性能也很可觀,但是當(dāng)存在接口高并發(fā)訪問時,這個list可能會無限延長,且里面的數(shù)據(jù)會存在很多重復(fù),這就會影響到正常的業(yè)務(wù)(不是很推薦);
②:基于redis的ZSet數(shù)據(jù)結(jié)構(gòu),通過Zset這個有序集合我們也可以做分頁,同樣也是用range方法,但是這里比較麻煩的是在初始化數(shù)據(jù)的時候Zset必須存放TypedTuple類型的數(shù)據(jù),這個類型是一個value和score的鍵值對,具體可以查百度,這個score的生成比較麻煩我這邊測試時用的是當(dāng)前數(shù)據(jù)在這個list的位置,然后Zset是根據(jù)這個score值來排序的,默認(rèn)是從小到大;用這個的好處是,即使在高并發(fā)情況下Zset中也不會存在重復(fù)數(shù)據(jù)從而影響正常的業(yè)務(wù);而且分頁效率也和list結(jié)構(gòu)差不多;
③:用hash和Zset來一起實(shí)現(xiàn);這個是問了一個朋友和得知的,Zset中存儲有序的id字段,通過分頁后拿到id,然后再用id去hash中取,感覺應(yīng)該效率相差不大的,只是中間多了層從hash結(jié)構(gòu)取,還需要維護(hù)又一個hash;(為何這樣做我也不清楚);
貼一張我測試list和ZSet的結(jié)果圖
四、Redis 和 Memcached 各有什么優(yōu)缺點(diǎn),主要的應(yīng)用場景是什么樣的
Redis的作者Salvatore Sanfilippo曾經(jīng)對這兩種基于內(nèi)存的數(shù)據(jù)存儲系統(tǒng)進(jìn)行過比較:
1、Redis支持服務(wù)器端的數(shù)據(jù)操作:Redis相比Memcached來說,擁有更多的數(shù)據(jù)結(jié)構(gòu)和并支持更豐富的數(shù)據(jù)操作,通常在Memcached里,你需要將數(shù)據(jù)拿到客戶端來進(jìn)行類似的修改再set回去。這大大增加了網(wǎng)絡(luò)IO的次數(shù)和數(shù)據(jù)體積。在Redis中,這些復(fù)雜的操作通常和一般的GET/SET一樣高效。所以,如果需要緩存能夠支持更復(fù)雜的結(jié)構(gòu)和操作,那么Redis會是不錯的選擇。
2、內(nèi)存使用效率對比:使用簡單的key-value存儲的話,Memcached的內(nèi)存利用率更高,而如果Redis采用hash結(jié)構(gòu)來做key-value存儲,由于其組合式的壓縮,其內(nèi)存利用率會高于Memcached。
3、性能對比:由于Redis只使用單核,而Memcached可以使用多核,所以平均每一個核上Redis在存儲小數(shù)據(jù)時比Memcached性能更高。而在100k以上的數(shù)據(jù)中,Memcached性能要高于Redis,雖然Redis最近也在存儲大數(shù)據(jù)的性能上進(jìn)行優(yōu)化,但是比起Memcached,還是稍有遜色。
具體為什么會出現(xiàn)上面的結(jié)論,以下為收集到的資料:
1、數(shù)據(jù)類型支持不同
與Memcached僅支持簡單的key-value結(jié)構(gòu)的數(shù)據(jù)記錄不同,Redis支持的數(shù)據(jù)類型要豐富得多。最為常用的數(shù)據(jù)類型主要由五種:String、Hash、List、Set和Sorted Set。Redis內(nèi)部使用一個redisObject對象來表示所有的key和value。redisObject最主要的信息如圖所示:
type代表一個value對象具體是何種數(shù)據(jù)類型,encoding是不同數(shù)據(jù)類型在redis內(nèi)部的存儲方式,比如:type=string代表value存儲的是一個普通字符串,那么對應(yīng)的encoding可以是raw或者是int,如果是int則代表實(shí)際redis內(nèi)部是按數(shù)值型類存儲和表示這個字符串的,當(dāng)然前提是這個字符串本身可以用數(shù)值表示,比如:”123″ “456”這樣的字符串。只有打開了Redis的虛擬內(nèi)存功能,vm字段字段才會真正的分配內(nèi)存,該功能默認(rèn)是關(guān)閉狀態(tài)的。
1)String
2)Hash
3)List
4)Set
5)Sorted Set
2、內(nèi)存管理機(jī)制不同
在Redis中,并不是所有的數(shù)據(jù)都一直存儲在內(nèi)存中的。這是和Memcached相比一個最大的區(qū)別。當(dāng)物理內(nèi)存用完時,Redis可以將一些很久沒用到的value交換到磁盤。Redis只會緩存所有的key的信息,如果Redis發(fā)現(xiàn)內(nèi)存的使用量超過了某一個閥值,將觸發(fā)swap的操作,Redis根據(jù)“swappability = age*log(size_in_memory)”計(jì)算出哪些key對應(yīng)的value需要swap到磁盤。然后再將這些key對應(yīng)的value持久化到磁盤中,同時在內(nèi)存中清除。這種特性使得Redis可以保持超過其機(jī)器本身內(nèi)存大小的數(shù)據(jù)。當(dāng)然,機(jī)器本身的內(nèi)存必須要能夠保持所有的key,畢竟這些數(shù)據(jù)是不會進(jìn)行swap操作的。同時由于Redis將內(nèi)存中的數(shù)據(jù)swap到磁盤中的時候,提供服務(wù)的主線程和進(jìn)行swap操作的子線程會共享這部分內(nèi)存,所以如果更新需要swap的數(shù)據(jù),Redis將阻塞這個操作,直到子線程完成swap操作后才可以進(jìn)行修改。當(dāng)從Redis中讀取數(shù)據(jù)的時候,如果讀取的key對應(yīng)的value不在內(nèi)存中,那么Redis就需要從swap文件中加載相應(yīng)數(shù)據(jù),然后再返回給請求方。 這里就存在一個I/O線程池的問題。在默認(rèn)的情況下,Redis會出現(xiàn)阻塞,即完成所有的swap文件加載后才會相應(yīng)。這種策略在客戶端的數(shù)量較小,進(jìn)行批量操作的時候比較合適。但是如果將Redis應(yīng)用在一個大型的網(wǎng)站應(yīng)用程序中,這顯然是無法滿足大并發(fā)的情況的。所以Redis運(yùn)行我們設(shè)置I/O線程池的大小,對需要從swap文件中加載相應(yīng)數(shù)據(jù)的讀取請求進(jìn)行并發(fā)操作,減少阻塞的時間。
對于像Redis和Memcached這種基于內(nèi)存的數(shù)據(jù)庫系統(tǒng)來說,內(nèi)存管理的效率高低是影響系統(tǒng)性能的關(guān)鍵因素。傳統(tǒng)C語言中的malloc/free函數(shù)是最常用的分配和釋放內(nèi)存的方法,但是這種方法存在著很大的缺陷:首先,對于開發(fā)人員來說不匹配的malloc和free容易造成內(nèi)存泄露;其次頻繁調(diào)用會造成大量內(nèi)存碎片無法回收重新利用,降低內(nèi)存利用率;最后作為系統(tǒng)調(diào)用,其系統(tǒng)開銷遠(yuǎn)遠(yuǎn)大于一般函數(shù)調(diào)用。所以,為了提高內(nèi)存的管理效率,高效的內(nèi)存管理方案都不會直接使用malloc/free調(diào)用。Redis和Memcached均使用了自身設(shè)計(jì)的內(nèi)存管理機(jī)制,但是實(shí)現(xiàn)方法存在很大的差異,下面將會對兩者的內(nèi)存管理機(jī)制分別進(jìn)行介紹。
Memcached默認(rèn)使用Slab Allocation機(jī)制管理內(nèi)存,其主要思想是按照預(yù)先規(guī)定的大小,將分配的內(nèi)存分割成特定長度的塊以存儲相應(yīng)長度的key-value數(shù)據(jù)記錄,以完全解決內(nèi)存碎片問題。Slab Allocation機(jī)制只為存儲外部數(shù)據(jù)而設(shè)計(jì),也就是說所有的key-value數(shù)據(jù)都存儲在Slab Allocation系統(tǒng)里,而Memcached的其它內(nèi)存請求則通過普通的malloc/free來申請,因?yàn)檫@些請求的數(shù)量和頻率決定了它們不會對整個系統(tǒng)的性能造成影響Slab Allocation的原理相當(dāng)簡單。 如圖所示,它首先從操作系統(tǒng)申請一大塊內(nèi)存,并將其分割成各種尺寸的塊Chunk,并把尺寸相同的塊分成組Slab Class。其中,Chunk就是用來存儲key-value數(shù)據(jù)的最小單位。每個Slab Class的大小,可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25,如果第一組Chunk的大小為88個字節(jié),第二組Chunk的大小就為112個字節(jié),依此類推。
當(dāng)Memcached接收到客戶端發(fā)送過來的數(shù)據(jù)時首先會根據(jù)收到數(shù)據(jù)的大小選擇一個最合適的Slab Class,然后通過查詢Memcached保存著的該Slab Class內(nèi)空閑Chunk的列表就可以找到一個可用于存儲數(shù)據(jù)的Chunk。當(dāng)一條數(shù)據(jù)庫過期或者丟棄時,該記錄所占用的Chunk就可以回收,重新添加到空閑列表中。從以上過程我們可以看出Memcached的內(nèi)存管理制效率高,而且不會造成內(nèi)存碎片,但是它最大的缺點(diǎn)就是會導(dǎo)致空間浪費(fèi)。因?yàn)槊總€Chunk都分配了特定長度的內(nèi)存空間,所以變長數(shù)據(jù)無法充分利用這些空間。如圖 所示,將100個字節(jié)的數(shù)據(jù)緩存到128個字節(jié)的Chunk中,剩余的28個字節(jié)就浪費(fèi)掉了。
Redis的內(nèi)存管理主要通過源碼中zmalloc.h和zmalloc.c兩個文件來實(shí)現(xiàn)的。Redis為了方便內(nèi)存的管理,在分配一塊內(nèi)存之后,會將這塊內(nèi)存的大小存入內(nèi)存塊的頭部。如圖所示,real_ptr是redis調(diào)用malloc后返回的指針。redis將內(nèi)存塊的大小size存入頭部,size所占據(jù)的內(nèi)存大小是已知的,為size_t類型的長度,然后返回ret_ptr。當(dāng)需要釋放內(nèi)存的時候,ret_ptr被傳給內(nèi)存管理程序。通過ret_ptr,程序可以很容易的算出real_ptr的值,然后將real_ptr傳給free釋放內(nèi)存。
Redis通過定義一個數(shù)組來記錄所有的內(nèi)存分配情況,這個數(shù)組的長度為ZMALLOC_MAX_ALLOC_STAT。數(shù)組的每一個元素代表當(dāng)前程序所分配的內(nèi)存塊的個數(shù),且內(nèi)存塊的大小為該元素的下標(biāo)。在源碼中,這個數(shù)組為zmalloc_allocations。zmalloc_allocations[16]代表已經(jīng)分配的長度為16bytes的內(nèi)存塊的個數(shù)。zmalloc.c中有一個靜態(tài)變量used_memory用來記錄當(dāng)前分配的內(nèi)存總大小。所以,總的來看,Redis采用的是包裝的mallc/free,相較于Memcached的內(nèi)存管理方法來說,要簡單很多。
3、數(shù)據(jù)持久化支持
Redis雖然是基于內(nèi)存的存儲系統(tǒng),但是它本身是支持內(nèi)存數(shù)據(jù)的持久化的,而且提供兩種主要的持久化策略:RDB快照和AOF日志。而memcached是不支持?jǐn)?shù)據(jù)持久化操作的。
1)RDB快照
Redis支持將當(dāng)前數(shù)據(jù)的快照存成一個數(shù)據(jù)文件的持久化機(jī)制,即RDB快照。但是一個持續(xù)寫入的數(shù)據(jù)庫如何生成快照呢?Redis借助了fork命令的copy on write機(jī)制。在生成快照時,將當(dāng)前進(jìn)程fork出一個子進(jìn)程,然后在子進(jìn)程中循環(huán)所有的數(shù)據(jù),將數(shù)據(jù)寫成為RDB文件。我們可以通過Redis的save指令來配置RDB快照生成的時機(jī),比如配置10分鐘就生成快照,也可以配置有1000次寫入就生成快照,也可以多個規(guī)則一起實(shí)施。這些規(guī)則的定義就在Redis的配置文件中,你也可以通過Redis的CONFIG SET命令在Redis運(yùn)行時設(shè)置規(guī)則,不需要重啟Redis。
Redis的RDB文件不會壞掉,因?yàn)槠鋵懖僮魇窃谝粋€新進(jìn)程中進(jìn)行的,當(dāng)生成一個新的RDB文件時,Redis生成的子進(jìn)程會先將數(shù)據(jù)寫到一個臨時文件中,然后通過原子性rename系統(tǒng)調(diào)用將臨時文件重命名為RDB文件,這樣在任何時候出現(xiàn)故障,Redis的RDB文件都總是可用的。同時,Redis的RDB文件也是Redis主從同步內(nèi)部實(shí)現(xiàn)中的一環(huán)。RDB有他的不足,就是一旦數(shù)據(jù)庫出現(xiàn)問題,那么我們的RDB文件中保存的數(shù)據(jù)并不是全新的,從上次RDB文件生成到Redis停機(jī)這段時間的數(shù)據(jù)全部丟掉了。在某些業(yè)務(wù)下,這是可以忍受的。
2)AOF日志
AOF日志的全稱是append only file,它是一個追加寫入的日志文件。與一般數(shù)據(jù)庫的binlog不同的是,AOF文件是可識別的純文本,它的內(nèi)容就是一個個的Redis標(biāo)準(zhǔn)命令。只有那些會導(dǎo)致數(shù)據(jù)發(fā)生修改的命令才會追加到AOF文件。每一條修改數(shù)據(jù)的命令都生成一條日志,AOF文件會越來越大,所以Redis又提供了一個功能,叫做AOF rewrite。其功能就是重新生成一份AOF文件,新的AOF文件中一條記錄的操作只會有一次,而不像一份老文件那樣,可能記錄了對同一個值的多次操作。其生成過程和RDB類似,也是fork一個進(jìn)程,直接遍歷數(shù)據(jù),寫入新的AOF臨時文件。在寫入新文件的過程中,所有的寫操作日志還是會寫到原來老的AOF文件中,同時還會記錄在內(nèi)存緩沖區(qū)中。當(dāng)重完操作完成后,會將所有緩沖區(qū)中的日志一次性寫入到臨時文件中。然后調(diào)用原子性的rename命令用新的AOF文件取代老的AOF文件。
AOF是一個寫文件操作,其目的是將操作日志寫到磁盤上,所以它也同樣會遇到我們上面說的寫操作的流程。在Redis中對AOF調(diào)用write寫入后,通過appendfsync選項(xiàng)來控制調(diào)用fsync將其寫到磁盤上的時間,下面appendfsync的三個設(shè)置項(xiàng),安全強(qiáng)度逐漸變強(qiáng)。
對于一般性的業(yè)務(wù)需求,建議使用RDB的方式進(jìn)行持久化,原因是RDB的開銷并相比AOF日志要低很多,對于那些無法忍數(shù)據(jù)丟失的應(yīng)用,建議使用AOF日志。
4、集群管理的不同
Memcached是全內(nèi)存的數(shù)據(jù)緩沖系統(tǒng),Redis雖然支持?jǐn)?shù)據(jù)的持久化,但是全內(nèi)存畢竟才是其高性能的本質(zhì)。作為基于內(nèi)存的存儲系統(tǒng)來說,機(jī)器物理內(nèi)存的大小就是系統(tǒng)能夠容納的最大數(shù)據(jù)量。如果需要處理的數(shù)據(jù)量超過了單臺機(jī)器的物理內(nèi)存大小,就需要構(gòu)建分布式集群來擴(kuò)展存儲能力。
Memcached本身并不支持分布式,因此只能在客戶端通過像一致性哈希這樣的分布式算法來實(shí)現(xiàn)Memcached的分布式存儲。下圖給出了Memcached的分布式存儲實(shí)現(xiàn)架構(gòu)。當(dāng)客戶端向Memcached集群發(fā)送數(shù)據(jù)之前,首先會通過內(nèi)置的分布式算法計(jì)算出該條數(shù)據(jù)的目標(biāo)節(jié)點(diǎn),然后數(shù)據(jù)會直接發(fā)送到該節(jié)點(diǎn)上存儲。但客戶端查詢數(shù)據(jù)時,同樣要計(jì)算出查詢數(shù)據(jù)所在的節(jié)點(diǎn),然后直接向該節(jié)點(diǎn)發(fā)送查詢請求以獲取數(shù)據(jù)。
相較于Memcached只能采用客戶端實(shí)現(xiàn)分布式存儲,Redis更偏向于在服務(wù)器端構(gòu)建分布式存儲。最新版本的Redis已經(jīng)支持了分布式存儲功能。Redis Cluster是一個實(shí)現(xiàn)了分布式且允許單點(diǎn)故障的Redis高級版本,它沒有中心節(jié)點(diǎn),具有線性可伸縮的功能。下圖給出Redis Cluster的分布式存儲架構(gòu),其中節(jié)點(diǎn)與節(jié)點(diǎn)之間通過二進(jìn)制協(xié)議進(jìn)行通信,節(jié)點(diǎn)與客戶端之間通過ascii協(xié)議進(jìn)行通信。在數(shù)據(jù)的放置策略上,Redis Cluster將整個key的數(shù)值域分成4096個哈希槽,每個節(jié)點(diǎn)上可以存儲一個或多個哈希槽,也就是說當(dāng)前Redis Cluster支持的最大節(jié)點(diǎn)數(shù)就是4096。Redis Cluster使用的分布式算法也很簡單:crc16( key ) % HASH_SLOTS_NUMBER。
為了保證單點(diǎn)故障下的數(shù)據(jù)可用性,Redis Cluster引入了Master節(jié)點(diǎn)和Slave節(jié)點(diǎn)。在Redis Cluster中,每個Master節(jié)點(diǎn)都會有對應(yīng)的兩個用于冗余的Slave節(jié)點(diǎn)。這樣在整個集群中,任意兩個節(jié)點(diǎn)的宕機(jī)都不會導(dǎo)致數(shù)據(jù)的不可用。當(dāng)Master節(jié)點(diǎn)退出后,集群會自動選擇一個Slave節(jié)點(diǎn)成為新的Master節(jié)點(diǎn)。
以上就是關(guān)于redis能做什么相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀:
小紅書封面圖橫圖豎圖(小紅書封面圖橫圖豎圖怎么設(shè)置)