具有重復(fù)數(shù)據(jù)刪除的云災(zāi)備系統(tǒng)
成果概況
成果類別: | 應(yīng)用技術(shù) | 體現(xiàn)形式: | 新產(chǎn)品 | 課題來源: | 地方計劃 |
起止時間: | 2014.06 至2015.05 | 研究形式: | 獨立研究 | 所處階段: | 初期階段 |
成果屬性: | 原始性創(chuàng)新 |
成果簡介
1.課題來源與背景
針對目前在分布式存儲的現(xiàn)狀,本項目研發(fā)的系統(tǒng)采用基于無中心分布系統(tǒng)的全局重復(fù)數(shù)據(jù)刪除方法,解決了數(shù)據(jù)在分布式云存儲環(huán)境下的全局去重難題,使得百分之九十的重復(fù)數(shù)據(jù)得以刪除,并且元數(shù)據(jù)和數(shù)據(jù)塊可以共同分散存儲,從而節(jié)約大量的存儲成本,并且支持混合云架構(gòu),可以實現(xiàn)無限擴展。解決在去“IOE”政策下,國產(chǎn)數(shù)據(jù)災(zāi)備的問題。目前本云災(zāi)備軟件已與廣州超算中心相結(jié)合,解決了各個政府單位將應(yīng)用遷移以及備份廣州超算中心的難題。
2. 技術(shù)原理及性能指標(biāo)
1)技術(shù)原理
基于分布式環(huán)境下的全局重復(fù)數(shù)據(jù)刪除是業(yè)界公認(rèn)的難題,此中要解決著名的拜占庭錯誤(Byzantine Error),針對此難本公司提供出來 “一種基于無中心分布系統(tǒng)的全局重復(fù)數(shù)據(jù)刪除系統(tǒng)及方法”(專利號:201210232607,由廣州鼎鼎信息科技有限公司發(fā)明)。
分布式系統(tǒng)下的全局重復(fù)數(shù)據(jù)刪除方法,是一種真正跨文件、跨客戶端、跨存儲節(jié)點的全局重復(fù)數(shù)據(jù)刪除方法,該方法旨在全存儲網(wǎng)絡(luò)范圍內(nèi)查找一個給定的數(shù)據(jù)塊,并使其全局范圍內(nèi)保留的數(shù)據(jù)副本數(shù)為R,(R可以被設(shè)定為1、2或3)。
全局重復(fù)數(shù)據(jù)刪除的算法可簡單表述為:
1.采用變長數(shù)據(jù)分塊算法,得到一個數(shù)據(jù)塊chunk
2.用SHA-1算法,生成數(shù)據(jù)塊的摘要,即 sha1(chunk) à key
3.向分布式存儲網(wǎng)絡(luò)發(fā)起 REF(key, i)操作,(i = R, R = 1, 2, 3…)
4.根據(jù)REF操作返回的結(jié)果i,如果i = R,則說明此數(shù)據(jù)塊在全局范圍內(nèi)被成功引用,此時不必再向存儲網(wǎng)絡(luò)發(fā)起PUT寫入操作,重復(fù)數(shù)據(jù)刪除成功。
5.根據(jù)REF操作返回的結(jié)果i,如果i < R,說明引用在全局范圍內(nèi)失敗,還缺少R-i個數(shù)據(jù)副本。正常網(wǎng)絡(luò)情況下,i的值基本只有兩種:0和R。此時操作發(fā)起方再調(diào)用PUT操作向分布式存儲網(wǎng)絡(luò)寫入數(shù)據(jù)塊:PUT(key, R - i), 檢測并寫入新的數(shù)據(jù)塊操作完成。
以下圖示展示了R=3時的全局重復(fù)數(shù)據(jù)刪除過程:
2)性能指標(biāo)
1.實現(xiàn)基于C/S 的集中管理云災(zāi)備系統(tǒng)
2.實現(xiàn)從PC環(huán)境到Windows、Linux平臺的文件、操作系統(tǒng)、數(shù)據(jù)庫、應(yīng)用系統(tǒng)備份/恢復(fù)功能
3.實現(xiàn)本地與異地備份節(jié)點的互備以及故障轉(zhuǎn)移的災(zāi)備功能
4.實現(xiàn)基于源端重復(fù)數(shù)據(jù)刪除備份技術(shù)及R.A.I.N.的云分布式存儲結(jié)構(gòu)
5.界面友好,性能穩(wěn)定,操作簡單。
3. 技術(shù)的創(chuàng)造性與先進性
1).本系統(tǒng)采用了基于無中心分布系統(tǒng)的全局重復(fù)數(shù)據(jù)刪除方法,解決了傳統(tǒng)重復(fù)刪除技術(shù)在重復(fù)數(shù)據(jù)刪除過程中會產(chǎn)生誤判,降低數(shù)據(jù)的重復(fù)刪除效果,導(dǎo)致較多重復(fù)數(shù)據(jù)被漏刪的技術(shù)問題。
2).本系統(tǒng)采用了適用于云存儲系統(tǒng)的元數(shù)據(jù)分布式存儲方法,解決了傳統(tǒng)元數(shù)據(jù)存儲需要專門元數(shù)據(jù)服務(wù)器的問題,通過該方法可以直接把元數(shù)據(jù)的存儲與塊數(shù)據(jù)存儲合并,不僅提高了元數(shù)據(jù)的安全性和可擴展性,也避免了因元數(shù)據(jù)單點失效而導(dǎo)致整個存儲網(wǎng)絡(luò)不能使用的問題。
3).本系統(tǒng)采用了混合云架構(gòu)(客戶機-->本地私有云-->公有云/異地私有云),可實現(xiàn)存儲空間的無限擴展,打破了傳統(tǒng)的公私混合云的的局限性。
4. 技術(shù)的成熟程度,適用范圍和安全性
本公司開發(fā)的MeshVault云存儲管理軟件在行業(yè)市場上已經(jīng)得到了許多單位的認(rèn)可,主要用戶有金發(fā)科技股份有限公司,廣州周立功單片機科技有限公司,廣東省體育局,廣州市工商局,廣州市地稅局,廣州蘿崗信息辦,肇慶藍帶啤酒有限公司,北京互聯(lián)通網(wǎng)絡(luò)科技有限公司廣州分公司等。
5. 應(yīng)用情況及存在的問題
用戶普遍反映該產(chǎn)品重復(fù)數(shù)據(jù)刪除效果非常顯著,可跨平臺運行在Windows/Linux等系統(tǒng)上,其內(nèi)置的異地備份功能能夠?qū)崿F(xiàn)在窄帶寬下異地數(shù)據(jù)傳輸,使得異地備份成為可能,而且能實現(xiàn)對公司所有重要數(shù)據(jù)進行集中式備份管理,公司還需不斷完善軟件UI界面以及操作界面使軟件更加完善。
6. 歷年獲獎情況
無
應(yīng)用前景
主要應(yīng)用行業(yè): | 信息傳輸、軟件和信息技術(shù)服務(wù)業(yè) | 知識產(chǎn)權(quán)形式: | 專利 |
應(yīng)用狀態(tài): | 產(chǎn)業(yè)化應(yīng)用 | 擬轉(zhuǎn)化方式: | 其他 |
單位概況
完成單位: | 廣州鼎鼎信息科技有限公司 | ||||
單位地址: | 廣東省廣州市高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)光譜西路3號研發(fā)樓D303 | ||||
單位電話: | 020-82185902 |
聯(lián)系方式
聯(lián)系人: | 魏孫鼎 | 聯(lián)系人電話: | 020-82185901 | 聯(lián)系人Email: | swei@dingding.me |
微信公眾號
服務(wù)熱線