具有重復數據刪除的云災備系統
成果概況
成果類別: | 應用技術 | 體現形式: | 新產品 | 課題來源: | 地方計劃 |
起止時間: | 2014.06 至2015.05 | 研究形式: | 獨立研究 | 所處階段: | 初期階段 |
成果屬性: | 原始性創新 |
成果簡介
1.課題來源與背景
針對目前在分布式存儲的現狀,本項目研發的系統采用基于無中心分布系統的全局重復數據刪除方法,解決了數據在分布式云存儲環境下的全局去重難題,使得百分之九十的重復數據得以刪除,并且元數據和數據塊可以共同分散存儲,從而節約大量的存儲成本,并且支持混合云架構,可以實現無限擴展。解決在去“IOE”政策下,國產數據災備的問題。目前本云災備軟件已與廣州超算中心相結合,解決了各個政府單位將應用遷移以及備份廣州超算中心的難題。
2. 技術原理及性能指標
1)技術原理
基于分布式環境下的全局重復數據刪除是業界公認的難題,此中要解決著名的拜占庭錯誤(Byzantine Error),針對此難本公司提供出來 “一種基于無中心分布系統的全局重復數據刪除系統及方法”(專利號:201210232607,由廣州鼎鼎信息科技有限公司發明)。
分布式系統下的全局重復數據刪除方法,是一種真正跨文件、跨客戶端、跨存儲節點的全局重復數據刪除方法,該方法旨在全存儲網絡范圍內查找一個給定的數據塊,并使其全局范圍內保留的數據副本數為R,(R可以被設定為1、2或3)。
全局重復數據刪除的算法可簡單表述為:
1.采用變長數據分塊算法,得到一個數據塊chunk
2.用SHA-1算法,生成數據塊的摘要,即 sha1(chunk) à key
3.向分布式存儲網絡發起 REF(key,i)操作,(i = R,R = 1,2,3…)
4.根據REF操作返回的結果i,如果i = R,則說明此數據塊在全局范圍內被成功引用,此時不必再向存儲網絡發起PUT寫入操作,重復數據刪除成功。
5.根據REF操作返回的結果i,如果i < R,說明引用在全局范圍內失敗,還缺少R-i個數據副本。正常網絡情況下,i的值基本只有兩種:0和R。此時操作發起方再調用PUT操作向分布式存儲網絡寫入數據塊:PUT(key,R - i),檢測并寫入新的數據塊操作完成。
以下圖示展示了R=3時的全局重復數據刪除過程:
2)性能指標
1.實現基于C/S 的集中管理云災備系統
2.實現從PC環境到Windows、Linux平臺的文件、操作系統、數據庫、應用系統備份/恢復功能
3.實現本地與異地備份節點的互備以及故障轉移的災備功能
4.實現基于源端重復數據刪除備份技術及R.A.I.N.的云分布式存儲結構
5.界面友好,性能穩定,操作簡單。
3. 技術的創造性與先進性
1).本系統采用了基于無中心分布系統的全局重復數據刪除方法,解決了傳統重復刪除技術在重復數據刪除過程中會產生誤判,降低數據的重復刪除效果,導致較多重復數據被漏刪的技術問題。
2).本系統采用了適用于云存儲系統的元數據分布式存儲方法,解決了傳統元數據存儲需要專門元數據服務器的問題,通過該方法可以直接把元數據的存儲與塊數據存儲合并,不僅提高了元數據的安全性和可擴展性,也避免了因元數據單點失效而導致整個存儲網絡不能使用的問題。
3).本系統采用了混合云架構(客戶機—>本地私有云—>公有云/異地私有云),可實現存儲空間的無限擴展,打破了傳統的公私混合云的的局限性。
4. 技術的成熟程度,適用范圍和安全性
本公司開發的MeshVault云存儲管理軟件在行業市場上已經得到了許多單位的認可,主要用戶有金發科技股份有限公司,廣州周立功單片機科技有限公司,廣東省體育局,廣州市工商局,廣州市地稅局,廣州蘿崗信息辦,肇慶藍帶啤酒有限公司,北京互聯通網絡科技有限公司廣州分公司等。
5. 應用情況及存在的問題
用戶普遍反映該產品重復數據刪除效果非常顯著,可跨平臺運行在Windows/Linux等系統上,其內置的異地備份功能能夠實現在窄帶寬下異地數據傳輸,使得異地備份成為可能,而且能實現對公司所有重要數據進行集中式備份管理,公司還需不斷完善軟件UI界面以及操作界面使軟件更加完善。
6. 歷年獲獎情況
無
應用前景
主要應用行業: | 信息傳輸、軟件和信息技術服務業 | 知識產權形式: | 專利 |
應用狀態: | 產業化應用 | 擬轉化方式: | 其他 |
單位概況
完成單位: | 廣州鼎鼎信息科技有限公司 | ||||
單位地址: | 廣東省廣州市高新技術產業開發區光譜西路3號研發樓D303 | ||||
單位電話: | 020-82185902 |
聯系方式
聯系人: | 魏孫鼎 | 聯系人電話: | 020-82185901 | 聯系人Email: | swei@dingding.me |
微信公眾號
服務熱線