3.2數(shù)據(jù)分級方法的性能

    本文通過在Tri-Right系統(tǒng)上進行trace驅動的實驗，評價了AutoMig的性能，實驗中使用的文件訪問trace是由加州大學伯克利分校的Roseli等人采集的research trace。

    為了創(chuàng)建分級存儲系統(tǒng)中真實的數(shù)據(jù)分布狀態(tài)，在播放訪問trace的同時，模擬重演了30天的文件遷移行為，不管trace中的訪問間隔，記錄文件遷移狀態(tài)而不進行真正的數(shù)據(jù)操作，得到最終的系統(tǒng)狀態(tài)，包括文件大小、文件位置、LRU隊列信息和訪問情況統(tǒng)計等，然后，在Tri-Right系統(tǒng)中將模擬得到的系統(tǒng)狀態(tài)恢復過來，這樣，既得到了實驗所需的初始狀態(tài)，又避免了真實系統(tǒng)上長期播放trace所需的大量時間。

    在Tri-Right系統(tǒng)上播放research trace中第31天前12 h的訪問記錄，高速存儲設備容量取值為1 GB.元數(shù)據(jù)服務器軟件分別采用LRU，GreedyDualSize和AutoMig 3種數(shù)據(jù)分級策略，前面兩種數(shù)據(jù)分級策略數(shù)據(jù)升級評價都是采用on-demand方式，有訪問就升級遷移；數(shù)據(jù)降級評價分別采用LRU和GreedyDualSize算法進行替換。

    圖3給出了使用3種不同數(shù)據(jù)分級策略下前臺I/O的平均響應時間的變化情況，橫坐標為trace搖放時間，對應縱坐標表示從O到該時間點范圍內(nèi)的平均I/O響應時間，可以看出，在幾乎全部實驗過程中，AutoMig的平均I/O響應時間明顯低于使用其他兩種策略時的平均I/O響應時間，結果表明：與LRU和GreedyDualSize相比，AutoMig的平均I/O響應時間分別下降了10. 11%和39. 39%。

圖3 不同數(shù)據(jù)分級策略下的響應時間對比

    AutoMig響應時間更短的原因在于AutoMig遷移更少的數(shù)據(jù)量，圖4對比了3種數(shù)據(jù)分級策略的數(shù)據(jù)遷移總量，在使用AutoMig策略時，數(shù)據(jù)遷移量比LRU和GreedyDuaISize分別減少了70. 71%和90, 47%。

圖4 不同數(shù)據(jù)分級策略下的數(shù)據(jù)遷移量對比

    3.3 關聯(lián)文件挖掘的效果

    這一組實驗使用的文件訪問trace是伯克利的instruction trace.把長的訪問trace切割成序列數(shù)據(jù)庫，使用的切割長度為100-實驗中，最小支持度和最小可信度都取不同的值。

    AutoMig首先要得到頻繁閉合序列，在得到頻繁閉合序列后，需要進一步生成無冗余的強關聯(lián)規(guī)則，實驗中，我門針對0. 3,0. 4,0.5三種不同的最小支持度選取頻繁閉合序列，最小可信度閾值都取值為85%，圖5給出了AutoMig生成的無冗余的強關聯(lián)規(guī)則個數(shù)，并分別給出了“1-規(guī)則”和“2-規(guī)則”的數(shù)目，可以看出，從文件訪問trace中能夠得到大量關聯(lián)規(guī)則，另外，“2-規(guī)則”的數(shù)目相當可觀，已有的文件預取方法忽略掉文件之間的3者關系，確實丟掉了一些寶貴的文件預取機會。

圖5 生成的無冗余的強關聯(lián)規(guī)則

    下面測試最小可信度取值對所生成的關聯(lián)規(guī)則的數(shù)目的影響，最小支持度閾值固定為0.5，將最小可信度閾值從75%改變到90%，圖6給出了最小可信度取值不同時生成的關聯(lián)規(guī)則的數(shù)目，可以看出，隨著最小可信度閾值的增加，所生成的關聯(lián)規(guī)則明顯減少，當最小可信度閾值取為90%時，關聯(lián)規(guī)則數(shù)目為698，在最小可信度閾值從75%變化到90%的過程中，關聯(lián)規(guī)則數(shù)目都較大。

圖6 最小可信度取值對生成關聯(lián)規(guī)則的影響

    3.4 速率控制的效果

    評價AutoMig的速率控制效果包括微觀測試和宏觀測試2部分，首先是從微觀上觀察AutoMig在負載變化時是如何控制數(shù)據(jù)遷移速率的，播放伯克利的research trace的同時，在Tri-Right系統(tǒng)內(nèi)部記錄負載變化情況，以及相應的數(shù)據(jù)遷移速率，實驗中系統(tǒng)參數(shù)取值為W=100 IOPS.圖7給出了前臺I/O負載密集程度和數(shù)據(jù)遷移速率的對應關系，隨著負載的波動，遷移速率相應地動態(tài)變化，速率變化的拐點都是受當前負載狀態(tài)反饋的影響，同時，遷移速率并不完全隨著負載抖動而抖動，而是反映負載變化的整體趨勢。

圖7 遷移速率隨負載的變化

    宏觀測試是對比在完成同樣的遷移任務時，使用和不使用AutoMig遷移速率控制下前臺I/O響應時間，實驗中遷移20個大小為512 MB的文件，使用并行文件系統(tǒng)性能測試工具IOR來生成前臺I/O負載，并收集I/O延遲，每次測試包括兩輪循環(huán)，每輪循環(huán)都包括文件打開、讀寫、關閉等操作。

    圖8給出了有無AutoMig速率控制的前臺I/O響應時間對比，其中，read0，write0分別表示第1輪循環(huán)中的讀、寫請求的平均響應時間；readl,writel分別表示第2輪循環(huán)中的讀、寫請求的平均響應時間，對比有無AutoMig速率控制2種情況：第1輪循環(huán)中的寫請求，AutoMig速率控制降低了前臺I／O響應時間47．84％；第1輪循環(huán)中的讀請求，AutoMig速率控制降低了前臺I／O響應時間13．03％。第2輪循環(huán)中的寫請求降低了前臺I／O響應時間29．98％；第2輪循環(huán)中的讀請求降低了前臺I／O響應時間40．47％。

圖8 有無AutoMig速率控制的前臺I/O響應時間對比。

4 結論

    本文提出了分級存儲系統(tǒng)中一種數(shù)據(jù)自動遷移方法AutoMig.數(shù)據(jù)動態(tài)分級策略綜合考慮了文件訪問歷史、文件大小、設備的空間利用情況，在大幅降低數(shù)據(jù)遷移量的同時，提供更高的I/O性能，使用數(shù)據(jù)挖掘技術來有效識別系統(tǒng)中的文件關聯(lián)性，預取被訪問文件的關聯(lián)文件可以降低對這些文件的訪問延遲，數(shù)據(jù)遷移的速率控制，在前臺I/O性能影響和數(shù)據(jù)遷移完成期限之間尋找合理的權衡。AutoMig方法已用于分級存儲系統(tǒng)中，實驗結果表明AutoMig有效縮短了前臺I/O響應時間。

核心關注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理，全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域，是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。

轉載請注明出處：拓步ERP資訊網(wǎng)http://m.nttd-wave.com.cn/

本文標題：分級存儲系統(tǒng)中一種數(shù)據(jù)自動遷移方法(下)

本文網(wǎng)址：http://m.nttd-wave.com.cn/html/support/1112156921.html