• XRAID vill göra Linuxlagring snabbare – och korta vägen tillbaka efter en diskkrasch

    Snabbare skrivningar och kortare återhämtning efter en diskkrasch – det är målet med XRAID, en ny lagringsteknik för Linux som arbetar tillsammans med filsystemet XFS. Tidiga tester visar upp till 20 gånger högre skrivhastighet än med mdraid, men tekniken är fortfarande experimentell.

    Ett nytt lagringsprojekt för Linux kan ge både snabbare skrivningar och effektivare återställning när en hårddisk går sönder. XRAID kombinerar filsystemet XFS med ett nytt sätt att fördela data och skyddsinformation över flera diskar. I utvecklarnas tidiga tester har skrivhastigheten varit upp till 20 gånger högre än med Linux befintliga mdraid – men tekniken är fortfarande experimentell.

    Flera diskar som hjälps åt

    När stora mängder information ska lagras räcker det sällan med att en hårddisk är snabb och rymlig. Informationen måste också gå att komma åt om en disk plötsligt slutar fungera.

    En vanlig lösning är RAID, där flera diskar arbetar tillsammans. Vissa RAID-varianter lagrar identiska kopior av informationen. Andra använder så kallad paritet: extra information som beräknas från innehållet och kan användas för att återskapa data som gått förlorade.

    Man kan förenklat jämföra paritet med en kontrollsumma i ett matematiskt pussel. Om en del saknas går den att räkna fram med hjälp av de återstående delarna och den extra informationen.

    Det ger ett utrymmeseffektivt skydd, men kan göra skrivningar mer komplicerade. Systemet behöver hålla både data och paritet uppdaterade. Hur detta organiseras påverkar såväl prestanda som tillförlitlighet.

    Utvecklat för diskar som skriver i ordning

    Linuxutvecklaren Christoph Hellwig har presenterat den första offentliga versionen av XRAID efter ungefär ett och ett halvt års utveckling.

    Projektet har två huvudsakliga mål: att göra paritetsbaserad RAID användbar på zonindelade lagringsenheter och att kombinera hög prestanda med en konstruktion som undviker dataintegritetsproblem i vissa traditionella RAID-lösningar.

    Zonindelad lagring innebär att lagringsutrymmet delas upp i områden med särskilda skrivregler. I vissa zoner måste information skrivas i följd, i stället för att programmet fritt kan ändra valfria delar.

    Det är bland annat relevant för SMR-hårddiskar, där magnetiska spår delvis överlappar varandra för att öka lagringstätheten. Tekniken gör det möjligt att packa information tätare, men ställer samtidigt högre krav på hur skrivningarna organiseras.

    XRAID är främst utvecklat för sådana miljöer, men fungerar även med vanliga hårddiskar och SSD-enheter.

    Filer och bokföring får olika behandling

    En central del av konstruktionen är kopplingen till filsystemet XFS.

    Ett filsystem hanterar både själva filinnehållet och metadata – den information som håller ordning på exempelvis filernas egenskaper och var innehållet finns lagrat.

    Dessa två typer av information har olika behov. Filinnehåll kan ofta skrivas i större sammanhängande mängder. Metadata består däremot ofta av mindre strukturer som behöver ändras på plats.

    XRAID bygger på XFS zonanpassade allokering och använder filsystemets så kallade realtime-del för att hålla filinnehåll åtskilt från metadata. Paritetsskyddet används för filinnehållet, medan redundans för metadata överlåts åt befintliga Linuxlösningar, exempelvis diskspegling med MD RAID.

    Det är ungefär som att skilja ett biblioteks böcker från dess katalog. Båda behöver skyddas, men de behöver inte lagras och uppdateras på samma sätt.

    Hela diskpoolen hjälper till efter ett fel

    XRAID använder en arkitektur som kallas declustered RAID. Det innebär att data och paritet fördelas över en större diskpool, där varje enskild grupp av sammanhörande datablock bara använder en del av diskarna.

    Även reservutrymmet sprids över poolen. När en disk går sönder kan flera andra enheter därför hjälpa till att återskapa och lagra den saknade informationen.

    Det kan korta återuppbyggnaden jämfört med lösningar där arbetet begränsas till en mindre diskgrupp och en enda reservdisk. En snabbare återuppbyggnad minskar också tiden då lagringen arbetar med försämrad redundans.

    XRAID kan dessutom anpassa ordningen på arbetet. Zoner som har förlorat flera nivåer av redundans prioriteras. Systemet återskapar också datazoner före paritetszoner för att minska det extra arbete som annars krävs när saknade data måste räknas fram vid läsning.

    Upp till 20 gånger snabbare – i tidiga tester

    Enligt Hellwig har XRAID i tidiga mätningar nått upp till 20 gånger högre skrivprestanda än mdraid, trots att optimering för SSD inte har varit ett huvudfokus.

    Det är ett lovande resultat, men siffran ska läsas som ett uppmätt maximum i vissa tester. Den innebär inte att alla lagringssystem eller arbetsuppgifter automatiskt blir 20 gånger snabbare. Utfallet beror bland annat på hårdvara, konfiguration och hur informationen skrivs.

    Den första implementationen stöder noll, ett eller två paritetsblock. Utvecklarna har även experimenterat med SnapRAIDs paritetsbibliotek för att möjliggöra tre eller fler, men det stödet ingår ännu inte.

    Öppet för tester, ännu inte redo för vanlig drift

    Till projektet hör en anpassad version av verktygspaketet xfsprogs, med stöd för att skapa filsystem och ett nytt verktyg som heter xraid. Det används för att hantera enheter och undersöka XRAID-filsystem.

    Visualiseringsverktyget Zonar har också utökats så att det kan visa hur logiska zoner fördelas över de fysiska lagringsenheterna.

    Hellwig betonar att projektet ännu inte är redo att föreslås för införande i Linux huvudkärna. Den offentliga lanseringen ska framför allt ge fler utvecklare möjlighet att granska konstruktionen, testa koden och hitta problem.

    XRAID visar därmed en möjlig riktning för framtidens Linuxlagring: när filsystemets sätt att organisera information och diskarnas arbetssätt utformas tillsammans kan både hastighet och återhämtning efter fel förbättras. Nästa steg är att undersöka hur väl de tidiga resultaten håller när tekniken möter fler maskiner och verkliga arbetsbelastningar.

    Fakta: XRAID för Linux

    • Vad: En ny experimentell RAID-implementation som arbetar tillsammans med filsystemet XFS.
    • Presenterad av: Linuxutvecklaren Christoph Hellwig.
    • Syfte: Ge hög skrivprestanda och stöd för paritetsbaserad RAID på zonindelade lagringsenheter.
    • Lagringsstöd: Zonindelade enheter, exempelvis SMR-hårddiskar, samt vanliga hårddiskar och SSD-enheter.
    • Prestanda: Upp till 20 gånger snabbare skrivningar än mdraid enligt utvecklarnas tidiga tester. Resultatet varierar med hårdvara och arbetsbelastning.
    • Arkitektur: Declustered RAID fördelar data, paritet och reservutrymme över en större diskpool.
    • Återuppbyggnad: Flera enheter kan hjälpas åt efter ett diskfel. Zoner som förlorat flera nivåer av redundans prioriteras.
    • Dataskydd: Paritet används för filinnehåll. Redundans för metadata hanteras separat, exempelvis med MD RAID-spegling.
    • Paritetsstöd: Noll, ett eller två paritetsblock. Stöd för fler planeras.
    • Verktyg: Anpassade xfsprogs, administrationsverktyget xraid och visualisering med Zonar.
    • Status: Avsett för granskning och testning. Ännu inte redo att föreslås för införande i Linux huvudkärna.

Etikett: XRAID

  • XRAID vill göra Linuxlagring snabbare – och korta vägen tillbaka efter en diskkrasch

    Snabbare skrivningar och kortare återhämtning efter en diskkrasch – det är målet med XRAID, en ny lagringsteknik för Linux som arbetar tillsammans med filsystemet XFS. Tidiga tester visar upp till 20 gånger högre skrivhastighet än med mdraid, men tekniken är fortfarande experimentell. Ett nytt lagringsprojekt för Linux kan ge både snabbare skrivningar och effektivare återställning…