Rust-projektet uutils tar ännu ett stort steg mot att kunna ersätta GNU Coreutils. Med version 0.10 klarar projektet nu 93,48 procent av GNU testsvit och levererar samtidigt förbättringar inom säkerhet, prestanda, filhantering och stöd för fler plattformar.
Coreutils är en samling grundläggande kommandoradsverktyg som finns i nästan alla Linuxsystem. Kommandon som ls, cp, mv, rm, cat, date och chmod används dagligen av både vanliga användare, systemadministratörer och automatiserade skript.
Traditionellt kommer dessa program från GNU Coreutils och är huvudsakligen skrivna i programmeringsspråket C. Projektet uutils försöker återskapa samma verktyg i Rust – ett modernare programmeringsspråk med ett starkt fokus på minnessäkerhet och robust programvara.
Med version 0.10 har projektet tagit ett stort steg närmare målet att fungera som en direkt ersättare för GNU Coreutils.
Klarar 645 av 690 tester
Enligt projektets senaste testresultat klarar uutils Coreutils nu 645 av de 690 testerna i GNU:s officiella testsvit. Det motsvarar en kompatibilitet på 93,48 procent.
I version 0.9 låg resultatet på 90,58 procent. Antalet underkända tester har samtidigt minskat från 56 till 29.
Att klara testerna är viktigt eftersom även små skillnader mellan två kommandon kan orsaka problem. Ett skript kan exempelvis förvänta sig en viss felkod, ett exakt formaterat felmeddelande eller att ett kommando reagerar på ett särskilt sätt när en fil saknas.
Ju fler GNU-tester uutils klarar, desto större är möjligheten att befintliga Linuxprogram och skript fungerar utan ändringar.
Många välkända kommandon har förbättrats
Version 0.10 innehåller kompatibilitetsförbättringar för ett stort antal vanliga verktyg, däribland:
date, du, head, tail, install, ls, nproc, numfmt, od, pr, stat, sum och truncate.
Även felmeddelandena har blivit tydligare. När ett kommando misslyckas anges nu oftare både namnet på den berörda filen och det ursprungliga felet från operativsystemet.
Det gör det lättare att förstå om problemet exempelvis beror på bristande behörighet, en saknad fil eller ett skrivskyddat filsystem.
Ökad säkerhet vid filhantering
En viktig del av utvecklingsarbetet handlar om att förhindra så kallade TOCTOU-problem, en förkortning av time-of-check to time-of-use.
Problemet kan uppstå när ett program först kontrollerar en fil och därefter utför en åtgärd på den. Under den korta tiden mellan kontrollen och åtgärden kan filen eller sökvägen hinna ändras.
En angripare skulle exempelvis kunna ersätta en vanlig fil med en symbolisk länk och därmed försöka få programmet att skriva till eller ändra fel fil.
I version 0.10 har skyddet mot sådana situationer förbättrats i bland annat:
touch, mkfifo, head, split och chcon.
De rekursiva funktionerna i chmod och chown har också gjorts mer motståndskraftiga mot cirkulära symboliska länkar och försök att kringgå säkerhetsfunktionen --preserve-root.
Den funktionen ska bland annat skydda användaren från katastrofala kommandon som av misstag försöker ändra eller radera hela rotfilsystemet.
Säkrare kopiering och flyttning
Kommandot cp följer inte längre en symbolisk länk om länken pekar på en underkatalog i kopieringens målområde. Detta minskar risken för att programmet kopierar filer till en oväntad plats.
Även mv har fått ytterligare skydd när filer flyttas mellan olika filsystem eller när säkerhetskopior skapas.
Kommandona mkdir, mkfifo och mknod kan dessutom tilldela SELinux-etiketter redan när ett objekt skapas. Tidigare kunde etiketten läggas till i ett separat steg, vilket skapade ett kort tidsfönster där objektet hade fel säkerhetsmärkning.
Bättre hantering av ovanliga fel
Utvecklarna har korrigerat flera problem som framför allt uppstår i extrema eller ovanliga situationer.
Det gäller bland annat:
- skrivfel vid utmatning till enheter som
/dev/full - heltalsöverskridningar vid mycket stora argument
- ogiltiga teckengränser i text med multibyte-kodning
- onödigt stora minnesallokeringar
- stacköverskridningar i kommandot
expr
Enheten /dev/full fungerar ungefär som en hårddisk som alltid är full. Den används ofta för att testa hur ett program reagerar när det inte längre går att skriva data.
Parsern i expr har skrivits om för att arbeta iterativt i stället för rekursivt. Det minskar risken för att mycket djupt nästlade uttryck fyller programmets stack och orsakar en krasch.
Nya funktioner i mv, install och rm
Version 0.10 introducerar även flera nya funktioner.
Kommandot:
mv --exchange
kan användas för att atomiskt byta plats på två sökvägar. Atomiskt innebär att bytet sker som en enda sammanhängande operation. Andra program ska därför inte kunna se ett tillstånd där bara halva bytet har genomförts.
Installationsverktyget install har fått stöd för alternativet:
--reflink
På kompatibla filsystem kan detta skapa en så kallad copy-on-write-kopia. I stället för att omedelbart duplicera alla data kan originalet och kopian tillfälligt dela samma datablock. Nya block skapas först när någon av filerna ändras.
Det kan göra kopieringen både snabbare och mer utrymmeseffektiv.
Alternativet install -C kan nu också kombineras med --preserve-timestamps.
Kommandot rm har fått alternativet:
--one-file-system
Det förhindrar en rekursiv radering från att fortsätta in i andra monterade filsystem. Funktionen kan vara användbar när exempelvis externa diskar, nätverkslagring eller särskilda systemkataloger är monterade under den katalog som ska tas bort.
Kommandot cut har dessutom fått -O som en kortare variant av --output-delimiter.
Snabbare cat, cp och tee
Flera prestandaförbättringar ingår också i versionen.
tee har fått möjlighet att använda en snabb kopieringsmetod med så kallad zero-copy. Det innebär att data i vissa situationer kan flyttas mellan olika delar av systemet utan att först kopieras fram och tillbaka genom programmets eget minne.
Även cat har optimerats för högre datahastighet.
Kopieringar med cp som inte använder reflink ska också gå snabbare. Förbättringarna gäller bland annat kopiering mellan olika lagringsenheter.
Kontrollsummeverktygen kan dessutom använda OpenSSL som beräkningsmotor, vilket kan ge bättre prestanda på system där OpenSSL innehåller väloptimerade implementationer för processorn.
Förbättrat stöd för Windows och WebAssembly
uutils utvecklas inte enbart för traditionella Linuxsystem.
Version 0.10 har fått stöd för målplattformen wasm32-wasip2, vilket gör det möjligt att kompilera verktygen för WebAssembly och köra dem i miljöer som stöder WASI.
På Windows fungerar nu kommandot timeout, och tail -f samt tail -F kan följa filer som uppdateras löpande.
Det kan exempelvis användas för att övervaka en loggfil medan ett program fortfarande skriver till den.
Windowsversionen har även fått stöd för glesa kopior i cp. Glesa filer innehåller områden som logiskt består av nollor men som inte behöver ta upp motsvarande fysiskt lagringsutrymme.
En korrigering har dessutom gjorts för kontrollsummor i samband med konvertering av Windows radslut, så kallade CRLF-radslut.
Rust som alternativ till klassiska Unixverktyg
Målet med uutils är inte att skapa helt nya kommandon, utan att återskapa beteendet hos välkända Unixverktyg med en modern kodbas.
Rust kan förhindra flera vanliga programmeringsfel redan under kompileringen. Det gäller bland annat felaktig minneshantering, användning av frigjort minne och vissa typer av samtidighetsproblem.
Det betyder däremot inte automatiskt att alla program skrivna i Rust är felfria. Logiska fel, kompatibilitetsproblem och säkerhetsbrister kan fortfarande förekomma.
Det höga resultatet i GNU:s testsvit visar ändå att uutils börjar närma sig en nivå där projektet kan bli ett realistiskt alternativ i fler operativsystem och Linuxdistributioner.
Med 93,48 procents godkända tester är full kompatibilitet ännu inte uppnådd. Men version 0.10 visar att avståndet till GNU Coreutils fortsätter att minska.
Version: 0.10
Programmeringsspråk: Rust
Mål: Kompatibel ersättare för GNU Coreutils
GNU-testsvit: 645 av 690 tester godkända
Kompatibilitet: 93,48 %
Föregående version: 90,58 %
Underkända tester: 29
Plattformar: Linux, Unix-liknande system, Windows och WebAssembly
Nytt mål: wasm32-wasip2
Några förbättrade verktyg:
date, du, head, tail, install, ls, nproc, numfmt, od, pr, stat, sum och truncate
Nya funktioner:
mv –exchange
install –reflink
rm –one-file-system
cut -O
Fokus i version 0.10:
Kompatibilitet, TOCTOU-säkerhet, symlink-skydd, förbättrad felhantering, högre prestanda och utökat plattformsstöd.
