• Bcachefs lämnar experimentstadiet – men bör fortfarande användas med eftertanke

    Bcachefs har tagit ett viktigt steg från experimentellt projekt till seriöst alternativ för Linuxlagring. Projektledaren Kent Overstreet meddelar att filsystemet inte längre betraktas som experimentellt, samtidigt som den nya versionen 1.38.6 bjuder på stora prestandaförbättringar, mognare stöd för erasure coding och fortsatt utveckling med Rust. Men trots framstegen bör Bcachefs fortfarande användas med eftertanke när det gäller viktig eller affärskritisk data.

    Filsystem är en av de där tekniska delarna av ett operativsystem som de flesta aldrig tänker på – förrän något går fel. Det är filsystemet som håller reda på var dina filer finns, hur de sparas, hur de skyddas och hur de kan återställas om något händer. Därför är nyheten att Bcachefs inte längre betraktas som experimentellt viktig för Linuxvärlden.

    Bcachefs är ett modernt filsystem för Linux. Det är byggt för att klara sådant som kryptering, komprimering, ögonblicksbilder, datakontroll och avancerad lagring över flera diskar. På många sätt är det tänkt att konkurrera med mer etablerade filsystem som Btrfs och ZFS.

    Projektets huvudutvecklare Kent Overstreet meddelar nu att Bcachefs har passerat en viktig gräns. Enligt honom är filsystemet inte längre experimentellt. Märkningen har redan tagits bort från projektets webbplats, och beskedet kommer i samband med version 1.38.6.

    Det betyder dock inte att alla omedelbart bör flytta sina viktigaste servrar till Bcachefs. Ett filsystem kan vara tekniskt moget utan att det för den skull är självklart i varje produktionsmiljö. När det handlar om lagring av viktig information måste förtroende byggas under lång tid, i många olika typer av datorer, belastningar och felsituationer.

    Vad är Bcachefs?

    Bcachefs började som en vidareutveckling av teknik bakom Bcache, som ursprungligen användes för att kombinera snabba SSD-diskar med långsammare hårddiskar. Med tiden växte det till ett helt eget filsystem.

    Ett modernt filsystem behöver göra mer än att bara spara filer. Det ska helst kunna upptäcka fel, skydda data mot skador, hantera flera diskar, skapa ögonblicksbilder och ibland även kryptera innehållet. Det är just den typen av funktioner Bcachefs försöker samla i ett och samma system.

    Det gör att Bcachefs ofta nämns i samma sammanhang som Btrfs och ZFS. Btrfs finns sedan länge i Linuxkärnan och används bland annat i flera Linuxdistributioner. ZFS är mycket uppskattat för dataintegritet och avancerad lagring, men har en mer komplicerad relation till Linux på grund av licensfrågor.

    Bcachefs vill erbjuda många av samma fördelar, men med en design som passar väl in i Linuxmiljön.

    Inte längre experimentellt

    Kent Overstreet skriver att han tog bort märkningen som experimentellt efter att buggrapporterna blivit färre, mindre allvarliga och lättare att hantera. Det är ett praktiskt sätt att bedöma mognad: inte bara genom funktionslistor, utan genom hur systemet beter sig i verklig användning.

    När utvecklare säger att ett filsystem inte längre är experimentellt betyder det i regel att de anser att det har nått en nivå där det kan användas mer seriöst. Men det är inte samma sak som att säga att det är riskfritt.

    Skillnaden är viktig. Ett experimentellt filsystem hör hemma hos utvecklare, testare och entusiaster som accepterar att saker kan gå fel. Ett icke-experimentellt filsystem kan vara redo för bredare användning, men den som lagrar viktig data måste fortfarande ha säkerhetskopior och förstå riskerna.

    Reconcile – bakgrundsarbetaren som håller ordning

    En av de viktiga nyheterna i den senaste utvecklingen är något som kallas Reconcile.

    Man kan se Reconcile som en sorts intern arbetsledare för filsystemet. Den håller reda på var data finns, var den borde finnas och vad som behöver ändras när inställningar eller diskar förändras.

    Det kan till exempel handla om att data ska flyttas från en disk till en annan, att fler kopior ska skapas, eller att lagringen ska ändras till en mer avancerad modell med så kallad erasure coding. Poängen är att Bcachefs i större utsträckning kan göra sådant arbete i bakgrunden, utan att användaren själv behöver flytta filer manuellt.

    För den som använder flera diskar är detta särskilt intressant. Ett filsystem som själv kan omorganisera data på ett kontrollerat sätt blir mer flexibelt och lättare att administrera.

    Erasure coding – mer effektivt skydd av data

    Även erasure coding räknas nu som en mogenare del av Bcachefs.

    Erasure coding är en teknik för att skydda data mot diskfel utan att behöva lagra fullständiga kopior av allt. I stället delas information upp och kompletteras med extra kontrollinformation. Om en disk går sönder kan datan återskapas med hjälp av den information som finns kvar.

    Tekniken påminner om det som används i RAID5 och RAID6. Bcachefs använder Reed-Solomon-kodning, en välkänd metod inom datalagring och felkorrigering.

    Ett klassiskt problem med RAID5 och RAID6 är det så kallade write hole-problemet. Det kan uppstå om skrivningar avbryts vid fel tillfälle, till exempel vid strömavbrott, så att data och paritetsinformation hamnar i osynk.

    Bcachefs försöker undvika detta genom att inte skriva om befintliga stripes direkt. Nya skrivningar sparas först på ett säkrare sätt och omvandlas sedan till stripes i bakgrunden. Det är en viktig designskillnad som gör att tekniken kan bli mer robust.

    Snabbare prestanda i version 1.38.6

    Version 1.38.6 handlar inte bara om stabilitet. Den innehåller också många prestandaförbättringar.

    Kent Overstreet beskriver hur arbetet med mätningar och profilering ledde till över 200 ändringar i centrala delar av filsystemet. Bland annat har kod för btree-strukturer, journalhantering och transaktioner förbättrats.

    Btree-strukturer används för att hålla reda på stora mängder metadata, alltså information om filerna snarare än själva filinnehållet. Journalen används för att hålla filsystemet konsekvent om något avbryts mitt i en operation.

    Bland förbättringarna finns snabbare hantering av transaktioner, mindre låskonflikter i btree-koden och en ny väg för journalflush som inte behöver lås på samma sätt som tidigare.

    I tester på en kraftfull AMD EPYC 9454-server med 48 kärnor uppges Bcachefs ha nått 16,5 GB/s i dbench på en enkel enhetskonfiguration. XFS nådde 16 GB/s i samma test. Med ytterligare patchar, som ännu inte ingick i versionen, ska Bcachefs ha nått 19 GB/s.

    I fio-tester med slumpmässiga 4K-skrivningar nådde Bcachefs omkring 700 000 IOPS, medan XFS nådde omkring 1 miljon IOPS på samma maskin.

    Det betyder inte att Bcachefs alltid är snabbare än XFS. Prestanda beror mycket på hårdvara, arbetslast och konfiguration. Men resultaten visar att Bcachefs nu kan konkurrera på allvar i vissa scenarier.

    Rust tar plats i projektet

    Ett annat intressant spår är att Bcachefs-projektet arbetar mer med Rust.

    Användarverktygen för Bcachefs har redan skrivits om i Rust. Nästa steg är att lägga till Rust-bindningar till DKMS-modulen. Till en början ska Rust användas för enhetstester och prestandatester, och vara ett frivilligt beroende.

    Det betyder inte att hela filsystemet plötsligt skrivs om i Rust. Men det visar att projektet vill använda moderna verktyg där det är praktiskt. Rust har blivit intressant i systemprogrammering eftersom språket kan minska vissa typer av minnesfel som annars är vanliga i C-program.

    Utanför Linuxkärnan – åtminstone just nu

    Bcachefs har haft en turbulent relation till Linuxkärnan. Efter konflikter mellan Kent Overstreet och Linus Torvalds är Bcachefs inte längre en inbyggd del av Linuxkärnan på samma sätt, utan distribueras som en DKMS-modul från och med Linux 6.18.

    DKMS innebär att en separat kärnmodul kan byggas och installeras för den Linuxkärna som systemet använder. Det ger flexibilitet, men är inte lika smidigt som att stödet finns direkt i kärnan.

    Projektets webbplats anger stöd för Linux 6.16 och senare, och det finns paketeringsinformation för flera distributioner, bland annat Gentoo, Void, NixOS, Arch, Debian, Ubuntu, Fedora och openSUSE.

    För vanliga användare innebär detta att installationen kan vara mer beroende av distributionens paketering och kärnversion. Det är alltså klokt att läsa dokumentationen noggrant innan man använder Bcachefs på en viktig maskin.

    Är Bcachefs stabilt nu?

    Det korta svaret är: stabilare än tidigare, men fortfarande något man bör använda med omdöme.

    Att märkningen “experimentell” är borta är en viktig signal. Det visar att projektet själv anser att Bcachefs har passerat en mognadsgräns. Det betyder att buggarna blivit färre och att de problem som rapporteras inte längre ser lika allvarliga ut som tidigare.

    Men filsystem bedöms inte bara efter vad utvecklarna säger. De bedöms efter år av praktisk användning, efter hur de klarar strömavbrott, trasiga diskar, fulla diskar, konstiga kontrollkort, virtuella maskiner, servrar, skrivbordsdatorer och oväntade fel.

    För testmaskiner, hemlabb, entusiaster och mindre kritiska system kan Bcachefs nu vara mycket intressant. För affärskritiska system eller oersättlig data bör man fortfarande vara försiktig, ha ordentliga säkerhetskopior och testa noggrant innan man byter.

    Ett viktigt steg för framtidens Linuxlagring

    Bcachefs 1.38.6 är mer än en vanlig uppdatering. Det är ett tecken på att projektet börjar lämna pionjärfasen och ta steget mot bredare användning.

    Det kombinerar många av de funktioner som moderna användare förväntar sig: snapshots, komprimering, kryptering, checksummor, avancerad hantering av flera diskar och nu även mognare stöd för erasure coding.

    Samtidigt återstår viktiga frågor. Hur väl fungerar det i stor skala? Hur snabbt byggs förtroende bland systemadministratörer? Kommer Bcachefs att återvända som inbyggt stöd i Linuxkärnan? Och hur kommer distributionerna att hantera paketering och support?

    Det är för tidigt att säga att Bcachefs är det självklara valet för alla. Men det är inte längre bara ett experiment för nyfikna utvecklare. Det har blivit ett seriöst alternativ i Linuxvärlden – och ett filsystem som många nu kommer att följa betydligt närmare.

    https://www.patreon.com/bcachefs/posts/1-38-6-release-161366372

    Faktaruta: Bcachefs

    Bcachefs är ett modernt filsystem för Linux som använder copy-on-write-teknik och är utvecklat för att erbjuda avancerade funktioner för lagring, säkerhet och dataintegritet.

    Filsystemet har stöd för bland annat kryptering, snapshots, komprimering, checksummor och hantering av flera lagringsenheter.

    • Typ: Modernt Linux-filsystem
    • Teknik: Copy-on-write
    • Funktioner: Kryptering, snapshots och komprimering
    • Dataskydd: Checksummor och erasure coding
    • Version: Bcachefs 1.38.6
    • Status: Inte längre experimentellt enligt projektet
    • Användning: Intressant för entusiaster, testmiljöer och avancerad Linuxlagring

    Även om Bcachefs inte längre räknas som experimentellt bör det fortfarande användas med eftertanke på system där viktig eller affärskritisk data lagras.

  • OpenZFS 2.4.3: säkrare lagring och stöd för nyare Linux-kärnor

    OpenZFS 2.4.3 är här med bättre stöd för moderna Linux-kärnor, flera viktiga lagringsfixar och skärpt kontroll av komprimerad data. Uppdateringen riktar sig främst till servrar, NAS-system och andra miljöer där ZFS används för säker och pålitlig lagring.

    OpenZFS 2.4.3 har släppts som en ny underhållsversion av det öppna filsystemet och volymhanteraren ZFS. För den vanliga användaren kan versionsnumret låta ganska odramatiskt, men bakom uppdateringen finns flera viktiga förbättringar som gör lagringen stabilare, säkrare och bättre anpassad för moderna Linux- och FreeBSD-system.

    ZFS är mer än bara ett vanligt filsystem. Det är en hel lagringsplattform som kombinerar filsystem, volymhantering, kontrollsummor, snapshots, komprimering och skydd mot datakorruption. Därför används OpenZFS ofta i servrar, NAS-system, backup-lösningar och andra miljöer där dataintegritet är viktig.

    Stöd för Linux-kärnor upp till 7.0

    En av de viktigaste nyheterna i OpenZFS 2.4.3 är förbättrad kompatibilitet med Linux. Den nya versionen stöder Linux-kärnor från 4.18 upp till 7.0. Det betyder att OpenZFS nu kan användas på både äldre företagsdistributioner och nyare system med färska kärnor.

    Detta är särskilt viktigt eftersom ZFS ligger nära operativsystemets kärna. När Linux förändras måste OpenZFS anpassas för att fortsätta fungera korrekt. För användare som kör rullande distributioner, nyare servermiljöer eller testversioner av kommande Linux-kärnor är detta därför en betydelsefull förbättring.

    Även FreeBSD-användare får fortsatt stöd. OpenZFS 2.4.3 är kompatibelt med FreeBSD 13.3 och senare samt FreeBSD 14.0 och senare.

    Flera viktiga lagringsfixar

    OpenZFS 2.4.3 innehåller ett antal korrigeringar som rör själva lagringshanteringen. Bland annat finns förbättringar kring ZVOL, alltså virtuella blockenheter som kan användas ovanpå ZFS. Sådana används ofta för virtuella maskiner, databaser eller andra system som behöver blocklagring i stället för vanliga filer.

    Uppdateringen rättar också problem vid borttagning av loggenheter, så kallade log vdevs. Dessa används för att snabba upp synkrona skrivningar och är vanliga i mer avancerade lagringssystem.

    En annan viktig rättning gäller ett double-free-problem som kunde uppstå med block som klonats efter DDT-pruning. Det är en teknisk detalj, men i praktiken handlar det om att undvika fel i minneshanteringen när ZFS arbetar med deduplicering och blocktabeller.

    Strängare kontroll av komprimerad data

    ZFS har länge varit känt för sin robusta hantering av data. I OpenZFS 2.4.3 skärps kontrollerna ytterligare för komprimerade block. Systemet kontrollerar nu mer exakt att den uppackade datan får rätt längd när algoritmer som lz4, gzip och zstd används.

    Det här är viktigt eftersom komprimering innebär att data lagras i ett mer kompakt format. Om något blir fel vid lagring, läsning eller uppackning måste filsystemet kunna upptäcka det. Strängare kontroller minskar risken för att felaktig eller skadad data passerar obemärkt.

    OpenZFS 2.4.3 lägger även till fler kontroller av storleksfält, textsträngar och så kallade packed nvlists. Det gör systemet bättre på att upptäcka trasiga eller oväntade datastrukturer.

    Förbättringar för Linux-monteringar

    På Linux-sidan finns flera förbättringar kring hur monteringsalternativ hanteras. Det gäller bland annat read/write-flaggor och hanteringen av alternativet source vid montering.

    För användaren märks detta främst som bättre kompatibilitet och mer förutsägbart beteende när ZFS-dataset monteras. I servermiljöer, där monteringar ofta styrs via skript, systemd-enheter eller automatiska rutiner, kan sådana detaljer vara mycket viktiga.

    Versionen innehåller även fixar för äldre Linux-kärnor, bland annat kring fs_parse-API:t i Linux 5.6, samt en byggfix för aarch64. Det senare är viktigt för ARM-baserade system, till exempel vissa servrar, utvecklingskort och NAS-lösningar.

    Bättre verktyg för felsökning

    OpenZFS 2.4.3 förbättrar även verktygen runt filsystemet. Verktyget zdb kan nu upptäcka BRT- och DDT-läckor under blockgenomgång. Det gör det lättare för utvecklare och administratörer att hitta problem i komplexa lagringspooler.

    Även zarcstat har förbättrats. Verktyget kan nu upptäcka en ansluten L2ARC-enhet även om den ännu inte innehåller någon data. L2ARC används som en extra läscache, ofta på SSD, för att snabba upp åtkomst till ofta använd data.

    Färre störningar vid snapshots och NFS

    Snapshots är en av ZFS mest uppskattade funktioner. De gör det möjligt att frysa ett filsystems tillstånd vid en viss tidpunkt, utan att kopiera allt innehåll direkt. Det används ofta för backup, testmiljöer och snabb återställning.

    I OpenZFS 2.4.3 finns en förbättring som gör att systemet undviker att spola bort orelaterade NFS-exporter när en snapshot avmonteras. Det kan minska störningar i miljöer där ZFS används tillsammans med NFS-delningar.

    Versionen rättar också ett problem i hanteringen av PREVIOUSLY_REDACTED, där det sista blocket i vissa fall kunde tappas. Även detta är en detalj som främst berör avancerade ZFS-funktioner, men det visar att uppdateringen fokuserar på stabilitet och datakorrekthet.

    FreeBSD får också förbättringar

    För FreeBSD innehåller OpenZFS 2.4.3 bland annat stöd för att bygga openzfs.ko med sanitizers. Det är verktyg som hjälper utvecklare att hitta fel i koden, till exempel minnesproblem.

    Dessutom finns fixar för kernel panic och cachehantering. Det gör versionen viktig även för FreeBSD-användare, särskilt i server- och lagringsmiljöer där ZFS är vanligt förekommande.

    En underhållsversion som betyder mer än den låter

    OpenZFS 2.4.3 är inte en version fylld med stora nya funktioner för slutanvändare. Det är i stället en typisk underhållsversion: många små och tekniska förbättringar som tillsammans gör systemet säkrare och mer pålitligt.

    För den som använder ZFS i produktion är sådana uppdateringar ofta mycket viktiga. Lagringssystem ska inte vara spännande i vardagen. De ska bara fungera, skydda data och bete sig förutsägbart även när hårdvara, kärnor och operativsystem förändras.

    Med stöd för Linux-kärnor upp till 7.0, förbättrad hantering av monteringsalternativ, striktare kontroller av komprimerad data och flera viktiga lagringsfixar är OpenZFS 2.4.3 en uppdatering som främst handlar om trygghet. Det är kanske inte den mest spektakulära typen av nyhet, men för den som lagrar viktig data är det precis den sortens uppdatering man vill se.

    https://github.com/openzfs/zfs/releases/tag/zfs-2.4.3

    Faktaruta: OpenZFS 2.4.3

    Typ: Underhållsversion av OpenZFS

    Fokus: Stabilitet, säkerhet, kompatibilitet och förbättrad felsökning

    • Stöd för Linux-kärnor 4.18 till 7.0
    • Kompatibelt med FreeBSD 13.3+ och FreeBSD 14.0+
    • Striktare kontroll av uppackad data för lz4, gzip och zstd
    • Ny kontroll av krypteringsnyckel vid blockkloning i ZVOL
    • Fixar för log vdev-borttagning och double-free efter DDT-pruning
    • Förbättrad hantering av ro/rw-monteringar och source-alternativ på Linux
    • Fix för aarch64-byggfel och bättre kompatibilitet med Linux 5.6 fs_parse
    • zdb kan nu upptäcka BRT- och DDT-läckor
    • zarcstat känner nu igen en ansluten L2ARC-enhet även utan data
    • Minskar störningar genom att undvika att spola bort orelaterade NFS-exporter vid snapshot-avmontering
    • FreeBSD får stöd för att bygga openzfs.ko med sanitizers
  • Blender 5.0 Beta – en ny era för färg och form

    Blender 5.0 är här i betaversion – och det märks att något stort är på gång. Den fria 3D-programvaran får nu stöd för HDR och bred färgrymd, ett nytt system för volymrendering och mängder av förbättringar som gör arbetet snabbare, snyggare och mer realistiskt än någonsin. Med bättre färghantering, nya verktyg för kurvor och animation, samt ett enklare gränssnitt markerar Blender 5.0 början på en ny generation digitalt skapande.

    Det är något speciellt när ett verktyg som redan är älskat av miljontals kreatörer tar ett kliv framåt. Nu har Blender 5.0 nått betastadiet – och det märks direkt att mycket har hänt. Den här versionen handlar inte bara om nya funktioner, utan om att ta hela skapandeupplevelsen till en ny nivå.

    Färger som på riktigt

    För första gången får Blender stöd för HDR och bred färgrymd. Det betyder att färgerna inte längre är begränsade till det vanliga skärmutbudet – ljus blir starkare, skuggor djupare och nyanser mer levande. För den som jobbar med film, ljussättning eller realistisk rendering är skillnaden tydlig.
    På Linux krävs Wayland och att Vulkan är aktiverat för att allt ska fungera fullt ut, men för den som uppfyller kraven väntar en bildupplevelse som känns ny.

    Med stöd för moderna färgstandarder som Rec.2100 och ACES 2.0 samt en ny AgX HDR-visning har Blender blivit mer framtidssäkert än någonsin.

    Mer liv i rörelsen

    En av de mest praktiska nyheterna är verktyget Jump Time by Delta, som låter användaren hoppa framåt eller bakåt i tidslinjen med ett eget intervall. Det är en liten detalj som gör stor skillnad när man arbetar med animationer.

    Kurvverktygen har också fått en rejäl uppdatering. De hanterar nu den nya Curves-objekttypen bättre och kan visas som tredimensionella cylindrar i stället för platta band. Det gör att hår, rep eller trådar ser betydligt mer naturliga ut.

    Och för den som skulpterar människor finns en ny grundmodell – en komplett mänsklig basmesh som kan användas som startpunkt för realistiska figurer och skelett.

    Snabbare, smartare, snyggare

    Bakom kulisserna har mycket också förbättrats. Blender kan nu använda Zstd-komprimering, ett modernt system som sparar plats utan att tappa kvalitet. Den nya algoritmen för volymrendering, baserad på “null scattering”, gör att rök och dimma både ser bättre ut och beräknas snabbare.

    Dessutom har sex nya modifierare baserade på Geometry Nodes tillkommit. Det gör det enklare att bygga upp komplexa former och rörelser på ett procedurmässigt sätt – alltså mer med logik än med manuellt arbete.

    Ett smidigare gränssnitt

    Utvecklarna har också lagt mycket tid på att göra Blender mer behagligt att använda. Man kan nu dra och släppa poster i Shape Keys-listan, snäppa fast sidopaneler, och rensa bort arbetsytor direkt från en ny meny. Även penselinställningarna har fått en uppfräschning, och det går att ställa in färgöverlägg per kamera.

    Temasystemet har genomgått en storstädning. Över 300 inställningar har försvunnit eller slagits ihop, vilket gör det lättare att skapa egna teman som faktiskt går att överblicka. Samtidigt har Blender fått en ny storyboard-mall för att planera animationer mer visuellt.

    En glimt av framtiden

    Att Blender 5.0 nu nått betastadiet betyder att det går att testa – helt gratis, precis som alltid. Men man bör komma ihåg att detta fortfarande är en förhandsversion. Den är inte tänkt för produktion, utan för att användare ska kunna prova, upptäcka fel och ge återkoppling.

    Den färdiga versionen väntas släppas den 5 november 2025. Då kan det mycket väl vara den största Blender-versionen hittills – en som förenar konst, teknik och kreativitet i ett verktyg som fortsätter växa tillsammans med sin community.

    https://builder.blender.org/download/daily

    Blender 5.0 – Tekniska fakta

    Utvecklare: Blender Foundation

    Licens: GNU General Public License (GPLv3)

    Programspråk: C, C++, Python

    Grafik-API: Vulkan (ny standard), OpenGL (äldre stöd)

    Operativsystem: Linux, Windows, macOS

    Ny färghantering: Rec.2100-PQ, Rec.2100-HLG, ACES 1.3/2.0, AgX HDR

    Rendering: Cycles, Eevee Next (real-time), Workbench

    Volymrendering: Null Scattering-algoritm (ny i 5.0)

    Filkomprimering: Zstd (Zstandard) – snabb förlustfri komprimering

    Geometrinoder: 6 nya Geometry Nodes-baserade modifierare

    Filformat: .blend, Alembic, USD, FBX, OBJ, STL, GLTF/GLB, Collada m.fl.

    Video & ljud: Inbyggd videoeditor, stöd för FFmpeg, MP4, AVI, MOV, WAV

    Renderfarmstöd: Blender Cloud / Flamenco

    Systemkrav (rekommenderat): 16 GB RAM, GPU med 4+ GB VRAM, 64-bitars CPU

    HDR-stöd på Linux: Kräver Wayland och Vulkan-backend

    Releaseplan: Slutlig version 5 november 2025

  • DuckDB 1.4 LTS – säkerhet, prestanda och nya funktioner för framtidens databas

    DuckDB, databasen som ofta kallas ”SQLite för analys”, har släppt version 1.4 – en långsiktigt stödd utgåva full med nyheter. Med inbyggd kryptering, stöd för MERGE-kommandot, skrivning till Iceberg och förbättrad prestanda tar DuckDB ännu ett kliv mot att bli en av de mest flexibla och kraftfulla analysdatabaserna på marknaden.

    DuckDB, den lilla men kraftfulla databasen som ofta beskrivs som ”SQLite för analys”, har nått en viktig milstolpe. Med version 1.4, kodnamn Andium, släpps nu en LTS-utgåva (Long-Term Support) med ett års garanterat community-stöd. Den här versionen är fullmatad med nyheter som gör databasen både säkrare och snabbare, samtidigt som den blir mer flexibel att använda.

    Kryptering på riktigt

    En av de största nyheterna är att DuckDB nu kan kryptera hela databasen med AES-256 i det säkra GCM-läget. Det innebär att inte bara själva databasen, utan även loggfiler och temporära filer skyddas. Krypteringsnyckeln anges enkelt via en parameter när databasen kopplas in. För den som använder OpenSSL kan man dessutom dra nytta av hårdvaruacceleration, vilket gör krypteringen riktigt snabb.

    MERGE INTO – smartare uppdateringar

    Fram till nu har DuckDB-användare varit hänvisade till tricket INSERT INTO … ON CONFLICT för att hantera uppdateringar och konflikter. Med version 1.4 får vi istället det betydligt mer flexibla kommandot MERGE INTO, som gör det möjligt att kombinera insättningar, uppdateringar och raderingar i ett och samma kommando – perfekt för avancerade dataströmmar.

    Iceberg-stöd på nästa nivå

    DuckDB har länge kunnat läsa från Apache Iceberg, det populära lagringsformatet för storskaliga dataset. Men nu kan databasen även skriva data till Iceberg. Det öppnar för helt nya arbetsflöden där man kan flytta data mellan DuckDB, DuckLake och Iceberg. Dock krävs att schemat redan är skapat på Iceberg-sidan.

    Små detaljer som gör stor skillnad

    Version 1.4 innehåller också flera förbättringar som gör vardagen enklare:

    • En förloppsindikator i terminalen med uppskattad tid (ETA).
    • En ny FILL-funktion som fyller i saknade värden i dataserier.
    • En Teradata-anslutning för bättre integration med befintliga system.

    Prestanda i fokus

    Prestanda har alltid varit DuckDB:s styrka, och här fortsätter förbättringarna:

    • Sortering använder nu en modern k-way merge-metod.
    • CTE:er (Common Table Expressions) materialiseras automatiskt för att snabba upp beräkningar.
    • Minnestabeller har fått stöd för checkpointing, med möjlighet till komprimering.

    Distribution och ekosystem

    Slutligen har utvecklarna även putsat på distributionen:

    • Binärerna för macOS är nu notariserade.
    • Python-stödet har flyttat till sitt eget repository, duckdb/duckdb-python, för smidigare utveckling.

    DuckDB 1.4 visar att projektet inte bara växer i popularitet, utan också mognar som plattform. Med inbyggd kryptering, modernare SQL-stöd och förbättrad prestanda stärker DuckDB sin position som det självklara valet för analys – oavsett om du jobbar på din laptop eller i stora datacentermiljöer.

    DuckDB – Fakta & användning

    Typ: In-process, kolumnorienterad SQL-databas för analys (OLAP).
    Distribution: Inbäddad i processen – ingen separat server krävs.
    Plattformar: Linux, macOS, Windows; fungerar i Python, R, C/C++, Java (JDBC), ODBC m.fl.
    Filformat: Eget .duckdb on-disk-format + direktläsning av Parquet/CSV/JSON/Arrow.
    Lagring: Kolumnlagring med komprimering (t.ex. dictionary, bitpackning, RLE) och statistik/zonkartor.
    Transaktioner: ACID med WAL; snapshot isolation; flertrådad, vektoriserad exekvering.
    Index: Inga användarhanterade B-träd; förlitar sig på kolumnstatistik/zonkartor och adaptiva tekniker.
    Skalning: Optimerad för enmaskin/enkelt deployment; out-of-core för stora dataset (strömmande/externa filer).
    Kryptering: AES-256-GCM för databas/WAL/temp (från 1.4; nyckel via ENCRYPTION_KEY vid ATTACH).
    SQL-stöd: ANSI-nära dialekt med CTE/rekursiva CTE, fönsterfunktioner, MERGE INTO, ON CONFLICT, typerna STRUCT/LIST/MAP, omfattande JSON-funktioner.
    Extensions (urval): Parquet/JSON, httpfs (fjärrfiler), Arrow-integration, Iceberg-läs/skriv (via duckdb-iceberg), m.fl.
    Prestanda: Vektoriserad motor, parallellisering inom fråga, omskriven k-vägs mergesort, materialiserade CTE:er som standard.
    CLI/verktyg: Interaktiv duckdb-CLI (med progressbar/ETA), inbyggd COPY/IMPORT/EXPORT till Parquet/CSV.
    Integrationer: Pandas/Polars/Arrow i Python, dplyr/dbplyr i R, BI-verktyg via ODBC/JDBC.


    Vad används DuckDB till?
    • Interaktiv analys (OLAP) direkt i laptops/notebooks utan databasserver.
    • Snabb SQL över datafiler (Parquet/CSV/JSON) – lokalt eller över httpfs.
    • ETL/ELT-steg i pipeline: läsa, transformera och skriva Parquet/Iceberg.
    • Prototyping/experiment i Python/R – kör SQL nära dataframes/Arrow-tabeller.
    • Inbäddade applikationer som behöver kolumnlagrad analysdatabas i processen.
    • Datakvalitet, ad-hoc-frågor, testning av SQL-logik innan produktion.
    Typiska styrkor
    • Zero-install/zero-server: enkel att paketera och distribuera.
    • Hög hastighet på kolumnära, analytiska frågor; effektiv komprimering.
    • Direkt arbetsflöde med datafiler (ingen import nödvändig).
    • Stark integration med dataekosystemet (Arrow, Pandas, Parquet, Iceberg).
    Begränsningar att känna till
    • Inte en fleranvändarserver som PostgreSQL; bäst i enprocess-/enmaskinsscenarier.
    • Inga manuella B-trädindex; arbetsset och filstatistik är nyckeln till prestanda.
  • AV2 – nästa generations öppna videokodek från AOMedia

    AV2 är den nya öppna videokodeken från Alliance for Open Media som lanseras i slutet av 2025. Med avsevärt bättre kompression, stöd för AR/VR och fokus på både låg bandbredd och högsta bildkvalitet, är AV2 tänkt att bli nästa stora standard för video på webben – helt fri från licensavgifter.

    En videokodek som AV2 är en teknik för att komprimera och avkoda video så att den kan överföras och lagras mer effektivt. Den ser till att filmer, direktsändningar och interaktiva medier tar mindre plats utan att tumma på kvaliteten, vilket är avgörande för allt från streamingtjänster till videomöten och framtida AR/VR-upplevelser.

    AV2 bygger vidare på grunden som AV1 lade 2018, men erbjuder ännu bättre kompressionseffektivitet. Det innebär att videor kan strömmas i högre kvalitet med lägre bandbredd, något som gynnar både användare med begränsade internetanslutningar och de som vill ha förstklassig bildskärpa.

    Utöver traditionell videostreaming är AV2 särskilt anpassad för nya användningsområden. Den ger förbättrat stöd för AR och VR, hanterar skärminspelningar och presentationer mer effektivt, samt möjliggör flerprogramsströmning, till exempel delad skärm eller flera videoströmmar samtidigt.

    En viktig poäng är att AV2, precis som AV1, kommer att vara en royaltyfri och öppen standard. Till skillnad från proprietära alternativ som HEVC/H.265, där licensavgifter och komplexa regler bromsat spridningen, kan AV2 användas fritt av både företag och öppna projekt.

    För att underlätta spridningen kommer AOMedia även att tillhandahålla en referensimplementation med öppen källkod. Det gör att både stora aktörer inom streamingbranschen och mindre utvecklargrupper kan börja använda tekniken direkt.

    https://linuxiac.com/next-gen-av2-video-codec-announced-by-aomedia

    Fakta: AV2 (AOMedia Video 2)

    Standard:
    Öppen, royaltyfri videokodek från Alliance for Open Media (AOMedia)
    Status:
    Planerad lansering/spec-släpp slutet av 2025
    Efterträdare till:
    AV1 (2018)
    Licens:
    Royaltyfri, öppen standard + referensimplementation med öppen källkod
    Mål:
    Högre kompressionseffektivitet, bredare kvalitetsomfång, modernare arbetslaster

    Nyckelkapabiliteter

    • Effektivare kompression → högre visuell kvalitet vid lägre bitrate jämfört med AV1.
    • AR/VR & immersivt → förbättrat stöd för höga upplösningar, höga bildfrekvenser och sfäriskt/rumsligt innehåll.
    • Skärminnehåll → bättre hantering av presentationsvideo, UI/desktop-delning och skarpa kanter/text.
    • Multi-program/”split-screen” → effektiv samtidig leverans av flera bildrutor/strömmar.
    • Brett kvalitetsregister → från låg bandbredd på mobil till premium-UHD/HDR-scenarier.

    Teknisk översikt (”hur det funkar”)

    • Kodektyp: hybrid blockbaserad videokodning (intra/inter-prediktion, transform, kvantisering, entropikodning). • Förväntade förbättringsområden vs. AV1: mer adaptiva block/partitioner, förbättrad rörelsekompensation, skärminnehållsverktyg, och moderniserade in-loop-filter. (Detaljer publiceras i specifikationen.) • Ekosystem: öppet referensgenomförande (likt SVT-AV1 för AV1) för att möjliggöra både kommersiella och community-kodare/avkodare.

    Användningsfall

    Streaming/OTT:
    4K/8K, hög framerate, adaptiv bitrate, lägre CDN-kostnad
    Konferens:
    Skärmdelning, presentationsvideo, låga bitrater
    AR/VR/XR:
    Hög upplösning + låg latens för immersiva upplevelser
    Molnspel:
    Stabil kvalitet under varierande nät

    Kompatibilitet & implementering

    • Öppen specifikation → underlättar hårdvaruacceleration i CPU/GPU/SoC och snabbare webbläsarstöd.
    • Referenskod → jämförelsemått och interoperabilitetstester för branschen.
    • ! Tidig fas → faktiska procentvinster, profiler och nivåer bekräftas i slutlig spec/driftsättning.

    Snabbjämförelse (målbild)

    AV1 → etablerad, brett stöd i webbläsare/hårdvara. AV2 → nästa steg med högre effektivitet, bättre AR/VR & skärminnehåll, bibehållet ”royaltyfritt”-löfte.

    Obs: AOMedias officiella material bekräftar lanseringsfönster och fokusområden; tekniska finverktyg och siffror publiceras i samband med specifikationen och referensimplementationen.

  • Bcachefs flyttar ut ur Linuxkärnan – blir DKMS-modul

    Linux-filsystemet Bcachefs hamnar åter i rampljuset. Efter att ha plockats bort från den kommande Linuxkärnan 6.17 flyttar filsystemet nu ut från kärnan och över till DKMS-moduler. För användare innebär förändringen stabilitet även vid uppdateringar, men för distributionerna väntar ett omfattande arbete med paketering och integration.

    Bcachefs – dramat fortsätter i Linux-kärnans egen såpopera.

    Det kontroversiella Linux-filsystemet Bcachefs tar ett nytt kliv i sin utveckling. Efter en infekterad konflikt mellan projektets skapare Kent Overstreet och Linus Torvalds har stödet för filsystemet plockats bort från den kommande Linuxkärnan 6.17. Nu meddelar Overstreet att Bcachefs i stället kommer att distribueras via DKMS – ett system som automatiskt ser till att externa kärnmoduler fortsätter fungera vid uppdateringar.

    Från kärnan till DKMS

    För användare betyder detta att Bcachefs inte längre följer med kärnan direkt. I stället byggs modulen om automatiskt med varje ny kärnversion, på samma sätt som exempelvis NVIDIA-drivrutiner, VirtualBox och ZFS. Det gör att filsystemet fortsätter fungera smidigt, utan att användarna behöver kompilera om något själva.

    I praktiken kommer de flesta inte märka någon större skillnad – DKMS-moduler kan inkluderas i initramfs på samma sätt som kärnmoduler, vilket gör att systemet startar som vanligt även om rotfilsystemet ligger på Bcachefs.

    Nya krav på distributionerna

    För distributionerna blir övergången desto mer betydelsefull. Paketflöden måste anpassas och testas för att säkerställa att allt fungerar vid uppdateringar.

    • Fedora har redan ett paket för Bcachefs-verktygen och väntas ligga relativt bra till.
    • openSUSE, som snabbt tog bort stödet i sin kommande 6.17-kärna, behöver nu lägga extra arbete på att integrera DKMS.
    • Debian har haft ett mer komplicerat förhållande – verktygspaketet blev övergivet och raderades, men är på väg tillbaka i experimental-grenen.
    • Arch Linux och NixOS samarbetar nära med upstream och har bidragit till att förbättra DKMS-stödet.

    En särskild utmaning är bcachefs-tools, användarverktygen som hittills inte varit lika kritiska eftersom kärnan själv stått för reservfunktioner. Med övergången till DKMS måste distributionerna vara betydligt mer aktiva med underhåll och uppdateringar.

    Stabilitet före allt

    Trots turbulensen betonar Overstreet att stabilitet och kvalitetssäkring står i centrum. Version 6.16 beskrivs som en solid utgåva – inga nya kritiska buggar har dykt upp, och de senaste fixarna har mest handlat om prestanda och testmiljöer snarare än användarproblem.

    Han efterlyser samtidigt fler testare och paketerare som kan bidra till att finslipa den nya modellen. Utvecklingen har varit intensiv, men nu när de värsta buggarna är avklarade finns mer utrymme att fokusera på distributionerna.

    Vad betyder det för användarna?

    För vanliga användare är beskedet lugnande: de flesta kommer att fortsätta köra version 6.16 även när Linux 6.17 når ut, vilket ger distributionerna tid att anpassa sig. På längre sikt förväntas DKMS göra Bcachefs mer flexibelt och lättare att underhålla över olika kärnor.

    Ett filsystem med potential

    Bakom allt drama finns ett filsystem med stora ambitioner. Bcachefs kombinerar prestanda och funktioner från moderna copy-on-write-filsystem som Btrfs och ZFS, men med enkelheten och hastigheten hos klassiker som ext4 och XFS.

    Att det nu försvinner ur standardkärnan uppfattas därför av många som en förlust för Linux-ekosystemet. Men hoppet lever kvar om att Overstreet och Torvalds en dag kan hitta tillbaka till ett samarbete – och att Bcachefs då får en självklar plats i kärnan igen.

    https://linuxiac.com/bcachefs-transitioning-to-dkms-packaging

Etikett: komprimering

  • Bcachefs lämnar experimentstadiet – men bör fortfarande användas med eftertanke

    Bcachefs har tagit ett viktigt steg från experimentellt projekt till seriöst alternativ för Linuxlagring. Projektledaren Kent Overstreet meddelar att filsystemet inte längre betraktas som experimentellt, samtidigt som den nya versionen 1.38.6 bjuder på stora prestandaförbättringar, mognare stöd för erasure coding och fortsatt utveckling med Rust. Men trots framstegen bör Bcachefs fortfarande användas med eftertanke när…

  • OpenZFS 2.4.3: säkrare lagring och stöd för nyare Linux-kärnor

    OpenZFS 2.4.3 är här med bättre stöd för moderna Linux-kärnor, flera viktiga lagringsfixar och skärpt kontroll av komprimerad data. Uppdateringen riktar sig främst till servrar, NAS-system och andra miljöer där ZFS används för säker och pålitlig lagring. OpenZFS 2.4.3 har släppts som en ny underhållsversion av det öppna filsystemet och volymhanteraren ZFS. För den vanliga…

  • Blender 5.0 Beta – en ny era för färg och form

    Blender 5.0 är här i betaversion – och det märks att något stort är på gång. Den fria 3D-programvaran får nu stöd för HDR och bred färgrymd, ett nytt system för volymrendering och mängder av förbättringar som gör arbetet snabbare, snyggare och mer realistiskt än någonsin. Med bättre färghantering, nya verktyg för kurvor och animation,…

  • DuckDB 1.4 LTS – säkerhet, prestanda och nya funktioner för framtidens databas

    DuckDB, databasen som ofta kallas ”SQLite för analys”, har släppt version 1.4 – en långsiktigt stödd utgåva full med nyheter. Med inbyggd kryptering, stöd för MERGE-kommandot, skrivning till Iceberg och förbättrad prestanda tar DuckDB ännu ett kliv mot att bli en av de mest flexibla och kraftfulla analysdatabaserna på marknaden. DuckDB, den lilla men kraftfulla…

  • AV2 – nästa generations öppna videokodek från AOMedia

    AV2 är den nya öppna videokodeken från Alliance for Open Media som lanseras i slutet av 2025. Med avsevärt bättre kompression, stöd för AR/VR och fokus på både låg bandbredd och högsta bildkvalitet, är AV2 tänkt att bli nästa stora standard för video på webben – helt fri från licensavgifter. En videokodek som AV2 är…

  • Bcachefs flyttar ut ur Linuxkärnan – blir DKMS-modul

    Linux-filsystemet Bcachefs hamnar åter i rampljuset. Efter att ha plockats bort från den kommande Linuxkärnan 6.17 flyttar filsystemet nu ut från kärnan och över till DKMS-moduler. För användare innebär förändringen stabilitet även vid uppdateringar, men för distributionerna väntar ett omfattande arbete med paketering och integration. Det kontroversiella Linux-filsystemet Bcachefs tar ett nytt kliv i sin…