Proč na rozdílu záleží
Když firma přeroste reporty postavené přímo nad ERP a excelovými soubory, potřebuje místo, kde data z různých systémů spojí, vyčistí a uloží pro analýzu. Nabízejí se tři pojmy: datový sklad, data lake a lakehouse. Dodavatelé je používají různě, a tak není divu, že se pletou. Každý přístup přitom řeší trochu jiný problém.
Datový sklad (data warehouse)
Datový sklad je strukturovaná databáze navržená pro analýzu a reporting. Data se do něj před uložením vyčistí a převedou do předem daného modelu, typicky do hvězdicového schématu s tabulkami faktů (prodeje, objednávky) a dimenzí (zákazníci, produkty, čas). Říká se tomu schema-on-write: struktura je dána předem.
Silné stránky:
- rychlé a předvídatelné dotazy pro reporty,
- jednotné definice metrik („jedna verze pravdy“),
- osvědčené nástroje a jazyk SQL.
Slabiny:
- méně pružný pro nové typy dat a experimenty,
- změna struktury vyžaduje úpravy načítání.
Data lake
Data lake je levné úložiště, kam se data ukládají v původní podobě: tabulky, logy, JSON, obrázky, exporty ze systémů. Struktura se určuje až při čtení (schema-on-read).
Silné stránky:
- uloží cokoli a ve velkém objemu za nízkou cenu,
- hodí se pro datovou vědu a strojové učení,
- data můžete ukládat i dřív, než víte, k čemu je použijete.
Slabiny:
- bez pravidel se z jezera snadno stane „datová bažina“, ve které nikdo nic nenajde,
- slabší podpora transakcí a kvality dat,
- pro běžný reporting je potřeba data dál zpracovat.
Lakehouse
Lakehouse se snaží spojit výhody obou. Data leží v levném úložišti jako v data lake, ale v tabulkovém formátu s podporou transakcí (například Delta Lake nad soubory Parquet). Nad stejnými daty pak můžete spouštět SQL dotazy pro reporting i analýzy v Pythonu nebo Sparku.
Typicky se data organizují do vrstev, často označovaných jako medailonová architektura:
- Bronze: surová data tak, jak přišla ze systémů,
- Silver: vyčištěná a sjednocená data,
- Gold: modely připravené pro reporting, často v podobě hvězdicového schématu.
Tento přístup používá například Microsoft Fabric nebo Databricks.
Srovnání v kostce
| Datový sklad | Data lake | Lakehouse | |
|---|---|---|---|
| Struktura dat | předem daná | volná | vrstvená, tabulková |
| Typ dat | strukturovaná | jakákoli | jakákoli |
| Reporting | výborný | slabý bez úprav | výborný ve vrstvě Gold |
| Datová věda | omezená | výborná | výborná |
| Nároky na správu | střední | vysoké (riziko chaosu) | střední |
ETL, nebo ELT?
S architekturou souvisí i způsob načítání. Klasický datový sklad používá ETL: data se nejdřív transformují a pak nahrají. Lakehouse a moderní cloudové sklady častěji používají ELT: data se nahrají surová a transformují až v platformě. ELT je pružnější, protože původní data zůstávají k dispozici pro nové otázky.
Co zvolit pro firemní reporting
Pro většinu středních firem, jejichž cílem je spolehlivý reporting z ERP, CRM a dalších provozních systémů, platí:
- Strukturovaná data a jasné reporty? Klasický datový sklad nebo vrstva Gold v lakehouse budou fungovat stejně dobře.
- Do budoucna i nestrukturovaná data, logy nebo datová věda? Lakehouse dává prostor růst bez přestavby.
- Samotný data lake bez dalších vrstev se pro reporting nehodí.
Důležitější než název architektury je kvalitní datový model, jasné definice metrik a vlastník dat.
Shrnutí
Datový sklad je strukturovaný a rychlý, data lake pružný a levný, lakehouse spojuje oboje ve vrstvené architektuře. Pro reporting rozhoduje vrstva připravená pro analýzu, ne marketingový název. Vybírejte podle typu dat, které máte dnes a budete mít zítra, a podle lidí, kteří budou platformu spravovat.
Pokud plánujete datový sklad nebo přechod na lakehouse, podívejte se na naši implementaci datového skladu. Navrhneme architekturu, která odpovídá vašim datům.