Proč jsou nevyužité GPU tak drahé

Nadpis: Vaše GPU stojí v hangáru a hoří peníze. Návod, jak je konečně poslat do vzduchu

Letadlo na zemi negeneruje tržby, jenom leasingové splátky, pojištění a paliči hangárových světel. Přesně tohle je dnes NVIDIA H100 v serverovně, která z 60 % dne jenom hučí na volnoběh. Cena jedné takové karty se v přepočtu pohybuje kolem 700 000 až 900 000 Kč, k tomu chladicí infrastruktura, a pak ji necháte odpočívat, protože nikdo nenaplánoval, kdy a čím ji nakrmit. V energetice tomu říkáme "stranded asset". V IT tomu nikdo neříká nic, protože to nikdo nesleduje.

Spojení GPU managementu a energetiky přitom není vzdálenější, než se zdá. GPU cluster je v podstatě flexibilní zátěž s obřím příkonem — jedna skříň DGX H100 žere přes provozu klidně 10,2 kW. Osm takových skříní v jedné serverovně je stejný výkon jako malá vesnice. A stejně jako u bateriového úložiště nebo řízení FVE platí: kdy zátěž běží, je stejně důležité jako to, jestli běží vůbec.

Proč jsou nevyužité GPU tak drahé

Účtování cloudových GPU instancí je nemilosrdné. Na AWS stojí p5.48xlarge (8× H100) přes 98 dolarů za hodinu, tedy zhruba 2300 Kč. Pokud si firma pronajme takový cluster na trénink modelu a pak ho nechá běžet "pro jistotu" přes víkend bez zátěže, spálí přes 110 000 Kč za dva dny prázdného provozu. U vlastního hardwaru je efekt jiný, ale stejně bolestivý — sazba za spotřebovanou elektřinu běží pořád, ať GPU počítá, nebo jen drží VRAM alokovanou.

Firmy, které GPU vlastní fyzicky, navíc řeší druhý problém: karta na volnoběh (idle) stále odebírá 50 až 150 W jen proto, že je v systému, i když nic nepočítá. U clusteru s 32 kartami to je klidně 4 kW navíc 24 hodin denně, tedy zhruba 35 MWh ročně jen na "nic". Při současné burzovní ceně elektřiny na denním trhu OTE, která se v létě 2026 pohybuje v pásmu 1 800–2 400 Kč/MWh podle hodiny, to dělá 65 000 až 84 000 Kč ročně vyhozených z okna. A to je jedna malá serverovna.

Analogie s letadlem má i druhý rozměr — údržbu. Letadlo na zemi se stále musí kontrolovat, aby při startu nespadlo. GPU, které měsíce leží ladem, ztrácí termální pastu, ventilátory se zanáší prachem a firmware zastarává. Když ho pak potřebujete narychlo nasadit na urgentní trénink, zjistíte, že half serverovny hlásí throttling kvůli přehřívání. Prevence je jednoduchá — pravidelný "provozní let" i bez užitečné zátěže, ale to zase stojí energii.

Jak vypadá reálné řízení GPU zátěže

Praktické řešení má tři vrstvy, a je skoro identické s tím, co energetičtí poradci dělají u průmyslových odběratelů s pecemi nebo kompresory.

Za prvé monitoring. Nasadíte `nvidia-smi dmon` nebo Prometheus exportér `dcgm-exporter` a sledujete utilizaci v reálném čase. Cokoliv pod 15 % GPU utilization déle než 20 minut je kandidát na automatické uspání karty přes `nvidia-smi -pm 0` nebo přesun úlohy na sdílenou instanci. Firmy jako CoreWeave a Lambda Labs takhle šetří desítky procent nákladů na flotile tisíců karet.

Za druhé plánování podle ceny elektřiny. Trénink velkého modelu nemusí běžet v 15 hodin, kdy je spotová cena na burze nejvyšší kvůli špičce poptávky. Batch joby (fine-tuning, generování syntetických dat, re-indexace embeddingů) lze naplánovat na noční hodiny nebo na okna s přebytkem FVE, kdy cena klesá k nule nebo dokonce do záporných hodnot. Nástroj jako Kubernetes CronJob v kombinaci s jednoduchým skriptem, který čte hodinové ceny z API OTE, dokáže posunout 30–40 % netriviální výpočetní zátěže do levných hodin. Přesně tohle dnes dělají chytré nabíječky elektromobilů a bateriová úložiště — a je jenom otázka času, kdy to bude standard i pro AI infrastrukturu. Detailní data k denním cenám najdete na spotová cena elektřiny — denní trh SmartEnergyShare.

Za třetí participace na flexibilitě. Firma s vlastním GPU clusterem a dostatečně velkým příkonem (typicky nad 100 kW) může svou flexibilní zátěž nabídnout do agregace a dostávat za to zaplaceno, podobně jako výrobci FVE nebo majitelé baterií. Víc o tomhle modelu je na stránce obchodování flexibility a u služeb výkonnostní rovnováhy.

Open-source nástroje, které šetří GPU čas i peníze

Tady přichází ta praktická část, kterou čtenáři chtějí. Pokud vaše firma provozuje vlastní LLM místo volání drahého API, existuje pár nástrojů, které snižují dobu, kdy GPU sedí v nečinnosti.

Ollama je dnes nejrychlejší cesta, jak rozjet lokální model na vlastním hardwaru — `ollama run llama3.1:70b` a za pár minut máte funkční inference bez nutnosti platit tokeny externímu providerovi. Na jedné kartě RTX 4090 (cena kolem 45 000 Kč) rozjedete kvantizovaný model do 34B parametrů s rozumnou latencí, což pro interní firemní chatboty nebo analýzu dokumentů často stačí a šetří stovky tisíc korun ročně oproti GPT-4 API volání.

HuggingFace (huggingface.co) je pak knihovna modelů a nástrojů — přes 1,5 milionu modelů ke stažení, včetně těch, co jsou fine-tunované na češtinu (např. varianty Mistralu nebo Gemma trénované na CzechNews korpusu). Pro firmy, které chtějí GPU využít naplno místo aby jenom čekaly na příkaz, je smysluplné pustit dotrénování vlastního modelu metodou LoRA (Low-Rank Adaptation) právě v hodinách levné elektřiny. LoRA umí doladit i sedmimiliardový model na jedné kartě s 24 GB VRAM za pár hodin, místo aby se trénoval celý model znovu — úspora je desítky procent výpočetního času i energie.

K tématu necenzurovaných modelů — na HuggingFace najdete i varianty bez RLHF cenzury (např. "abliterated" verze Llama nebo Mistral). Technicky jde o legitimní výzkumný a bezpečnostní nástroj, protože umožňuje testovat robustnost bezpečnostních filtrů, ale pro produkční nasazení ve firmě to znamená vlastní odpovědnost za výstupy a nutnost doplnit content moderation vrstvu navíc. Není to samo o sobě problém, jen je potřeba počítat s tím, že s větší svobodou přichází víc práce na hlídání výstupů.

Kolik to reálně stojí a kdy se to vyplatí

Konkrétní čísla. Malá firma s jednou GPU workstationí (RTX 4090, 450 W TDP) provozovanou 10 hodin denně na inferenci spotřebuje zhruba 1,6 MWh ročně, což je při letní ceně kolem 2000 Kč/MWh cca 3200 Kč jenom za elektřinu na kartu — bez klimatizace serverovny, která přidává dalších 30–40 %.

U středních firem s clusterem 8–16 karet se dostáváte na řádově statisíce korun ročně jen na energii, a přitom rozdíl mezi "chytrým" a "hloupým" plánováním zátěže bývá 20–35 % nákladů. To není marginální optimalizace, to je částka, za kterou zaplatíte energetického poradce a ještě vám zbyde.

Návratnost investice do monitoringu (Prometheus + Grafana + jednoduchý scheduler navázaný na spotové ceny) se u středně velké firmy pohybuje kolem 3–6 měsíců. Je to podobná logika jako u IoT monitoringu energetických toků v budově — bez dat nevíte, co optimalizovat, s daty vidíte přesně, kde hoří peníze.

Firmy, které tohle řeší komplexně, si často nechávají zpracovat energetický audit včetně IT zátěže — to je přesně obor energetického poradenství, kde se GPU cluster posuzuje stejně jako pec, kompresor nebo klimatizace. Pro firmy s vlastní FVE navíc dává smysl propojit GPU trénink přímo s výrobou — trénovat modely přes den, kdy střecha vyrábí přebytky, a šetřit tak dvakrát. Víc na stránce pro firmy a pro výrobce FVE.

Údržba jako prevence, ne jako hašení požáru

Kategorie tohoto článku není náhodou "údržba". GPU management funguje přesně jako preventivní údržba letadla — pravidelné kontroly, plánované "lety" i bez pasažérů, sledování opotřebení, a hlavně nenechat drahé aktivum stát zbytečně dlouho.

Doporučený rytmus pro firemní cluster: týdenní kontrola teplot a prachu (`nvidia-smi -q -d TEMPERATURE`), měsíční aktualizace driverů a CUDA toolkitu, čtvrtletní revize utilizace a rozhodnutí, zda karty přeobsadit na jiný projekt nebo je pronajmout externě přes platformy jako Vast.ai, kde přebytečný výkon můžete i zpeněžit v hodinách, kdy ho nepotřebujete.

Kdo tohle nedělá, končí jako firma, co si koupila letadlo a nechala ho rezavět v hangáru, protože nikdo nenaplánoval lety. Rozdíl je v tom, že u letadla to každý vidí. U GPU clusteru to vidíte jen na faktuře za elektřinu — a tu si často nikdo pořádně nerozebere.

Co s tím dál

Pokud provozujete AI infrastrukturu a nevíte, kolik vás stojí nevyužité GPU hodiny, začněte jednoduše: měsíc sbírejte data z `dcgm-exporter`, srovnejte je s hodinovými cenami z ceníku a burzovními daty OTE. Čísla vás nejspíš překvapí, a ne příjemně.

Moje troufalá předpověď na příští dva roky: firmy, které dneska ignorují spojení GPU scheduling a spotové ceny elektřiny, zaplatí za AI infrastrukturu klidně o třetinu víc než konkurence, co si dá tu práci propojit obojí do jednoho dashboardu. Energetika a výpočetní výkon přestávají být oddělené světy — kdo to pochopí první, ušetří první.

Víc o propojení bateriových úložišť a flexibility, která se dá použít i pro řízení GPU zátěže, najdete na [BESS Global Blog](https://bess-global-blog.vercel.app) nebo na [ShareElectric.cz](https://shareelectric.cz), kde se sdílení fotovoltaiky řeší podobnou logikou jako sdílení výpočetního výkonu. Kompletní přehled služeb pak nabízí Smart Energy Share, včetně [registrace](https://smartenergyshare.com/registrace?utm_source=electric-share&utm_medium=referral&utm_campaign=satellite-marketing) pro firmy, co chtějí začít řídit svou spotřebu chytřeji už teď.

Zdroje

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: ElectricShare.cz Umístění klimatizace ovlivní výkon, spotřebu i kvalitu sp... Vice o kolik elektřiny