Co je LFM2.5-24B-A2B a proč o něm mluví celý internet

Platíte 20 dolarů měsíčně za ChatGPT a pořád vám radí jiný model, než byste chtěli? Existuje cesta, jak si postavit vlastního AI agenta, který běží kompletně na vašem počítači. Žádný cloud, žádné posílání dat na neurčené servery, žádné API limity. Model LFM2.5-24B-A2B od Liquid AI s architekturou Mixture-of-Experts dokazuje, že velký jazykový model nemusí vážit 24 miliard parametrů plné tíhy — v každém kroku aktivuje jen zlomek. A to mění pravidla hry pro lokální nasazení. Máme tu totiž situaci podobnou té, kdy se vzducholoď Sceye vrátila k padesát let starému konceptu, aby otestovala "věže z oblohy" mezi USA a Japonskem — i v AI se ty nejužitečnější nápady často skrývají v tom, co běží poblíž, ne v obřích centrech dat tisíce kilometrů daleko.

Co je LFM2.5-24B-A2B a proč o něm mluví celý internet

Liquid AI vznikl jako spin-off MIT a dlouho byl v pozici outsidera. Pak přišla řada LFM (Liquid Foundation Models) a najednou se modely s hybridní architekturou konvolučních a transformačních vrstev dostaly do centra pozornosti. Verze LFM2.5-24B-A2B je specifická jednou věcí: celkem má kolem 24 miliard parametrů, ale díky MoE (Mixture-of-Experts) architektuře aktivuje v jednom inferenčním kroku jen přibližně 3,2 miliardy. Výsledek? Kvalita blízká větším modelům, spotřeba paměti a rychlost spíš u modelu třímiliardového.

Prakticky to znamená, že model se vejde do 16 GB RAM ve kvantizované verzi (Q4_K_M má zhruba 12–14 GB) a na moderních strojích generuje rychlostí 20–40 tokenů za sekundu. To je srovnatelné s tím, jak TorchNeuron zjednodušil běh modelů z HuggingFace na AWS Trainium — najednou je něco, co dřív vyžadovalo tým inženýrů, dostupné jednomu člověku s notebookech a dvěma hodinami času.

Model najdete na HuggingFace pod otevřenou licencí, což znamená, že ho můžete stáhnout, upravit pomocí LoRA fine-tuningu a provozovat komerčně bez poplatků za tokeny. Pro firmy zpracovávající citlivá data je to zásadní. Zprávy zákazníků, interní dokumentace, zdrojové kódy — nic neopustí váš stroj.

Jaký hardware potřebujete: realistická kalkulace

Tady přichází ta méně zábavná část. On-device AI není zadarmo, i když model je. Počítejte s investicí do hardwaru.

Minimální konfigurace (pomalá, ale funkční): MacBook s 24 GB jednotné paměti (M2/M3, od 45 000 Kč použitý), případně PC s 32 GB RAM a moderním CPU. Model poběží, ale rychlost 5–10 tokenů za sekundu vás u delších konverzací přestane bavit. Na čistě CPU inference s MoE modely funguje překvapivě dobře, protože aktivních parametrů je málo.

Rozumná konfigurace: MacBook M3/M4 s 36–48 GB paměti, nebo PC s NVIDIA RTX 4090 (24 GB VRAM, kolem 35 000 Kč). Tady se dostanete na 25–40 tokenů za sekundu a práce s agentem je pohodlná. Pro srovnání: roční provoz cloudu s podobnou kvalitou (Claude, GPT-4o) vás přijde na 8 000–12 000 Kč. Grafická karta se tedy vrátí za tři roky — a mezitím dělá i něco jiného než inference.

Entitativní varianta: NVIDIA RTX 5090 nebo dvě 4090. Zbytečné pro jednotlivce, užitečné pokud plánujete fine-tuning nebo obsluhovat více uživatelů.

Elektrická spotřeba? Notebook M3 při inferenci táhne kolem 30–40 W, desktop s 4090 se klidně přehoupne přes 350 W. Pokud model provozujete často a máte fotovoltaiku, výpočty přesunout na denní dobu je fér nápad. Jak spotové ceny fungují a kdy je elektřina nejlevnější, sledujte na spotových cenách SmartEnergyShare — časování AI zátěže není šílenství, když máte vlastní FVE.

Návod krok za krokem: agent v Ollamě za 15 minut

Nejjednodušší cesta vede přes Ollamu. Instalace je jedna řádka:

```bash curl -fsSL https://ollama.com/install.sh | sh ```

Poté model stáhnete:

```bash ollama run liquidai/LFM2.5-24B-A2B ```

První stažení zabere 12–15 GB, takže si vařte kávu. Po dokončení máte interaktivní terminál a můžete chatovat. Ale samotný chat je nuda — vy chcete agenta, tedy model s nástroji, který umí číst soubory, spouštět příkazy a vyhledávat.

Dobrý mezi-krok je Open WebUI:

```bash docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main ```

Webové rozhraní na portu 3000, podpora RAG (dotazy nad vašimi dokumenty), historie konverzací, vše lokálně. Pro agentní schopnosti pak sáhněte po Pythonu a knihovně jako smolagents nebo LangGraph, které modelu předá definice nástrojů a nechají ho plánovat kroky. LFM2.5-24B-A2B zvládá function calling nativně, což je u otevřených modelů této velikosti stále spíš výjimka než pravidlo.

Kdo chce jít dál, může model doladit pomocí LoRA — trénink pár set ukázek vašich dat na jediné 4090 trvá hodiny, ne dny. Pokud spravujete energetická data, monitoring FVE nebo analýzy flexibility, fine-tuned agent na vašich datech je reálný víkendový projekt. Jak vypadá profesionální IoT monitoring v energetice, si můžete prohlédnout na IoT monitoringu SmartEnergyShare — kombinace lokálního modelu a vlastních senzorových dat je přesně ten use case, kde on-device AI dává smysl.

Soukromí jako hlavní argument — a kde končí

Nechte mě být upřímný: on-device AI nemá smysl pro každého. Pokud se ptáte na recept na svíčkovou, není důvod odpálit 14 GB vah do RAM. Ale pokud zpracováváte zdravotní záznamy, právní dokumenty, firemní strategii nebo cokoliv, co podléhá GDPR, lokální model řeší problém u kořene. Žádná třetí strana, žádná transakční data, žádná nejistota ohledně tréninku na vašich promptech v budoucích verzích.

Druhá strana mince: necenzurované a méně alignované open-source modely jsou reálně dostupné. LFM2.5 sám o sobě má standardní bezpečnostní filtry, ale ekosystém kolem Ollamy a HuggingFace obsahuje i upravené varianty bez nich. To je šedá zóna — technicky legální, prakticky závislá na tom, k čemu model používáte. Fakta: pro výzkum, red-teaming a bezpečnostní testování jsou tyto varianty legitimní. Pro obcházení zákonů nejsou. Nikdo vám při stahování nezavolá, ale odpovědnost zůstává na vás, ne na poskytovateli API.

Třetí úskalí je kvalita. 3,2 miliardy aktivních parametrů je na agentní úlohy a kód solidní, ale u složitého uvažování, dlouhých kontextů nad 100 000 tokenů nebo vícejazyčných nuancí si cloudové modely stále vedou lépe.Český jazyk zvládá LFM2.5 obstojně, občas ale zvolí anglickou frázi tam, kde by český rodilý mluvčí použil jinou. Fine-tuning na českých datech to výrazně zlepší.

Kolik vás to stojí a k čemu to srovnávat

Spočtěme si to pořádně. Cloudová varianta pro náročného uživatele: ChatGPT Plus nebo Claude Pro, 20 dolarů měsíčně, tedy zhruba 550 Kč. Ročně 6 600 Kč, za pět let 33 000 Kč. A za to máte limity, výpadky, změny podmínek a nulu soukromí.

Lokální varianta: použité MacBook M2 24 GB za 35 000 Kč nebo PC s 4090 za 55 000 Kč. Pořizovací náklady jsou vyšší, ale stroj dělá i jinou práci — je to pracovní stanice, ne AI krabice. Marginalní náklady na inference jsou pak elektřina: intenzivní denní provoz 4 hodiny na 350 W desktopu je 1,4 kWh denně, tedy 511 kWh ročně, při 6 Kč/kWh zhruba 3 000 Kč. Na notebooku čtvrtina. Detailní rozbor spotřeje a nákladů domácnosti zvládne i energetické poradenství SmartEnergyShare.

Když už jsme u elektřiny — pokud doma máte FVE a přemýšlíte, jak přebytky využít chytřeji než pouhým prodejem za nízké ceny, ať už skrze baterii nebo komunitní sdílení, inspiraci najdete na ShareElectric.cz a SdíleníEnergie.info. Provozovat vlastní AI model na vlastní elektřině z vlastní střechy je mimochodem uspokojivě kruhový pocit.

Co dál: predikce, která vás možná namíchne

Tady je moje kontroverzní předpověď: do tří let bude většina osobních AI asistentů běžet lokálně a cloudové API zůstanou jen pro úlohy, které si skutečně zaslouží datacentrum. Modely velikosti LFM2.5-24B-A2B díky MoE architektuře klesnou na velikost, kterou zvládne průměrný telefon příští generace. Apple, Qualcomm a MediaTek na to už nasazují dedikou NPU hardware — iPhone s 16 GB RAM dnes inference třímiliardového modelu zvládá dnes.

Začněte s návodem výše, stáhněte si model, pusťte si ho v Ollamě a uvidíte sami. Registrace na platformu jako energetická platforma SES mezitím pomůže s druhou stranou rovnice — kdy a za kolik bude vaše elektřina, na které ten model poběží. A pokud se vám výsledek líbí, LoRA fine-tuning na vlastních datech je dalších víkend práce. Vlastní AI už není demonstrace na konferenci. Je to úkol na odpoledne.

Zdroje

- Ollama — oficiální dokumentace - HuggingFace — Liquid AI modely - TZB-info — energetika a technologie - oEnergetice.cz — český energetický portál - SmartEnergyShare — blog o energetice

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info Soukromá AI bez cloudu? Tenhle model už stojí za vyzkoušení Vice o deploy local