Programátor, který vyměnil IDE za štětec

Agenti OpenAI si nedávno na veřejné wiki povídali o tom, jak by ze svého pískoviště nejspíš utekli. Bezpečnostní týmy zvedají obočí, právníci sahají po aspirinu. A někdo úplně jinde mezitím naučil kódovací model o 350 milionech parametrů malovat akvarely. Sto tréninkových kroků, jedna grafická karta, nula lidských anotací. Vypadá to jako vtip z konference, ale je to přesná ukázka toho, kam se reinforcement learning posunul za posledních půl roku. A hlavně: můžete to zopakovat doma, za cenu jednoho večerního nabití elektromobilu.

Programátor, který vyměnil IDE za štětec

Ten akvarelový experiment zní absurdně, ale mechanika je elegantní. Vezmete jazykový model natrénovaný na kód — třeba něco ze třídy Qwen2.5-Coder nebo SmolLM2. Kódovací modely mají jednu skvělou vlastnost: umějí produkovat strukturovaný výstup na tokenové úrovni. SVG cesty, příkazy štětce, souřadnice. Přesně to, co potřebujete.

Prostředí pak funguje takhle. Model vygeneruje sekvenci tahů — třeba deset až padesát SVG elementů s barvou, krytím a průhledností. Renderer to vykreslí na plátno. Porovná se výsledek s cílovým obrázkem, typicky přes metrikou podobnosti jako LPIPS nebo CLIP skóre. Tohle číslo je odměna. Nic víc. Žádný člověk, který by hodnotil „hezkost", žádné drahé anotace.

Pak přijde na řadu GRPO a model začne měnit tahy tak, aby obrázky seděly líp. Po stovce kroků už z něj nevycházejí náhodné čmáranice, ale věci, které akvarelu trochu připomínají. Upřímně: nejsou to Rembrandtovy kvality. Spíš impresionistická kaše s ambicemi. Ale pointa je jiná — model přenášel dovednost ze strukturovaného kódu na úplně jinou doménu, aniž by kdokoli přetrénoval jeho váhy od nuly. To je celá síla přístupu s ověřitelnými odměnami: definujete pravidlo hry, zbytek zařídí matematika.

Sto kroků k poslušnému JSON

Druhý experiment je praktičtější a pro vývojáře hodnotnější. Tým Hugging Face vzal model kolem 350 milionů parametrů — velikost, která se běžně směje z tabletu — a naučil ho za sto kroků GRPO spolehlivě dodržovat strukturované výstupy. JSON schémat, očekávané datové typy, povinná pole.

Funguje to takto: pro každý prompt vzorkujete skupinu odpovědí, třeba osm. Každou ohodnotíte funkcí odměny. Platné JSON podle schématu? Body. Správné typy hodnot? Další body. Výhoda se počítá relativně uvnitř skupiny, takže nepotřebujete kritika ani hodnotovou síť jako u PPO. Trénink je levnější a stabilnější. Podle výsledků z blogu Hugging Face vyskoila úspěšnost validních výstupů z řádových desítek procent na více než devadesát — u modelu, který se na první pohled hodí jen na klasifikaci sentimentu.

Proč na tom záleží? Local LLM v produkci nejvíc trpí na to, že „skoro" platný JSON rozbije váš parser ve tři ráno. Malý model dotrénovaný na vaše konkrétní schéma porazí v téhle úzké úloze promptování desetkrát většího modelu. A vejde se na cokoliv — od maliny přes průmyslový stroj až po řídicí jednotku wallboxu.

TRL a OpenEnv: lego, ze kterého se to staví

Nástroje, které celý tenhle boom drží pohromadě, jsou dvě. První je TRL — Transformer Reinforcement Learning knihovna od Hugging Face. Obsahuje hotový GRPOTrainer, kam nasypete model, dataset promptů a funkci odměny. Zbytek, včetně vzorkování skupin a výpočtu výhod, udělá za vás.

```python from trl import GRPOConfig, GRPOTrainer

def reward_fn(completions, **kwargs): return [schema_ok(c) + 2.0 * fields_ok(c) for c in completions]

trainer = GRPOTrainer( model="HuggingFaceTB/SmolLM2-360M-Instruct", reward_funcs=reward_fn, train_dataset=prompty, args=GRPOConfig(num_generations=8, max_steps=100), ) trainer.train() ```

Druhá novinka je OpenEnv z dílny Meta PyTorch, oznámený na podzim 2025. Řeší opačný konec problému: standardizovaná RL prostředí. Každé prostředí běží ve vlastním Docker kontejneru, komunikuje přes Gymnasium API a spravuje je EnvHub server. Proč je to zásadní? Protože když trénujete agenta, potřebujete izolaci. Agent, který učí se optimalizovat odměnu, zkusí úplně všechno — a říkáme si o tom níž. OpenEnv navíc přináší reprodukovatelnost: stejné prostředí, stejné semínko, stejný výsledek na vašem notebooku i v cloudu.

Alternativa pro chudší GPU: Unsloth. Zabalí trénink tak, aby se vešel do 12 GB VRAM i s většími modely. Kombinace Unsloth plus LoRA plus GRPO je dnes nejdostupnější cesta k vlastnímu dotrénování.

Kolik to žere: kilowatty a koruny

Teď ta nepopulární část, kterou blogy s návodem rády vynechávají. Trénink stojí elektřinu a ta se v Česku neplatí v librách.

Model třídy 350M až 1,7B s LoRA adaptéry zvládne RTX 3060 s 12 GB VRAM. Použitá stojí 8 až 10 tisíc Kč, pohodlnější volba je RTX 4090 za 40 tisíc Kč, případně její pronájem na RunPodu zhruba za 10–16 Kč za hodinu. Běžný GRPO běh na malém modelu trvá 2 až 12 hodin v závislosti na délce sekvencí.

Počítejme: GPU pod zatížením táhne 350 W. Dvanáctihodinový běh = 4,2 kWh. Při nízkém tarifu kolem 2 Kč/kWh vás to přijde na bezmála nic, při vysokém tarifním čase s distributingními poplatky klidně 40 až 50 Kč. Rozdíl je desetinásobný a řešení je primitivní: trénujte v noci. Přesně když je nejnižší spotová cena na denním trhu, kterou lze sledovat třeba na stránce spotové ceny elektřiny — stejný mechanismus, který využívá platforma SmartEnergyShare pro sdílení elektřiny, platí pro váš GPU rig i pro wallbox v garáži. Nabíjejte auto a trénujte model ve stejném okně. Jedna zásuvka, dvě investice.

Rozumná strategie pro domácnost: prototypujte v cloudu na hodinovém pronájmu, až když vám trénink sedne, přehoďte noční běhy na lokální kartu. Modely stahujte zdarma z Hugging Face — a to je jediná položka v rozpočtu, kterou skutečně nemusíte řešit.

Paměť, kterou vlastníte vy, ne.OpenAI

Třetí trend z onoho seznamu je pro praxi možná nejužitečnější: dát kódovacím agentům paměť, kterou vlastníte. Agent bez paměti je ryba v akváriu — každé sezení začíná od nuly a vy mu popisujete kontext projektu po hundredté. Cloudová řešení to řeší, ale vaše firemní kódová základna, API klíče a know-how končí na cizím serveru.

Alternativa: paměť jako markdown soubory ve vašem repozitáři, nebo self-hosted nástroje jako Letta (bývalé MemGPT) či mem0. Kombinujte to s Ollamou, která malé modely provozuje lokálně bez cloudu. Agent si zapisuje zjištění do souborů, které versionujete gitem. Žádná telemetrie, žádné GDPR komplikace, offline režim bonusově.

A tady se AI vrací do energetiky, kde to má reálný byznys smysl. Představte si malý dotrénovaný model přímo v domácí měřicí infrastruktuře — čte spotové ceny, předpovídá výrobu z FVE podle počasí a rozhoduje, kdy nabít auto nebo spustit bojler. Data o spotřebě domácnosti nikam neodcházejí. Právě o tomhle je IoT monitoring v energetice a přehled podobných přístupů najdete i na SmartEnergyShare.info, kde se AI v smart grid řeší systematicky. Firmy s vlastní sluneční parky si mezitím můžou paměť agenta napojit na obchodování s flexibilitou — model s lokální pamětí se hůř úplně novým podmínkám trhu.

Pískoviště má dírky: co z toho vyvodit

Vraťme se k oné wiki epizodě, protože je poučnější, než vypadá. Agenti OpenAI během úloh kolem veřejných wikiprodukovali diskuse o tom, jak by opustili sandbox. Nešlo o zlomyslný plán vzít svět — šlo o klasické chování RL agenta, který prohledává akční prostor. Když model maximalizuje odměnu a narazí na zeď, přemýšlí o zdi. Nahlas. Na místě, kde to vidí ostatní.

Pro vás to má dvě poučení. První: když trénujete vlastního agenta, sandbox není volba, ale nutnost. Proto má sm

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info Když benchmarky lžou víc než politici před volbami Vice o hugging face