Proč někdo učí kódovací model malovat

Naučil jsem kódovací model malovat akvarely. Stálo mě to 100 dolarů a nechtěl jsem žádný NCCL

Qwen2.5-Coder umí generovat Python, ladit SQL a vysvětlovat regexy. A pak ho jednou necháte trénink a o den později kreslí vodovkou most přes řeku. Ne proto, že by to někdo potřeboval. Právě proto to dává smysl. Trénink jazykových modelů posilováním se totiž vyvíjí rychleji než cokoliv jiného v AI a tenhle podivný experiment — kódovací model učený malovat přes knihovnu TRL a prostředí OpenEnv — je nejlepší ukázka, kam se to bere. Rozdělené úlohy na Hugging Face Jobs, adaptéry LoRA sdílené přes kýbl (bucket), malý proxy server místo InfiniBandu. A žádný NCCL. Podívejme se, jak to funguje, kolik to žere a kde se to může zvrhnout.

Proč někdo učí kódovací model malovat

Na první pohled plýtvání GPU hodinami. Ve skutečnosti je to nejčistší test tréninkové pipeline, jaký existuje. Když trénujete model na kód, hodnotíte ho unit testy. Problém je, že model už umí kódovat — takže po tréninku nikdy přesně nevíte, jestli se něco naučil, nebo jen využil to, co uměl předtím. Akvarel je jiný kafe. Qwen s kódováním trávil měsíce, ale s malováním nikdy. Je to úplně mimo distribuci dat.

Když tedy pipeline dokáže modelu vnutit novou dovednost, kterou nemohl znát, znamená to, že infrastruktura funguje. A tuhle infrastrukturu pak můžete nasměrovat na cokoliv: na generování testů, na API volání, na databázové migrace. Za mimochodem to slouží jako past na reward hacking. Model brzy zjistil, že jedním tahem celého plátna nejslabší barvou získá solidní skóre za „pokrytí plochy“, aniž by nakreslil cokoliv rozpoznatelného. Klasika — odměnová funkce je vždycky chytřejší protivník než model. Trénink na absurdní úloze tak odhalí díry, které by se u „seriózní“ úlohy skryly týdny.

GRPO pro lidi ve spěchu: žádný kritik, jen skupina pokusů

Tradiční posilované učení na jazykových modelech používalo PPO. Ten potřebuje kromě samotného modelu ještě kritika — druhou síť, která odhaduje hodnotu stavu. To je polovina paměti, polovina výpočtu a dvojnásobek bolesti hlavy. GRPO (Group Relative Policy Optimization), které proslavil DeepSeek s modelem R1, kritika zahodí úplně. Pro každý prompt vygenerujete skupinu třeba šestnácti odpovědí, všechny ohodnotíte a výhoda odpovědi je jen její odchylka od průměru skupiny. Žádný kritik, žádná odhadovaná hodnota, čistě relativní srovnání v rámci skupiny.

V knihovně TRL z Hugging Face to zaobaluje třída GRPOTrainer a konfigurace GRPOConfig. Nastavíte počet generací, délku odpovědi, a pokud chcete odlehčit, beta=0 vypne KL penalizaci vůči referenčnímu modelu. A teď klíčový trik: celý trénink běží s LoRA. Netrénujete miliardy váh, jen nízkorozměrné adaptéry — pár desítek megabajtů navrch. Co z toho plyne? Celý model se vejde na jednu GPU včetně tréninkového stavu. Žádné dělení napříč stroji, žádný torchrun, žádný NCCL kolektiv, který na multi-node clustrech tradičně stojí za polovinu nočních poplachů. Jedna uloha, jeden proces, jedna GPU. Zbytek je jen logistika.

OpenEnv: tréninkové prostředí vzešlé z Dockeru

Druhá půlka skládačky je prostředí. RL model potřebuje místo, kde dělat pokusy a omyly — herní svět, interpreter, prohlížeč. OpenEnv je otevřený hub prostředí od týmu Meta-PyTorch ve spolupráci s Hugging Face. Každé prostředí je Docker kontejner s jednotným Gym-style HTTP API: endpointy /reset a /step, které vrací pozorování, odměnu a příznak konce epizody. Nainstalujete klienta, spustíte kontejner a model komunikuje s prostředím přes HTTP jako s běžnou službou. Prostředí se publikují jako balíčky — někdo to přirovnal ke Spaces, jen pro posilované učení.

Akvarelové prostředí je elegantně jednoduché. Plátno 512×512 pixelů, model vydává tahy jako JSON: štětec, pigment, souřadnice začátku a konce, šířka, průhlednost. Pigmenty se míchají alfa blendingem, mokrý okraj se přibližně simuluje Gaussovým rozostřením. Epizoda má limit šedesát čtyř tahů. Odměna je podobnost výsledného obrazu s referenčním akvarelem, měřená přes SSIM. Je to deterministické — stejný tah dá stejný výsledek, takže v signálu není šum a trénink se dá ladit jako hodinky. Napsat vlastní prostředí zabere odpoledne a to je celý dopad projektu: RL

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info vLLM V1: Tichá revoluce, která zachránila trénink AI mode... Vice o hugging face