Češi z BottleCap AI zkracují přemýšlení modelů: co znamená úspora tokenů

Český startup BottleCap AI zveřejnil další modely řady ThinkingCap, které mají dojít k odpovědi s kratším vnitřním uvažováním. V říjnových verzích upravil mimo jiné Gemmu od Googlu a Qwen od Alibaby. Pro uživatele je zajímavá především otázka, zda lze dostat použitelný výsledek rychleji a s menší spotřebou. Číslo „až 69 %“ z titulku ale neznamená automaticky stejnou slevu na měsíčním předplatném.

Co Češi představili a z čeho vycházejí

BottleCap AI, spojený s Tomášem Mikolovem a Jaroslavem Beckem, se zaměřuje na optimalizaci modelů. Dne 23. října publikoval ThinkingCap pro Gemma-4-26B-A4B; o den dříve popsal variantu založenou na Qwen3.8-Flash-Next. Česká Lupa novinky shrnula 28. října. Nejde tedy o vlastní varianty ChatGPT nebo Claude.

Základ prvního modelu pochází od Googlu, základ druhého od čínské Alibaby a dodatečná úprava od českého týmu. Původ má několik vrstev: autor základního modelu, autor úpravy a provozovatel služby nemusí být stejný subjekt. Tento rozdíl je podstatný pro licenci, podporu i nakládání s daty.

Veřejné váhy umožňují model převzít a provozovat podle jeho podmínek. Neznamená to však bezplatný výpočet. Někdo stále platí hardware, elektřinu, správu a případnou podporu. Vedle veřejných verzí nabízí BottleCap také firemní varianty Pro; bez konkrétní nabídky zde nelze uvést srovnatelný pevný ceník.

Co jsou tokeny přemýšlení

Token je jednotka, na kterou model rozděluje text. Není to vždy celé slovo. Při náročnější úloze může systém před konečnou odpovědí vytvářet delší uvažování. To spotřebovává výpočetní čas a u některých služeb vstupuje do účtování, přestože uživatel nemusí celou tuto část vidět.

Představte si řešení matematického zadání. Dvě odpovědi mohou skončit stejným výsledkem, ale jedna k němu vede několikanásobně delší cestou. Kratší cesta je žádoucí, pokud neztratí důležitou kontrolu. Právě to je smysl optimalizace: omezit zbytečné kroky a současně zachovat kvalitu.

Kratší uvažování není automaticky lepší uvažování. Někdy přinese úsporu, jindy odstraní užitečné ověření nebo zhorší práci s výjimkami. Počet tokenů proto patří vedle správnosti, stability a výsledků na konkrétních úlohách. Samotná délka odpovědi navíc není totéž co délka vnitřního výpočtu.

Jaká čísla BottleCap zveřejnil

U Gemmy výrobce uvádí průměrné snížení tokenů uvažování o 38,9 % v sadě dvanácti benchmarků a největší pokles 69,1 %. Průměrná změna přesnosti podle jeho metodiky činí minus 0,15 procentního bodu. Jde o výsledky autora úpravy, nikoli o naše vlastní měření nebo garanci pro každou českou úlohu.

U Qwen3.8-Flash-Next oznámil průměrné snížení o 38,5 % napříč šesti benchmarky, při průměrném poklesu přesnosti o 1,03 procentního bodu. Už tato dvojice údajů ukazuje, proč nestačí porovnat dvě procenta úspory. Sady úloh i dopad na kvalitu se liší.

Karta Gemmy také vysvětluje, že průměr úspor počítá jako průměr jednotlivých benchmarkových procent. Nemusí tedy přesně odpovídat podílu dvou vedle uvedených průměrných počtů tokenů. To není samo o sobě chyba, ale jiný způsob agregace. Vždy je potřeba znát jmenovatel a způsob výpočtu.

Výsledky výrobce: úspora uvažování není sleva na celý účet Na mobilu lze tabulku posouvat do stran.

Proč údaj „až“ není běžný výsledek

Maximum popisuje nejvýraznější případ v použité sadě. Neříká, co se stane u vašich nejčastějších úkolů. Pokud většinu dne shrnujete krátké e-maily, může se vaše práce velmi lišit od matematických soutěžních úloh nebo dlouhých kontextových testů.

Průměr zase může skrývat rozdíly mezi oblastmi. Zlepšení v jedné kategorii neodčiní chybu v jiné, pokud je právě ta druhá pro firmu kritická. Účetní tým například potřebuje správně zachytit částku a období; kreativně napsaný doprovodný text mu chybný součet nevykompenzuje.

Rozumné čtení výsledků proto začíná otázkou, co jednotlivé testy měří. Potom následuje porovnání s vlastní prací. Benchmark je užitečná orientace, ale není hotové doporučení pro nasazení. Zvlášť opatrně je potřeba přenášet výsledky do jiného jazyka, formátu dokumentu nebo výrazně odlišné délky zadání.

Kdy úspora tokenů sníží účet

Záleží na obchodním modelu. U pevného předplatného běžného chatbota se měsíční cena obvykle nemění podle toho, kolik vnitřních kroků jeden dotaz spotřebuje. Uživatel může získat jiný praktický přínos, například více kapacity nebo kratší čekání, ale ani to nelze bez podmínek služby slíbit.

U API účtovaného podle spotřeby může kratší generování snížit proměnnou část nákladů, pokud se změna projeví v účtované kategorii. Je však potřeba znát sazbu, způsob započtení uvažování a případné minimální či jiné poplatky. Úspora jedné složky není automaticky úspora celého účtu.

U vlastního serveru je situace jiná. Platíte za kapacitu, která může být rezervovaná na celé období. Kratší úlohy dovolí obsloužit více práce nebo omezit počet potřebných strojů, ale pouze při odpovídajícím využití. Pokud server většinu času čeká, samotné zrychlení nemusí okamžitě snížit měsíční výdaj.

Jednoduchý modelový výpočet

Představme si čistě ilustrační provoz, ve kterém polovinu nákladů jednoho dokončeného úkolu tvoří generování uvažování. Zbytek připadá na vstup, konečnou odpověď a další související práci. Kdyby první polovina zlevnila o 40 %, celý úkol by zlevnil o 20 %, pokud by se vše ostatní nezměnilo.

Nejde o ceník BottleCapu ani o předpověď konkrétního nasazení. Příklad pouze ukazuje, proč 40% úspora části není 40% úspora celku. K výsledku navíc přistupuje kvalita: potřebuje-li kratší model více opakování nebo lidských oprav, může se část výhody ztratit.

Do hodnocení proto zahrňte i cenu neúspěchu. Levný pokus, který musí někdo celý předělat, může vyjít dráž než delší výpočet se správným výsledkem. V praxi se vyplatí počítat náklady na přijatý výstup, nikoli jen náklady na jeden dotaz nebo milion tokenů.

Pro koho jsou veřejné modely prakticky použitelné

Největší přímý význam má novinka pro vývojáře, poskytovatele inference a firmy provozující vlastní modely. Mohou zkoušet kompatibilní variantu na stejných pracovních úlohách a sledovat změnu výkonu i spotřeby. Pro člověka používajícího pouze webový chat je cesta méně přímá.

Na kartě Gemmy jsou uvedeny váhy v plné přesnosti o velikosti přibližně 52 GB a také menší kvantizovaná varianta. Velikost souboru však není úplný požadavek na paměť. Další prostor potřebuje prostředí a zpracovávaný kontext. Samotný údaj o stažení proto nestačí k výběru počítače.

Podobně značení 26B-A4B rozlišuje celkový rozsah parametrů a přibližně aktivní část při zpracování tokenu. Menší aktivní část může pomoci s výpočtem, ale automaticky neznamená, že celý model zabere paměť jako samostatný čtyřmiliardový model. Čísla v názvu nejsou jednoduchá tabulka kompatibility s notebooky.

Česká úprava, americký nebo čínský základ

Při rozhodování o původu se vyplatí psát konkrétně. ThinkingCap Gemma je česká úprava modelové rodiny Googlu. ThinkingCap Qwen vychází z rodiny Alibaby. Místo, odkud získáte soubor, je další údaj. A služba, která jej nakonec provozuje, může být zase v jiné zemi.

Pokud model běží na vlastním zařízení, samotná odpověď nemusí odcházet do cloudu původního výrobce. Jiná připojení však mohou data posílat dál. Pokud používáte cizí hostované API, rozhodují jeho podmínky, nikoli jen licence vah. Tyto situace nelze shrnout jedním štítkem „EU“.

Před nasazením si ověřte:

• kdo vydal konkrétní verzi a z jakého základního modelu vychází;
• jaká licence se na soubory vztahuje a zda dovoluje zamýšlené použití;
• kdo provozuje výpočet a kde se uchovávají dotazy či záznamy;
• jaké nástroje jsou připojené a kam mohou předávat další data;
• kdo poskytne aktualizaci a podporu při nalezené chybě.

Jak novinku porovnat bez velké laboratoře

Připravte například dvacet až třicet skutečných, ale vhodně anonymizovaných úloh. Rozdělte je podle typu: krátký text, dlouhý dokument, výpočet a strukturovaný výstup. Pro každý případ předem určete, co musí správná odpověď obsahovat a co by bylo zásadní chybou.

Základní a upravený model pouštějte se srovnatelným nastavením. Neměňte současně hardware, délkový limit i způsob zadání, jinak nepoznáte příčinu rozdílu. U náhodného generování zopakujte část úloh, protože jeden pokus nemusí být reprezentativní. Výsledek zaznamenejte včetně selhání, ne pouze zdařilých ukázek.

Vedle času sledujte tyto položky:

• správnost podstatných údajů a dodržení požadovaného formátu;
• spotřebu uvažování odděleně od konečné odpovědi, pokud je dostupná;
• počet nedokončených úloh, opakování a ručních oprav;
• celkovou cenu použitelného výsledku v reálném provozním prostředí.

Co novinka mění v debatě o výkonnější AI

ThinkingCap připomíná, že zlepšení nemusí znamenat pouze větší model. Hodnota může vzniknout i omezením zbytečné práce. Pro provozovatele je zajímavé, když podobný výsledek vyžaduje méně prostředků. Čtenář by ale měl vždy požadovat popis toho, co se zachovalo a co se případně zhoršilo.

Tato zpráva tedy nepřináší univerzálního vítěze mezi modely. Přináší konkrétní optimalizované varianty a zveřejněnou metodiku, kterou mohou další lidé ověřovat. Základní pojmy a další cenové souvislosti vysvětlujeme v přehledu skutečných nákladů na AI. Pro výběr je rozhodující vaše práce a cena jejího dokončení.

Proč je potřeba hlídat také délkový limit

Model může selhat tím, že během uvažování vyčerpá povolený prostor a nedojde ke konečné odpovědi. Zkrácení zbytečných kroků pak nemusí jen ušetřit čas; může pomoci některé úlohy vůbec dokončit. Výsledek ale závisí na nastaveném limitu a na tom, jak často tento problém ve vašem provozu nastává.

Při porovnání proto nepovažujte nedokončenou odpověď za levný úspěch. Zaznamenejte ji jako selhání a započítejte další pokus. Jinak by mohl model s častým předčasným ukončením vypadat ekonomicky výhodně pouze proto, že vykonal méně práce. Cena má být spojena s přijatým výsledkem, nikoli s libovolným ukončeným voláním.

Stejně důležité je neměnit limity nenápadně mezi variantami. Pokud jednomu modelu dovolíte mnohem delší výstup, srovnáváte současně dvě věci. Takový experiment může mít smysl, ale musí být popsaný. Pro základní posouzení úpravy začněte podobnými podmínkami a teprve potom zkoušejte vlastní optimalizace.

Kvantizace může změnit paměť i výsledek

Menší varianta modelu může ukládat jeho hodnoty s nižší přesností. Tento postup se označuje jako kvantizace a pomáhá omezit nároky na paměť. Nejde však o totéž jako kratší uvažování. Jedna změna se týká reprezentace modelu, druhá způsobu generování při řešení úlohy.

Pokud srovnáte plnou přesnost základního modelu s úsporně uloženou upravenou variantou, může část rozdílu pocházet z kvantizace. Proto si zaznamenejte přesné označení souboru. Obecný název ThinkingCap nestačí k reprodukování výsledku, stejně jako obecný název notebooku nestačí k určení celé konfigurace.

Pro domácí použití může být menší varianta prakticky jedinou dostupnou cestou. To je legitimní důvod ji zvolit. Pořád je ale potřeba ověřit kvalitu na vlastních úlohách a nepřipisovat všechny výsledky pouze zveřejněné optimalizaci tokenů. V běžném provozu se několik technických voleb může navzájem ovlivňovat.

Z rychlejšího pokusu se nesmí stát více zbytečné práce

Levnější generování může vést k tomu, že tým začne spouštět více pokusů nebo vytvářet delší varianty bez jasného účelu. Celková spotřeba potom nemusí klesnout. To neznamená, že optimalizace nefunguje; mění se způsob používání. Hodnocení má oddělit cenu jedné srovnatelné úlohy a změnu celého objemu práce.

Příklad: firma před úpravou zpracovala stejnou dávku jednou denně a po zrychlení ji zbytečně spouští každou hodinu. Jednotková efektivita se zlepšila, ale účet může vyrůst. Pokud častější výsledek nepřináší hodnotu, samotná technická úspora se v podnikání neprojeví dobře. Proto k nasazení patří i rozumná pravidla spouštění.

Užitečné je určit, kdy nové zpracování opravdu potřebujete a kdy lze použít již ověřený výsledek. Vedle volby modelu může pomoci správná příprava podkladů nebo omezení zbytečně opakovaných volání. Není to vlastnost jedné konkrétní varianty ThinkingCap, ale obecný princip efektivního provozu AI.

BottleCap tak otevírá zajímavou praktickou debatu: jak zachovat užitečnost a přitom omezit zbytečný výpočet. Rozumný závěr není automaticky přepnout všechny úlohy. Je to vybrat reprezentativní scénář, změřit kvalitu i celkovou práci a rozhodnout podle doloženého výsledku. Právě tak se marketingové procento mění v použitelné rozhodnutí.

Časté otázky

Je ThinkingCap nový český ChatGPT?

Ne. Jde o řadu upravených modelů vycházejících z existujících základů jiných výrobců. ChatGPT je aplikace OpenAI. ThinkingCap lze za příslušných podmínek provozovat nebo využít přes konkrétního poskytovatele, ale nenahrazuje automaticky celý soubor funkcí spotřebitelského asistenta.

Znamená úspora 69 % stejně nižší účet?

Ne. Jde o největší snížení tokenů uvažování v konkrétním benchmarku Gemmy. Celkový účet zahrnuje i další položky a způsob účtování. Běžný výsledek vašeho provozu může být odlišný a pevné předplatné se samo od sebe nezmění.

Jsou zveřejněná čísla nezávislý test Digicomu?

Nejsou. Vycházejí z metodiky a výsledků BottleCap AI. V článku vysvětlujeme jejich význam a hranice. Neprovedli jsme vlastní měření těchto modelů a nevyvozujeme z výsledků pořadí kvality všech AI služeb ani jejich češtiny.

Je česká úprava automaticky evropský model?

Je přesnější uvést českého autora úpravy a původ základního modelu zvlášť. Umístění provozu je ještě další otázka. Právní a datové podmínky se proto nedají odvodit pouze z jedné země uvedené u názvu produktu.

Mohu model provozovat na běžném notebooku?

Záleží na variantě, paměti, kvantizaci, délce kontextu a použitém prostředí. Velikost staženého souboru není celý požadavek na provoz. Před nákupem hardwaru ověřte konkrétní sestavu a skutečnou úlohu; obecný název modelu kompatibilitu nezaručuje.

Co mám porovnávat jako první?

Správnost na vlastních úlohách a cenu dokončeného výsledku. Teprve potom má smysl hodnotit dílčí úsporu tokenů nebo rychlost. Model, který potřebuje mnoho oprav, nemusí být ekonomicky výhodnější ani při nižší spotřebě jednoho pokusu.