Ještě před pár lety platilo, že AI v mobilní aplikaci znamená téměř vždy cloud. Dnes se situace rychle mění. Výkon čipů roste, frameworky pro edge inference dozrávají a firmy řeší soukromí dat mnohem přísněji než dřív. On-device AI proto dává smysl v případech, kde rozhoduje rychlá odezva, dostupnost bez internetu nebo citlivá data. To neznamená, že cloud mizí. Znamená to, že vzniká nový standard: hybridní architektura, kde mobil zvládne část inteligence lokálně a cloud řeší jen to, co je výpočetně těžké nebo vyžaduje sdílený kontext.
Které scénáře jsou dnes realistické
Nejpraktičtější use-case jsou ty, které mají krátký vstup, jasný výstup a časté opakování. Patří sem chytré doplňování textu, lokální shrnutí poznámek, klasifikace obrázků, detekce objektů v kameře, filtr spamu v notifikacích nebo personalizované doporučení v aplikaci. Tyto úlohy mohou běžet přímo na zařízení s minimální latencí, takže uživatel dostane odpověď téměř okamžitě. A to je UX rozdíl, který jde poznat během prvních sekund.
Výhodou je i odolnost. Když uživatel ztratí signál, aplikace stále funguje. V regionech se slabším připojením je to často zásadní konkurenční výhoda. Lokální inference také snižuje počet síťových volání, což pomáhá baterii i nákladům backendu.
On-device AI a soukromí: kde opravdu pomáhá
Soukromí není jen marketingová věta v release notes. Pokud data nemusí opustit zařízení, snižuješ riziko úniku i regulatorní zátěž. To je důležité například u osobních poznámek, hlasových vstupů, zdravotních metrik nebo firemních interních dat v BYOD prostředí. On-device AI umožní zpracovat citlivý obsah lokálně a do cloudu poslat jen anonymizované agregace nebo nic.
Zároveň je fér říct, že on-device neznamená automaticky bezpečné. Potřebuješ řešit šifrování modelů, ochranu proti reverznímu inženýrství a bezpečné aktualizace. U kritických funkcí je vhodné mít attestation, která ověří integritu aplikace i modelové verze.
Jak navrhnout hybridní architekturu bez chaosu
Nejčistší přístup je rozdělit úlohy podle složitosti. Mobil řeší rychlé a opakovatelné inference, cloud řeší složitější reasoning a úkoly vyžadující centrální data. Důležité je mít fallback strategii: pokud lokální model nedosáhne dostatečné confidence, požadavek jde do cloudu. Tím držíš kvalitu a zároveň šetříš náklady. K tomu přidej model routing podle zařízení, protože low-end telefon a vlajkový model mají úplně jiný výkon.
V provozu se vyplatí měřit tři KPI: latence na zařízení, spotřeba baterie a procento požadavků, které bylo nutné eskalovat do cloudu. Tyto metriky ti rychle ukážou, jestli je on-device část skutečně přínosná, nebo jen technologicky zajímavá.
Rollout strategie: nejdřív úzký pilot, pak škálování
Stejně jako u každé nové technologie je bezpečnější začít úzkým pilotem. Vyber jednu funkci, kde je benefit jednoznačný, například instantní sumarizace textu nebo lokální klasifikace obrázků. Pilot pusť na omezené procento uživatelů a porovnej výsledky proti cloud-only variantě. Sleduj nejen kvalitu výstupu, ale i crash rate, teplotu zařízení a dopad na baterii.
Pokud pilot vyjde, škáluj po vlnách a drž kompatibilitu s různými verzemi OS. Připrav si i scénář, kdy lokální model dočasně vypneš a přepneš vše na cloud. Tento kill switch je důležitý při nečekaném regresu kvality nebo problémech po aktualizaci systému.
On-device AI v mobilech už dnes dává reálný smysl. Ne všude, ale v řadě scénářů přináší lepší latenci, vyšší robustnost a silnější kontrolu nad daty. Firmy, které začnou s disciplinovaným pilotem a hybridní architekturou, získají náskok, který nepůjde dohnat jen větším cloudovým rozpočtem.