Inference generování textu
Definition
Inference generování textu (TGI) je specializovaný softwarový rámec určený pro obsluhu …
Terms tagged with Deployment
Inference generování textu (TGI) je specializovaný softwarový rámec určený pro obsluhu …
Řezání zahrnuje identifikaci a odstranění neuronů, propojení nebo filtrů v neuronové …
Vyvinutý společností Intel umožňuje OpenVINO (Open Visual Inference and Neural network …
Tato kategorie zahrnuje metody jako odstraňování prvků (pruning), kvantizaci a distilaci …
V kontextu inženýrství AI umožňují mikroservis různé komponenty AI pipeline, jako je …
MLOps umožňuje organizacím nasazovat a udržovat modely strojového učení ve produkčním …
Spuštění lokálního LLM zahrnuje nasazení modelů s otevřenými váhami přímo na …
Problém „poslední míle“ označuje výzvy spojené s nasazováním modelů do produkce, včetně …
Ochranné prvky označují sadu softwarových kontrolních mechanismů a vrstev vynucování …
GPT OSS obvykle označuje alternativy s otevřeným zdrojovým kódem nebo deriváty …
Tato praxe zahrnuje nasazení vycvičených modelů AI přímo na hardware, jako jsou chytré …
Edge computing řeší omezení latence a šířky pásma cloudově orientovaných architektur …
Jednosouborový formát difuzních modelů označuje strategii balení strojových učebních …
Také známá jako predikce nebo skórování, inferenční fáze probíhá po fázi trénování …
Testování v inženýrství AI zahrnuje důkladné hodnocení modelů proti různým sadám dat za …
Kvantizace převádí čísla vysoké přesnosti (např. FP32) na formáty nižší přesnosti (např. …
Docker umožňuje vývojářům zabalit aplikaci se všemi jejími závislostmi do standardizované …
V umělé inteligenci označuje ‘reálný čas’ schopnost systému zpracovávat …
AI s nízkými náklady se zaměřuje na efektivitu, snaží se snížit bariéry vstupu a provozní …
Ačkoli tradičně znamená dopravu, v terminologii AI může metaforicky popisovat mechanismus …
Cloud computing poskytuje škálovatelnou infrastrukturu pro zátěž AI, umožňuje vývojářům …
Inference označuje fázi nasazení, kdy je finální model používán k přijímání rozhodnutí …