📑 Obsah (11 sekcí)
Klíčová Zjištění a Shrnutí (2026)
- Prompt injection je text, který oklame jazykový model, aby následoval instrukce útočníka místo vašich. Může přijít přímo od uživatele, nebo být skrytý na webové stránce, v souboru či e-mailu, který model čte.
- Detektory kontrolují vstupy, volání nástrojů a výstupy nástrojů na známky únosu. Mnoho útoků zachytí, jiné ale propustí.
- Výsledky benchmarků se špatně přenášejí. Jedna studie z roku 2026 zjistila, že detektor, který zachytil 72 % útoků na jednom benchmarku pro agenty, zachytil na jiném jen 15 %.
- Každý detektor posuzujte na výstupech vlastních nástrojů při nízké míře falešných poplachů a zkombinujte ho s omezenými oprávněními a lidským schválením pro rizikové akce.
- Před nákupem porovnávejte nástroje podle změřeného výkonu a skutečných cen, nikoli podle hlavního čísla přesnosti uváděného dodavatelem.
Otestujte DeepEval v produkci
Jednotkové testy LLM ve stylu Pytest pro věrnost, míru halucinací a pokrytí RAG
Detekce prompt injection je filtr, který kontroluje text vstupující do vaší AI aplikace nebo výstupy nástrojů, jež aplikace volá, a označuje vše, co se snaží dát modelu nové instrukce. Vyplatí se ji mít, ale není to neprostupná zeď. Na tom, jaký detektor si vyberete, záleží méně než na tom, jak ho otestujete na vlastním provozu a co postavíte kolem něj.
Tento průvodce vysvětluje útok srozumitelně, ukazuje, co detektory kontrolují, a dává vám krátkou hodnoticí rutinu, kterou můžete spustit dříve, než utratíte peníze za jakýkoli detekční nástroj.
Co je prompt injection, jednoduše řečeno
Jednotkové testy LLM ve stylu Pytest pro věrnost, míru halucinací a pokrytí RAG
Co detektor prompt injection skutečně kontroluje
Detektor je klasifikátor. Prohlédne si kus textu nebo akci a vrátí verdikt či skóre spolehlivosti. To, kde ve vaší pipeline sedí, určuje, co dokáže vidět.
Kontrola vstupu
Nejjednodušší umístění kontroluje zprávu uživatele dříve, než dorazí k modelu. Může využívat seznamy vzorů, natrénovaný klasifikátor nebo druhý model požádaný o posouzení textu. Nejlépe funguje na přímé útoky. OWASP doporučuje používat takové prověřování pro logování, revizi nebo omezování počtu požadavků a jasně říká, že nejde o bezpečnostní hranici: útočníci mohou instrukce přeformulovat, přepnout jazyk nebo zakódovat payloady, například v Base64.
Kontroly volání nástrojů a jejich výstupů
U agentů je užitečnější umístění kolem samotných akcí. Referenční dokumentace OpenAI Guardrails Python popisuje kontrolu, která prověřuje volání funkcí před jejich spuštěním a výstupy nástrojů po jejich návratu a ptá se, zda jsou v souladu s cílem uživatele. Sleduje tento cíl, volání, výstupy, hodnotu spolehlivosti a vámi nastavený práh a při zapnutém uvažování může zahrnout i důkazy z konverzace.
Dva detaily z této dokumentace stojí za to převzít do vlastního uvažování:
- Označuje volání nástrojů, která nesouvisejí s úkolem nebo jsou škodlivá, a soukromá data vrácená nástrojem, který nemá s požadavkem nic společného.
- Nepovažuje pouhou částečnou nebo málo účinnou odpověď za injekci. Slabá odpověď je problém kvality, nikoli útok.
Tento druhý bod je důležitý při ladění upozornění. Pokud váš detektor označí každou průměrnou odpověď, váš tým ho začne ignorovat.
Specializované detekční modely
Některé nástroje dodávají malý model natrénovaný výhradně k oddělování podvrženého textu od běžného textu. Jsou rychlé a levné na jedno volání, ale jejich kvalita silně závisí na tom, na čem byly natrénovány, což je místo, kde se většina kupujících nechá svést na scestí.
Jak přesné jsou detektory? Méně, než naznačují titulky
Poučení z návrhu PromptArmor, které stojí za to si osvojit, zní: měřte čtyři věci, ne jednu. Kolik útoků projde, kolik běžných položek je zablokováno, kolik ze skutečného úkolu stále funguje pod útokem a jak často útok dosáhne svého cíle.
Pětikroková rutina pro vyhodnocení detektoru ve vlastní aplikaci
Nepotřebujete výzkumnou laboratoř. Potřebujete pár hodin a poctivá data.
- Nasbírejte své reálné vstupy. Vytáhněte několik set vzorků toho, co vaše aplikace skutečně zpracovává: zprávy uživatelů, načtené stránky, těla e-mailů, odpovědi nástrojů. To je vaše neškodná sada. Pointa studie z roku 2026 je, že výkon závisí na distribuci neškodných výstupů vašeho vlastního agenta, takže obecný dataset je slabá náhrada.
- Přidejte podobné texty se spouštěcími slovy. Zahrňte neškodný text obsahující výrazy jako "ignore" (ignoruj), "instructions" (instrukce), "system" a "override" (přepiš). To je myšlenka NotInject aplikovaná na vaši doménu a včas odhalí přehnanou obranu.
- Sestavte sadu útoků. Napište podvržené varianty: přímé příkazy, instrukce ukryté v dokumentu, parafráze, neanglické verze a zakódované payloady. OWASP AI Testing Guide doporučuje pro generování a spouštění těchto testů sondu prompt-injection z Garaku, Prompt Security Fuzz a Promptfoo a žádá zahrnout do rozsahu odhalení systémového promptu, vyzrazení citlivých informací a neoprávněné či škodlivé akce.
- Nastavte práh nejprve podle falešných poplachů. Zvolte míru falešných poplachů, kterou vaši uživatelé snesou, například 1 %, a poté odečtěte míru detekce v tomto bodě. Detektor, který vypadá dobře jen při volném prahu, produkci nepřežije.
- Spouštějte testy pravidelně. Modely, prompty i nástroje se mění. Berte testovací sadu jako regresní sadu a spouštějte ji po každé významnější změně.
Pokud váš tým navrhuje vlastního agenta a rozhoduje, které nástroje smí volat, přehled firem vyvíjejících AI agenty v Evropě ukazuje, jak týmy takové nasazení popisují, což vám pomůže sepsat seznam oprávnění, proti němuž budete testovat.
Co detekce sama o sobě nezvládne
Každý seriózní zdroj dochází ke stejnému závěru: detekce je jen jedna vrstva.
- OWASP uvádí, že prověřování je třeba kombinovat s omezením oprávnění a lidským schválením pro citlivé akce. Jeho testovací metodika doporučuje omezit oprávnění LLM už v návrhu a vyžadovat lidské schválení pro citlivé nebo kritické operace.
- Studie z roku 2026 dochází k závěru, že i silnější detektory zaměřené na agenty přehlédly mnoho injekcí nesouvisejících s úkolem, a popisuje detekci jako filtr, který je nutné kombinovat se systémovými obranami.
- Autoři PromptArmor berou detektor jako krok, který odstraní podvržené prompty předtím, než agent jedná, a sledují, zda původní úkol uživatele nadále funguje.
V praxi to znamená vrstvené uspořádání:
Pro netechnického zakladatele je závěr jednoduchý. Ptejte se každého dodavatele, co produkt dokáže, když detektor mine, nejen jak často zachytí. Odpověď by se měla týkat oprávnění a schvalování, nikoli pouze skóre.
Výběr detekčního nástroje bez slepé důvěry v jediné číslo
Když vybíráte detektor, vrstvu ochranných mantinelů nebo AI produkt, který ji obsahuje, použijte tato kritéria:
- Kde se zapojuje. Pouze vstup, nebo také volání a výstupy nástrojů? Agenti potřebují druhou možnost.
- Ovládání prahu. Můžete nastavit úroveň spolehlivosti a vidět skóre, abyste ladili podle vlastního rozpočtu falešných poplachů?
- Uváděné metriky. Hledejte míru detekce při uvedené míře falešných poplachů, na více než jednom benchmarku a s popsanými trénovacími daty.
- Latence a cena za volání. Druhé volání modelu na každý výstup nástroje přidává čas i náklady. Změřte obojí ve vlastním stacku.
- Jazykové pokrytí. Pokud vaši uživatelé píšou v několika jazycích, otestujte je, protože vícejazyčné útoky jsou zdokumentovanou slabinou filtrů.
- Soulad s vašimi dovednostmi. Vývojář si rád zapojí open-source knihovnu. Zakladatel bez inženýra potřebuje něco, co funguje s několika nastaveními.
Je to stejná disciplína, jakou byste měli uplatnit u každého nákupu AI: publikovaná tvrzení jsou výchozí bod a rozhoduje reálný výkon, latence a cena na vaší zátěži. Náš průvodce čtením AI výkonnostních benchmarků vysvětluje, jak odlišit smysluplný benchmark od lichotivého.
Kam zapadá AI Maestro Hub
Než přidáte jakýkoli AI nástroj do stacku, který se dotýká dat zákazníků, zařaďte ho do užšího výběru v adresáři, zkontrolujte limity tarifů a skutečné náklady a poté spusťte výše uvedenou hodnoticí rutinu na vlastních vstupech.
Náš pohled: měřte na vlastní zátěži
Testujeme nástroje tak, jak je budete používat vy. Každý nástroj, který recenzujeme, stráví alespoň 14 dní v reálném produkčním stacku, protože demo prvního dne skrývá věci, které bolí později: latenci pod zátěží, náklady přerůstající limit tarifu a chování, které se mění, když jsou vstupy neuspořádané.
S detekcí prompt injection je to stejný příběh. Jediné číslo přesnosti ze stránky dodavatele je výsledek z dema. Potřebujete vědět, jak se nástroj chová na vašich vstupech, při míře falešných poplachů, kterou vaši uživatelé snesou, a se zbytkem vašeho stacku kolem.
Proto zveřejňujeme srovnávací tabulky, ověřené ceny a jasné verdikty a odmítáme sponzorované žebříčky. Pokud vybíráte AI nástroje pro agenta, automatizaci nebo produkt pro zákazníky, začněte od změřeného výkonu a nechte rozhodnout čísla na vlastní zátěži.
AIMaestrohub
Zdroje
- LLM Prompt Injection Prevention Cheat Sheet, OWASP
- Prompt Injection (Direct / Indirect), Microsoft Learn
- LLM01: Prompt Injection, OWASP Gen AI Security Project
- Prompt Injection Detection, OpenAI Guardrails Python
- Testing for Prompt Injection, OWASP AI Testing Guide
- Passing the Test You Trained On: Re-evaluating prompt injection detectors, arXiv 2026
- InjecGuard: Benchmarking and Mitigating Over-defense in Prompt Injection Guardrail Models, arXiv 2024
- PromptArmor: Simple yet Effective Prompt Injection Defenses, arXiv 2025
Často Kladené Otázky (FAQ)
Co je detekce prompt injection?
Dokáže detektor prompt injection zastavit každý útok?
Jak detekovat prompt injection ve vlastní aplikaci?
Proč detektor s vysokou přesností v benchmarku v produkci selhává?
Detekují se přímé a nepřímé injekce stejným způsobem?
Blog Poháněný AI Maestro Hub & BabyLoveGrowth
Tento článek využívá autonomní SEO a obsahovou architekturu BabyLoveGrowth (sémantické shlukování, automatické odesílání IndexNow a organickou výměnu zpětných odkazů).