Ověřte skutečné chování bez omezení, ne jen marketing
Začněte odesláním promptů, které spustí standardní bezpečnostní filtry. Skutečně uncensored LLM by měl odpovídat bez váhání nebo přidávání vysvětlení. Komerční modely často odmítají kontroverzní témata, zatímco open source varianty je umožňují. Testujte s různými vstupy, včetně témat pro dospělé a politických názorů. Ujistěte se, že je odpověď přímá. Vyhněte se modelům, které stále vkládají konverzační plýtvání. Cílem je hrubý výstup vhodný pro vaši aplikaci.
Hledejte konzistenci napříč více požadavky. Některé modely odmítnou pouze při prvním pokusu. Jiné odmítají konkrétní klíčová slova. Dokumentujte, která témata projdou a která ne. Tato data vám pomohou vyladit logiku aplikace. Musíte přesně vědět, co váš model řekne, než půjde do produkce.
Zkontrolovat limity kontextového okna pro dlouhé konverzace
Ověřte maximální počet tokenů pro vstup i výstup. Velké kontextové okno umožňuje delší konverzace bez ztráty historie. Naše uncensored API podporuje kontextové okno o velikosti 100 000 tokenů. To zahrnuje jak prompt, tak i completion. Na požadavek můžete zadat až 16 000 tokenů. Pokud tento limit nezadáte, výchozí hodnota je 2 048 tokenů. Tato výchozí hodnota je často pro složité úkoly příliš krátká.
Sledujte, jak model zvládá přetečení kontextu. Některé modely zapomínají na dřívější části konverzace. Jiné zhoršují kvalitu, jak se okno zaplňuje. Otestujte s dlouhými dokumenty a zjistěte, klesá-li kvalita. Plánujte svou aplikaci tak, aby efektivně spravovala kontext. Možná budete muset shrnovat starší zprávy, aby bylo okno čisté. To zajišťuje konzistentní výkon v čase.
Zajistěte podporu streamování pro reálné uživatelské rozhraní
Povolte streamování pro doručování tokenů, jak jsou generovány. To vytváří plynulejší uživatelský zážitek. Uživatelé vidí odpověď, jak se objevuje v reálném čase. Naše API podporuje streamování pomocí Server-Sent Events. Využití tokenů můžete sledovat v poslední části. Tato funkce je nezbytná pro chatová rozhraní. Výrazně snižuje vnímanou latenci.
Otestujte svůj klientský kód, aby správně zpracoval částečné odpovědi. Ujistěte se, že se vaše uživatelské rozhraní aktualizuje plynule bez blikání. Gracefully zpracujte přerušení sítě. Streamování přidává komplexitu do zpracování chyb. Ujistěte se, že vaše aplikace dokáže stream pozastavit nebo restartovat, pokud selže. Tato spolehlivost je zásadní pro produkční aplikace.
Otestujte volání funkcí s definicemi nástrojů
Ověřte, že model rozumí nástrojům a správně je vykonává. Definujte jednoduchou schématu nástroje s parametry. Pošlete požadavek, který nástroj spustí. Zkontrolujte, zda model vrací správný volání nástroje. Ujistěte se, že zvládá více nástrojů bez záměny. Tato schopnost je zásadní pro tvorbu asistentů. Umožňuje modelu interagovat s externími systémy.
Otestujte hraniční případy, jako jsou chybějící parametry nebo neplatné hodnoty. Model by měl chyby jasně hlásit. Ověřte, že model striktně dodržuje schéma nástrojů. Jakákoliv odchylka může rozbít logiku vaší aplikace. Popište chování pro budoucí reference. Pomůže to při ladění a zlepšování integrace v čase.
Ověřte režim JSON pro extrakci strukturovaných dat
Ujistěte se, že model může výstupovat platný JSON. Použijte response_format parameter nastaven na json_object. Toto donutí model vrátit striktně formátovaná data. Otestujte s různými datovými strukturami včetně vnořených objektů a polí. Ověřte, že výstup se správně parsuje ve vaší aplikaci. To je zásadní pro automatizované zpracování dat.
Hledejte běžné chyby JSON, jako jsou koncové čárky. Ujistěte se, že model správně zpracovává speciální znaky uvnitř řetězců. Otestujte s velkými payloady, abyste zjistili, zda model zachovává strukturu. Neplatný JSON může rozbít celý váš workflow. Validujte každou odpověď pro zajištění spolehlivosti. Tento krok ušetří značný čas při ladění později.
Potvrdit soukromí: používají se podněty pro trénování?
Zkontrolujte zásady ochrany osobních údajů poskytovatele API. Ověřte, že vaše dotazy nejsou používány pro trénování. To je zásadní pro proprietární data. Někteří poskytovatelé používají vstupní data k vylepšování svých modelů. Jiná je přísně udržují v soukromí. Naše služba nepoužívá dotazy pro trénování. To zajišťuje, že zůstanou vaše data důvěrná.
Potvrdit zásady uchovávání dat. Jak dlouho jsou data uložena? Jsou smazána po zpracování? Tyto detaily jsou důležité pro soulad s předpisy. Ujistěte se, že poskytovatel splňuje vaše konkrétní požadavky na soukromí. Dokumentujte si to pro vlastní záznamy. To chrání vaši aplikaci před možnými úniky dat.
Zkontrolovat omezení rychlosti a kapacity souběžných požadavků
Zkontrolujte limit požadavků za minutu. Naše API umožňuje 300 požadavků za minutu na klíč. Můžete také provést 8 požadavků současně. To stačí pro většinu aplikací. Monitorujte své používání, abyste se vyhnuli překročení limitů. Překročení limitu vrátí kód chyby. Implementujte logiku opakování s exponenciálním zpomalením.
Otestujte limit při zátěži. Pošlete více souběžných požadavků k ověření kapacity. Ujistěte se, že vaše aplikace chybu zpracuje elegantně. Tím předejdete pádu aplikace během špiček. Plánujte architekturu tak, aby rozložila zátěž, pokud je to potřeba. To zajišťuje konzistentní výkon při tlaku.
Chápejte model fakturace: předplacený vs. předplatné
Naše API používá model předplaceného kreditu. Platíte za použité tokeny, ne za měsíční poplatek. Cena je $0,15 za 1M vstupních tokenů. Výstupní tokeny stojí $0,50 za 1M tokenů. Chyby a odmítnutí jsou zdarma. Tento model je transparentní a předvídatelný. Účet si můžete doplnit pouze kryptoměnou.
Zkontrolujte minimální částku pro doplnění. Minimum je $20. Můžete přidat až $500 najednou. Bonusový kredit je dostupný pro větší částky. Kredit nevyprší. To je odlišné od modelů předplatného, které účtují měsíčně bez ohledu na využití. Vypočítejte očekávané využití pro efektivní správu kreditů.
Otestujte hraniční případy: speciální znaky a kódování
Odesílejte požadavky se speciálními znaky a emoji. Ujistěte se, že model je správně zpracovává. Otestujte s ne-ASCII znaky v různých jazycích. Ověřte, že je kódování v odpovědi zachováno. Některé modely ořezávají nebo poškozuje speciální znaky. To může rozbít zobrazení vaší aplikace.
Otestujte velká datová tělesa. Ujistěte se, že model zpracovává dlouhé řetězce bez chyb. Zkontrolujte limity paměti nebo časové limity. Dokumentujte všechny problémy nalezené během testování. To pomáhá ladit vaši aplikaci pro robustnost. Ujistěte se, že váš klient zpracovává chyby kódování gracefulně.
