Перевірте справжню поведінку без цензури, а не просто маркетинг
Почніть із надсилання промптів, які викликають стандартні фільтри безпеки. Справжня uncensored LLM повинна відповідати без вагань або додавання застережень. Комерційні моделі часто відмовляються від суперечливих тем, тоді як варіанти з відкритим кодом дозволяють їх. Тестуйте з різними вхідними даними, включаючи дорослі теми та політичні думки. Переконайтеся, що відповідь є прямою. уникайте моделей, які все ще вставляють розмовні заповнювачі. Мета — отримати сирій вивід, придатний для вашої програми.
Перевірте узгодженість при кількох запитах. Деякі моделі відмовляють лише при першій спробі. Інші відмовляють у конкретних ключових словах. Задокументуйте, які теми проходять, а які ні. Ці дані допоможуть вам налаштувати логіку вашого додатка. Вам потрібно точно знати, що скаже ваша модель, перш ніж вона вийде в продакшн.
Перевірка обмежень контекстного вікна для довгих розмов
Перевірте максимальну кількість токенів як для вхідних, так і для вихідних даних. Велике контекстне вікно дозволяє вести довші розмови без втрати історії. Наш uncensored API підтримує контекстне вікно на 100,000 токенів. Це включає як промпт, так і відповідь. Ви можете вказати до 16,000 токенів за запит. Якщо ви не встановите цей ліміт, за замовчуванням буде 2,048 токенів. Ця величина зазвичай замала для складних завдань.
Моніторьте, як модель обробляє переповнення контексту. Деякі моделі забувають раніші частини розмови. Інші втрачають якість по мірі заповнення вікна. Протестуйте з довгими документами, щоб з’ясувати, де знижується якість. Сплануйте свою програму так, щоб ефективно керувати контекстом. Можливо, вам знадобиться стислювати старі повідомлення, щоб звільнити вікно. Це забезпечує стабільну продуктивність з часом.
Переконайтеся, що підтримується потокова передача для інтерактивного UX
Увімкніть потокове передавання для доставки токенів по мірі їх генерації. Це створює більш плавний досвід користувача. Користувачі бачать відповідь, що з'являється в реальному часі. Наш API підтримує потокове передавання через Server-Sent Events. Ви можете відстежувати використання токенів у останньому фрагменті. Ця функція є важливою для чат-інтерфейсів. Вона значно зменшує сприйняту затримку.
Протестуйте клієнтський код на правильну обробку часткових відповідей. Переконайтеся, що ваш інтерфейс оновлюється плавно, без мерехтіння. Обробляйте мережеві перериви коректно. Потокова передача додає складності обробці помилок. Переконайтеся, що ваша програма може відновити або перезапустити потік у разі збою. Ця надійність є критично важливою для продуктивних додатків.
Протестуйте виклики функцій із визначеннями інструментів
Переконайтеся, що модель правильно розуміє та виконує інструменти. Визначте просту схему інструменту з параметрами. Надішліть запит, який активує інструмент. Перевірте, чи повертає модель правильний виклик інструменту. Переконайтеся, що вона обробляє кілька інструментів без плутанини. Ця можливість життєво важлива для створення асистентів. Вона дозволяє моделі взаємодіяти з зовнішніми системами.
Протестуйте крайні випадки, такі як відсутність параметрів або невірні значення. Модель повинна чітко повідомляти про помилки. Переконайтеся, що модель суворо дотримується схеми інструментів. Будь-яке відхилення може зламати логіку вашої програми. Документуйте поведінку для подальшого використання. Це допоможе в налагодженні та покращенні інтеграції з часом.
Перевірте режим JSON для вилучення структурованих даних
Переконайтеся, що модель може виводити дійсний JSON. Використовуйте response_format параметр встановлено на json_object. Це змушує модель повертати строго відформатовані дані. Тестуйте з різними структурами даних, включаючи вкладені об'єкти та масиви. Переконайтеся, що вивід коректно парсується у вашому додатку. Це важливо для автоматизованих конвеєрів обробки даних.
Перевірте наявність поширених помилок JSON, наприклад, зайвих комок. Переконайтеся, що модель коректно обробляє спеціальні символи всередині рядків. Протестуйте великі корисні навантаження, щоб побачити, чи зберігає модель структуру. Невалідний JSON може зруйнувати весь ваш робочий процес. Валідуйте кожну відповідь для забезпечення надійності. Цей крок заощадить значний час на налагодженні пізніше.
Підтвердіть конфіденційність: чи використовуються промпти для навчання?
Перевірте політику конфіденційності API-провайдера. Переконайтеся, що ваші промпти не використовуються для навчання. Це критично важливо для пропрієтарних даних. Деякі постачальники використовують вхідні дані для покращення своїх моделей. Інші зберігають їх суто приватними. Наш сервіс не використовує промпти для навчання. Це гарантує конфіденційність ваших даних.
Підтвердіть політику зберігання даних. Як довго зберігаються дані? Чи видаляються вони після обробки? Ці деталі мають значення для відповідності вимогам. Переконайтеся, що постачальник відповідає вашим специфічним вимогам до конфіденційності. Задокументуйте це для власних записів. Це захищає ваш додаток від можливих витоку даних.
Огляд Обмеження швидкості та ліміти одночасних запитів
Перевірте ліміт запитів за хвилину. Наш API дозволяє 300 запитів за хвилину на ключ. Ви також можете виконувати 8 запитів одночасно. Цього достатньо для більшості застосувань. Моніторьте своє використання, щоб уникнути досягнення лімітів. Перевищення ліміту повертає код помилки. Реалізуйте логіку повторних спроб з експоненційним сповільненням.
Перевірте ліміт під навантаженням. Надішліть кілька одночасних запитів, щоб перевірити обмеження. Переконайтеся, що ваш додаток обробляє помилки коректно. Це запобігає краху вашого додатка під час пікових навантажень. Сплануйте архітектуру для розподілу навантаження, якщо це необхідно. Це забезпечує стабільну продуктивність під тиском.
Розуміння моделі тарифікації: передоплата проти підписки
Наш API використовує модель попередньої оплати. Ви платите за використані токени, а не за щомісячну плату. Вартість становить $0.15 за 1M вхідних токенів. Вихідні токени коштують $0.50 за 1M токенів. Помилки та відмови безкоштовні. Ця модель прозора та передбачувана. Ви можете поповнити рахунок лише криптовалютою.
Перевірте мінімальну суму поповнення. Мінімальна сума — $20. Ви можете додати до $500 за раз. Бонусні кредити доступні для більших сум. Кредити не мають терміну дії. Це відрізняється від моделей підписки, які стягують щомісячну плату незалежно від використання. Розрахуйте очікуване використання, щоб ефективно керувати кредитами.
Протестуйте крайні випадки: спеціальні символи та кодування
Надсилайте запити зі спеціальними символами та емодзі. Переконайтеся, що модель правильно їх обробляє. Протестуйте з не-ASCII символами різними мовами. Переконайтеся, що кодування зберігається у відповіді. Деякі моделі обрізають або псують спеціальні символи. Це може зламати відображення вашого додатку.
Протестуйте з великими корисними навантаженнями. Переконайтеся, що модель обробляє довгі рядки без помилок. Перевірте обмеження пам'яті або таймаути. Задокументуйте будь-які проблеми, виявлені під час тестування. Це допомагає налаштувати ваш додаток для надійності. Переконайтеся, що ваш клієнт обробляє помилки кодування коректно.
