驗證真正的無審查行為,而不僅是行銷說詞
首先發送觸發標準安全篩選的提示詞。一個真正的 uncensored LLM 應在不猶豫或添加聲明的情況下回答。商業模型經常拒絕爭議性主題,而開源變體則允許它們。使用包括成人主題和政治意見在內的多樣化輸入進行測試。確保回應是直接且明確的。避免仍注入對話填充詞的模型。目標是獲得適合您應用程式的原始輸出。
檢查多個請求之間的一致性。某些模型僅在第一次嘗試時拒絕。其他模型則會拒絕特定關鍵字。記錄哪些主題通過、哪些失敗。這些資料有助於您調整應用程式邏輯。您需要清楚了解模型在上線前會如何回應。
檢查長對話的上下文視窗限制
驗證輸入與輸出的最大 token 數量。寬廣的上下文視窗可讓對話更長且不會遺失歷史記錄。我們的 uncensored API 支援 100,000 token 的上下文視窗。這包含 prompt 與 completion。每個請求最多可指定 16,000 個 token。若您未設定此限制,預設值為 2,048 個 token。此預設值對於複雜任務通常太短。
監控模型處理上下文溢出的方式。某些模型會遺忘對話的早期部分。其他模型則會隨著視窗填滿而降低品質。使用長文件進行測試,以了解品質下降的臨界點。規劃您的應用程式以有效管理上下文。您可能需要總結較舊的訊息以保持視窗清晰。這能確保長期一致的效能。
確保串流支援以實現即時使用者體驗
啟用串流以隨著生成交付 Token。這能提供更流暢的使用者體驗。使用者可以看到回應即時出現。我們的 API 支援透過伺服器發送事件(SSE)進行串流。您可以在最後一個區塊中追蹤 Token 用量。此功能對於聊天介面至關重要。它能顯著降低感知延遲。
測試您的客戶端程式碼以正確處理部分回應。確保您的 UI 更新順暢且不閃爍。優雅地處理網路中斷。串流增加了錯誤處理的複雜性。確保您的應用程式在失敗時能夠恢復或重新啟動串流。這種可靠性對於生產環境中的應用程式至關重要。
使用工具定義測試函式呼叫
驗證模型是否能正確理解並執行工具。定義一個帶有參數的簡單工具結構描述。發送觸發該工具的請求。檢查模型是否回傳正確的工具呼叫。確保它能處理多個工具而不混淆。此功能對於建構助手至關重要,它允許模型與外部系統互動。
測試邊緣案例,例如缺少參數或無效值。模型應清楚報告錯誤。驗證模型是否嚴格遵循工具架構。任何偏差都可能破壞您的應用程式邏輯。記錄行為以供未來參考。這有助於除錯並隨著時間改善整合。
為結構化資料擷取驗證 JSON 模式
確保模型能輸出有效的 JSON。使用 response_format 參數設定為 json_object. 這可強制模型回傳嚴格格式化的資料。請使用各種資料結構(包括巢狀物件和陣列)進行測試。驗證輸出在您的應用程式中能否正確解析。這對於自動化資料處理管線至關重要。
檢查常見的 JSON 錯誤,例如尾隨逗號。確保模型能處理字串內的特殊字元。使用大型負載進行測試,以查看模型是否能維持結構。無效的 JSON 可能會破壞您的整個工作流程。驗證每個回應以確保可靠性。此步驟可節省後續大量的除錯時間。
確認隱私:提示詞是否用於訓練?
查看 API 供應商的隱私政策。驗證您的提示詞是否未用於訓練。這對於专有數據至關重要。某些供應商會使用輸入數據來改進其模型。其他供應商則嚴格保持數據私密。我們的服務不會將提示詞用於訓練。這確保了您的數據保持機密。
確認數據保留政策。數據儲存多久?處理後是否刪除?這些細節對合規性很重要。確保供應商符合您的特定隱私需求。將此記錄下來以供參考。這可保護您的應用程式免受潛在的數據洩漏。
審查速率限制與併發請求上限
檢查每分鐘請求限制。我們的 API 允許每個密鑰每分鐘 300 次請求。您還可以同時進行 8 次請求。這足以滿足大多數應用程序的需求。監控您的使用情況以避免觸及限制。超過限制將返回錯誤代碼。實施帶有指數退避的重試邏輯。
在高負載下測試限制。發送多個並行請求以驗證上限。確保您的應用程式能優雅地處理錯誤。這可防止您的應用程式在高峰時間崩潰。規劃您的架構以分攤負載(如有需要)。這確保了在壓力下的一致性表現。
了解計費模式:預付 vs. 訂閱
我們的 API 使用預付信用額度模式。您為使用的 token 付費,而非月度費用。成本為每 1M 輸入 token $0.15。輸出 token 的成本為每 1M token $0.50。錯誤和拒絕是免費的。此模式透明且可預測。您只能使用加密貨幣充值。
檢查最低充值金額。最低為 $20。每次最多可添加 $500。較大金額可獲得額外信用額度。信用額度永不過期。這與按月收費且無論使用與否均收費的訂閱模式不同。計算您的預期用量,以有效管理信用額度。
測試邊緣案例:特殊字元和編碼
發送包含特殊字符和表情符號的請求。確保模型能正確處理它們。使用不同語言的非 ASCII 字符進行測試。驗證響應中是否保留了編碼。某些模型會截斷或損壞特殊字符,這可能會破壞您的應用程序顯示。
使用大型有效負載進行測試。確保模型能處理長字串而不出錯。檢查記憶體限制或超時。記錄測試期間發現的任何問題。這有助於調整您的應用程式以增強健壯性。確保您的客戶端能優雅地處理編碼錯誤。