Lewati ke konten

Bikin rantai fallback

Keluhan paling umum soal free tier LLM: satu provider abis kuota cuma dari beberapa prompt doang — apalagi kalau di-integrasi ke IDE. Jawabannya bukan "pakai provider ini", tapi susun beberapa provider berurutan, otomatis lompat ke yang berikutnya begitu satu kena limit.

Pilih 2–4 provider di bawah, urut prioritasnya, terus generate config siap-pakai — Vercel AI SDK, LiteLLM, TypeScript polos, atau .env.

Catatan jujur: rate limit itu per akun, bukan per rantai. Nyusun beberapa provider ngurangin downtime — bukan ngaliin kuota jadi lebih besar dari yang dikasih masing-masing provider.

Generator rantai fallback

Rantai provider

2/4 provider
  1. Aion Labs
  2. Cerebras

Minimal 2 provider buat bikin rantai fallback.

// Vercel AI SDK — @ai-sdk/openai-compatible + ai
// npm install ai @ai-sdk/openai-compatible

import { createOpenAICompatible } from "@ai-sdk/openai-compatible";
import { generateText } from "ai";

// Rantai model, urut dari prioritas tertinggi ke paling belakang.
// AI SDK belum punya fallback bawaan, jadi kita coba satu-satu manual.
const fallbackModels = [
  createOpenAICompatible({
    name: "aion-labs",
    apiKey: process.env.AION_LABS_API_KEY,
    baseURL: "https://api.aionlabs.ai/v1",
  })("aion-2.0"), // Aion Labs
  createOpenAICompatible({
    name: "cerebras",
    apiKey: process.env.CEREBRAS_API_KEY,
    baseURL: "https://api.cerebras.ai/v1",
  })("gemma-4-31b-it"), // Cerebras
];

export async function generateWithFallback(prompt: string) {
  let lastError: unknown;

  for (const model of fallbackModels) {
    try {
      const { text } = await generateText({ model, prompt });
      return text;
    } catch (err) {
      lastError = err;
      // lanjut ke model berikutnya di rantai
    }
  }

  throw new Error(`Semua provider di rantai gagal: ${String(lastError)}`);
}

5 provider di direktori belum muncul di generator ini (Agnes AI, Chutes.ai, Glhf.chat, OpenCode Zen, Grok (xAI)) — sumbernya belum nyediain base URL API secara terstruktur, jadi config-nya ga bisa di-generate tanpa nebak.