FreeLLMAPI è un proxy OpenAI-compatible self-hosted che risolve uno dei problemi più banali e allo stesso tempo più frustranti di chi lavora con i modelli linguistici: gestire decine di free tier separate.
Invece di tenere a mente rate limit, chiavi e base URL diversi per Google Gemini, Groq, Cerebras, Mistral, OpenRouter, GitHub Models e molti altri, il progetto mette tutto dietro un unico endpoint /v1. Tu fornisci le tue chiavi free (nessuna carta di credito richiesta per la maggior parte dei provider) e il router si occupa del resto.
Come funziona
Il sistema:
- sceglie il modello migliore disponibile in base a priorità, salute della chiave e quote residue
- esegue failover automatico in caso di 429, errori 5xx o timeout
- tiene traccia dell'uso per chiave (RPM, RPD, TPM, TPD) in modo da non superare i limiti
- cifra le chiavi upstream con AES-256-GCM e le memorizza in SQLite locale
I client parlano solo con il tuo proxy usando una chiave unificata freellmapi-…. Le chiavi originali dei provider non escono mai dalla macchina.
Numeri e capacità
Secondo i dati più recenti del progetto e del sito ufficiale:
- 28 provider
- centinaia di modelli free
- circa 4 miliardi di token gratuiti al mese (somma delle quote individuali)
- supporto a streaming, tool calling e vision
- endpoint Anthropic-compatible (/v1/messages)
- generativa media (immagini e audio/TTS)
- MCP server
- structured outputs
Il tutto scritto in TypeScript, rilasciato sotto licenza MIT e progettato esplicitamente per uso personale e sperimentazione. Non è pensato (né pubblicizzato) come soluzione di produzione.
Installazione
Il modo più rapido è il one-liner Docker:
curl -fsSL https://freellmapi.co/install.sh | bash
In alternativa si può clonare il repository, generare una ENCRYPTION_KEY e avviare con Docker Compose o in modalità sviluppo con Node.js 20+.
Una volta avviato si apre la dashboard locale (porta 3001), si inseriscono le chiavi dei provider e si copia la chiave unificata da usare nei client OpenAI, LangChain, Cursor o qualunque altro tool compatibile.
Limiti da tenere presenti
Le free tier non sono stabili. I provider possono cambiare quote, modelli o termini di servizio senza preavviso. L'intelligenza "degrada" man mano che le quote giornaliere vengono esaurite. Non esiste SLA e il progetto sconsiglia esplicitamente di usarlo in produzione multi-tenant o come backend di servizi a pagamento.
Per prototipi, agent personali, testing di modelli e sperimentazione quotidiana, però, rimuove una quantità notevole di attrito.
Conclusione
FreeLLMAPI non inventa nuovi modelli. Aggrega in modo intelligente ciò che già esiste gratis e lo rende utilizzabile con una sola riga di configurazione. Per chi passa molto tempo a passare da una free tier all'altra, è uno strumento pratico e ben fatto.
Repository: https://github.com/tashfeenahmed/freellmapi
Sito e catalogo live: https://freellmapi.co/
Testo: assistito da AI · revisionato da Carlos H. P. Ross
