Il routing AI assegna un compito al modello più adatto, invece di usare lo stesso LLM per tutto. Testo e documenti, immagini e forecasting tabellare richiedono prove diverse. Qualità, tempi di risposta, costi, trattamento dei dati e alternative in caso di errore vanno verificati su esempi del proprio processo.
Classificare prima di instradare
Una domanda su una policy richiede ricerca e risposta con fonte; una previsione SKU-negozio richiede confronto quantitativo; la lettura di una foto richiede capacità visive. Un router può selezionare il percorso, ma deve essere testato anche quando la richiesta è ambigua.
Vincoli oltre la qualità
Valuta dove transitano i dati, permessi, residenza e conservazione applicabili, tempo massimo accettabile e costo per richiesta. Un modello più potente non è sempre quello più utile per una domanda breve o ripetitiva.
Fallback e controllo
Se un modello o una fonte non è disponibile, il fallback deve mantenere gli stessi permessi e dichiarare il limite; non trasformare un errore in una risposta inventata. Versiona test e criteri: cambiare modello può cambiare il comportamento anche a parità di prompt.
Primi controlli
- Separare i compiti per tipo di dato e azione.
- Confrontare modelli su casi reali e negativi.
- Definire soglie di qualità, costo e latenza.
- Verificare fallback e permessi.
Routing AI vuol dire cambiare modello a ogni messaggio?
Non necessariamente. Significa scegliere un percorso adeguato al compito e ai vincoli, anche mantenendo lo stesso modello quando è quello corretto.
