IA dans une app pour des zones à faible connexion : streaming, réponses courtes, mode hors ligne

Plusieurs leviers, du plus simple au plus ambitieux :

1. Streamer la réponse. Affichez les mots au fur et à mesure (SSE ou streaming HTTP) : l'utilisateur lit après 1 à 2 secondes au lieu d'attendre 20 secondes devant un écran vide, et une coupure en cours de route laisse au moins une réponse partielle.

2. Réponses courtes par défaut. Demandez explicitement des réponses brèves, avec un bouton « En savoir plus ». Moins de tokens, c'est moins de latence, moins de data et moins de coût.

3. Requêtes résilientes

• Timeout côté client et reprise : si la connexion coupe, réessayez avec le même identifiant de requête (le serveur renvoie la réponse déjà calculée au lieu de rappeler le modèle).
• Mettez les questions en file d'attente hors ligne et envoyez-les au retour du réseau (Service Worker ou stockage local), avec un statut visible (« Ap tann koneksyon… »).

4. Cache côté serveur pour les questions fréquentes : une FAQ bien faite répond instantanément à une grande partie des demandes, sans appeler le modèle.

5. Payload léger : pas de gros SDK côté client, et du JSON compact. Compressez (gzip/brotli) et évitez d'envoyer tout l'historique à chaque message : le serveur le garde.

6. Modèles sur l'appareil, pour certains cas (classification, détection de langue, suggestions) : de petits modèles embarqués fonctionnent sans réseau. Pour la génération de texte de qualité en kreyòl, le serveur reste en général nécessaire aujourd'hui.