È uscito l’episodio 268 del Kubernetes Podcast: Agent Sandbox and Lovable, con Jonathan Grahl — Team Lead Infrastructure a Lovable — intervistato da Abdel Sghiouar e Kaslin Fields.

Lovable permette a utenti non tecnici di costruire prodotti SaaS tramite agenti AI, e per farlo usa Kubernetes in un modo piuttosto lontano dal deployment tradizionale: un pod per sessione utente, con una connessione persistente. «Our pods have to be alive until the user essentially closes their browser, which could be five minutes or 24 hours».

Da lì nascono i problemi interessanti:

• churn estremo: centinaia di pod al secondo, con i limiti di etcd che iniziano a farsi sentire;
• workload stateful ma non persistenti: il sandbox deve tenere stato per la durata della sessione, e poi sparire;
• networking: problemi con Cilium e la MTU / dimensione dei pacchetti sotto carico;
• Agent Sandbox come custom resource Kubernetes per gestire i sandbox;
• gVisor vs Firecracker vs Kata Containers: la scelta cade su gVisor per la memory reclamation, accettando un costo sulle operazioni di filesystem;
• warm pooling e snapshot di disco e memoria per abbattere i cold start, pagando in overhead di memoria.

La parte che mi ha colpito di più è quanto sia stato necessario forzare il sistema: «We break the replica set controller actively… we hack Kubernetes a lot to make it work». E la conclusione, onesta: Kubernetes è pluggable, ma per arrivare a milioni di sandbox con questo churn servirebbe sostituire parti core da cui dipendono tutti gli altri.

Nelle news della settimana: OpenTelemetry diventa progetto CNCF graduated (oltre 1,3 miliardi di download), aprono le nomination per le elezioni dei CNCF TAG (infrastructure, operations, dev experience, security), KubeCon India il 18-19 giugno a Mumbai e vari Kubernetes Community Days (Czechia, New York, Kuala Lumpur).

Ascolta l’episodio