OpenAI a publicat detalii tehnice despre modul în care și-a scalat platforma de stocare online pentru a susține peste un miliard de utilizatori ChatGPT. Sistemul central, numit Habitat, a ajuns la un nivel la care serviciul scris inițial în Python procesa peste 20 de milioane de request-uri pe secundă, iar compania a decis ulterior să rescrie componenta în Rust.
Potrivit OpenAI, noua implementare Rust gestionează deja aproximativ 95% din traficul de producție. Compania afirmă că, în măsurătorile sale interne, serviciul este de șase ori mai eficient din punct de vedere CPU și de 15 ori mai eficient în utilizarea memoriei decât versiunea Python, cu latențe medii și tail latency semnificativ mai mici.
De ce a rezistat Python atât de mult
Unul dintre aspectele interesante ale materialului este că OpenAI nu descrie migrarea ca pe o reacție la un eșec al Python. Dimpotrivă, compania spune că a amânat rescrierea aproximativ un an pentru a prioritiza probleme mai urgente de scalare. Într-un sistem aflat într-o creștere foarte rapidă, rescrierea completă a unui serviciu critic poate consuma resurse fără să rezolve imediat cele mai importante blocaje.
Abia după maturizarea platformei, OpenAI a considerat justificată migrarea. Compania spune că doi ingineri, folosind Codex și GPT-5.5, au rescris serviciul în Rust în trimestrul al doilea din 2026.
Scara reală a backend-ului
Habitat este doar stratul de aplicație. OpenAI anunță că într-o parte viitoare a seriei va explica stratul de stocare care deservește peste 500 de petabytes și mai mult de 70 de milioane de request-uri pe secundă, folosind inclusiv Azure Cosmos DB.
Pentru operatorii de infrastructură, cifrele oferă un reper interesant despre costul tehnic al produselor AI de masă. Problema nu mai este doar inferența modelelor, ci și stocarea conversațiilor, metadatele, sincronizarea între produse, feature flags, gestionarea conexiunilor și protejarea resurselor downstream împotriva avalanșelor de request-uri.
Ce înseamnă migrarea spre Rust
Diferențele de eficiență raportate de OpenAI nu înseamnă că Rust este automat soluția optimă pentru orice backend. La această scară însă, o reducere de mai multe ori a consumului CPU și memorie poate produce economii operaționale substanțiale și poate reduce numărul de servere necesare pentru aceeași încărcare.
Materialul este relevant și pentru echipele mai mici printr-o lecție de arhitectură: optimizarea prematură poate fi la fel de costisitoare ca lipsa optimizării. OpenAI a folosit Python până când avantajele unei rescrieri au devenit suficient de mari pentru a justifica riscul și costul migrației.
Sursa:
OpenAI Engineering – Rapidly scaling online storage to serve over 1 billion ChatGPT users
Imagine: Kevin Ache / Unsplash.
