1. Deux promesses, pas une
La plupart des discussions sur l'IA privée portent sur la confidentialité : qui peut lire ce que vous saisissez. Une seconde promesse reçoit moins d'attention et compte autant. Quand le système produit une réponse, cette réponse doit résulter fidèlement du modèle, des documents et de la question, et pas d'un défaut du matériel.
Un dirigeant qui lit le résumé d'un acte de trust, un rapprochement de chiffres ou un projet de clause compte sur l'exactitude du système. Si la réponse est fausse, savoir qu'elle est restée privée console peu.
2. Ce qui peut mal tourner en mémoire
La mémoire contient les paramètres du modèle et l'état de travail de chaque requête. De temps en temps, un bit stocké change tout seul. Les causes vont du bruit électrique à la variation de fabrication, en passant par la chaleur et, rarement, le rayonnement. L'événement est physique et imprévisible, et dans une mémoire ordinaire il passe inaperçu.
La suite dépend de l'endroit où tombe le bit modifié. Souvent rien : la valeur n'est pas utilisée, ou l'effet est trop faible pour changer une sortie. Parfois l'effet est spectaculaire et le système plante, ce qui se voit au moins. Le cas gênant est le silencieux, où une valeur modifiée altère légèrement un résultat sans que rien ne signale que c'est arrivé.
3. Ce que fait l'ECC
La mémoire à code correcteur d'erreurs stocke des informations de contrôle supplémentaires à côté des données. À la lecture, le système peut détecter certaines catégories d'erreurs et en corriger une partie sur-le-champ. Les erreurs qu'il ne peut pas corriger sont signalées, au lieu d'être transmises en silence.
L'ECC réduit le risque qu'une erreur mémoire modifie un résultat sans que personne le sache. Elle ne rend pas un modèle exact, et elle n'empêche pas un modèle de mal lire un document. Elle traite une seule catégorie de défaillance, celle du matériel, et la traite bien.
4. Pourquoi cela compte davantage ici
Trois caractéristiques de l'IA privée relèvent l'enjeu.
La sortie nourrit une décision. Une erreur dans une conversation banale coûte un instant. Une erreur dans la lecture d'une clause, d'un total ou d'une date peut coûter très cher, et passer inaperçue longtemps.
Les charges de travail durent. Un système qui garde des modèles et de longs documents en mémoire pendant des heures ou des jours laisse plus de temps aux erreurs pour se produire qu'une courte session interactive.
Aucune équipe d'opérations d'éditeur ne veille derrière. Un fournisseur cloud surveille l'état du matériel sur toute une flotte et remplace les composants avant que le client ne voie un problème. Un système installé dans une résidence privée n'a pas cette équipe en arrière-plan, l'intégrité doit donc être une propriété de la conception.
5. L'ECC sur toute la gamme SARION
Chaque niveau SARION embarque de la mémoire GPU ECC.
| Niveau | Mémoire GPU ECC |
|---|---|
| SARION Confidant | 96 Go |
| SARION Regent | 192 Go |
| SARION Sovereign | 192 Go par nœud, 384 Go sur les deux nœuds |
SARION Monarch se décrit par son plan de mémoire à haute bande passante d'environ 2,3 To, en tant qu'architecture de supercalcul institutionnel.
C'est un choix délibéré, que nous appliquons à chaque niveau pour que la garantie d'intégrité ne dépende pas de ce que le client dépense.
6. Ce qu'un dirigeant doit demander
Tout fournisseur de matériel d'IA privée doit pouvoir répondre à ces questions sans détour.
- La mémoire qui contient le modèle et les données de travail a-t-elle une correction d'erreurs, et sur quels composants ?
- Que se passe-t-il quand une erreur non corrigeable survient ? Est-elle signalée, et qui voit le signalement ?
- Comment l'état du matériel est-il surveillé une fois le système installé ?
- Quelle est la procédure de maintenance quand un composant commence à faiblir ?
Si un fournisseur ne sait parler que de vitesse et de taille de modèle, la question de l'intégrité n'a sans doute pas été posée.
7. L'intégrité fait partie de la confiance
Un système souverain gagne la confiance de deux façons. Il garde les données là où le propriétaire les met, et il se comporte de la même manière chaque fois qu'on lui donne la même entrée. La première est le titre. La seconde est ce sur quoi un dirigeant s'appuie quand il agit.
La mémoire ECC est une petite ligne dans une fiche technique, et elle soutient la seconde promesse. Pour un travail qui finit par une signature, nous la tenons pour une exigence.
Pour les spécifications par niveau, écrivez à notre équipe d'ingénierie sur volta.quest.