Du microcontrôleur au cluster d'entraînement : ce que les investisseurs ignorent du calcul pour l'IA

Le boom du calcul pour l'IA est le plus important déploiement d'infrastructure de la décennie, et la majeure partie du capital qui y est investie est allouée à l'aide de modèles écrits par des personnes qui n'ont jamais déployé un modèle. Ayant construit des systèmes d'IA à toutes les échelles, depuis des microcontrôleurs de quelques milliwatts sur le terrain jusqu'à des charges de travail en cluster, voici ce que cette perspective d'ingénierie change dans l'analyse d'investissement.

Le calcul n'est pas une commodité : les charges de travail sont des profils

La « demande en IA » est traitée comme un seul chiffre dans la plupart des modèles. En réalité, l'entraînement et l'inférence sont des activités différentes. L'entraînement veut les accélérateurs les plus récents, des interconnexions denses, une densité de puissance extrême et tolère une flexibilité de localisation. L'inférence veut la proximité des utilisateurs, une forte utilisation, et s'exécute de façon rentable sur du matériel plus ancien. Une installation conçue pour l'un ne sert pas automatiquement l'autre : la densité de puissance, le design du refroidissement, la topologie réseau et même la charge au sol diffèrent. Quand une présentation dit « prête pour l'IA », la première question d'ingénierie est : prête pour quel profil de charge de travail ?

La dépréciation des GPU est un évènement économique, pas calendaire

Les accélérateurs meurent rarement ; ils sont surpassés. Chaque génération matérielle améliore suffisamment la performance par watt que, aux prix de l'électricité des centres de données, les puces plus anciennes perdent des tâches d'entraînement non pas parce qu'elles sont lentes mais parce qu'elles coûtent cher à alimenter. La conséquence économique : la dépréciation devrait être modélisée comme une cascade (entraînement phare, puis fine-tuning, puis inférence, puis charges de niche) avec un revenu par palier, plutôt que comme une droite allant jusqu'à zéro. La longueur de la cascade dépend du prix de l'électricité du site, ce qui explique pourquoi la même flotte de GPU vaut des montants différents selon les bâtiments.

La périphérie absorbe discrètement l'inférence

Une tendance structurelle sous-estimée par les investisseurs : des charges de travail qui exigeaient autrefois un aller-retour vers un serveur s'exécutent désormais sur l'appareil. Les microcontrôleurs modernes et les NPU exécutent localement des modèles de vision, d'audio et de détection d'anomalies ; nous expédions de tels systèmes dans des produits industriels aujourd'hui. Chaque modèle qui migre vers la périphérie représente une demande d'inférence qui n'atteint jamais un centre de données. Cela n'entame pas le boom de l'entraînement, mais cela plafonne la croissance en longue traîne de l'inférence que de nombreux modèles de centre de données supposent silencieusement pour les années futures. Le résultat est une courbe de demande avec un pic plus large à court terme et une queue plus incertaine que ce que montrent les modèles consensuels.

Le risque technologique se cache dans l'interconnexion et le refroidissement

Les investisseurs examinent les feuilles de route des puces mais rarement les systèmes qui les entourent. Deux exemples ayant des conséquences directes sur le CapEx : la densité de puissance par rack a été multipliée en quelques générations matérielles, remettant en cause les hypothèses de refroidissement par air et forçant des retrofits liquides en plein cycle de dépréciation ; et les clusters d'entraînement vivent ou meurent selon la bande passante d'interconnexion, qui dicte la configuration des salles et l'infrastructure de câblage. Une installation qui ne peut physiquement suivre ces courbes ne devient pas sans valeur, elle devient une installation d'inférence, avec l'économie de l'inférence. Cette transition devrait exister dans le modèle comme un scénario, et non surgir comme une surprise.

À quoi ressemblent des hypothèses défendables

Rien de tout cela ne plaide contre l'investissement dans les centres de données, le déploiement est réel et durable. Cela plaide en faveur de modèles dont les hypothèses techniques survivraient à une conversation avec un ingénieur : demande spécifique par charge de travail, dépréciation en cascade liée au prix de l'électricité, absorption par l'edge dans la queue d'inférence, et scénarios de retrofit pour la densité et le refroidissement. C'est le standard que nous appliquons à notre propre travail de conseil, car nous avons été aux deux extrémités : écrire les modèles et écrire le micrologiciel.