Deepseek IA Development coûte 1,6 milliard de dollars, démystifiant le mythe

Deepseek, une startup chinoise de premier plan, est devenue un formidable concurrent sur le marché de l'IA, ce qui a un impact sur les cours des actions de Nvidia avec son approche innovante. Le chatbot de l'entreprise se présente avec une promesse convaincante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette déclaration reflète l'ambition de Deepseek de repousser les limites des capacités de l'IA.

L'architecture unique et les méthodes de formation des modèles de Deepseek les distinguent. L'une des technologies clés est la prédiction multi-token (MTP) , qui permet au modèle de prédire plusieurs mots simultanément, améliorant à la fois la précision et l'efficacité. Une autre innovation est l'approche du mélange d'experts (MOE) , en utilisant 256 réseaux neuronaux dans Deepseek V3, avec huit activés par jeton, améliorant la vitesse de traitement et les performances. De plus, l'attention latente multi-tête (MLA) se concentre sur des éléments de phrase cruciaux, réduisant les chances de manquer des détails importants et d'améliorer la capacité du modèle à capturer les nuances.

Malgré la prétention de Deepseek de dépenser seulement 6 millions de dollars pour former leur puissant réseau neuronal, Deepseek V3, une enquête plus approfondie révèle un investissement plus substantiel. La société exploite une infrastructure informatique importante, dont environ 50 000 GPU Nvidia Hopper dans plusieurs centres de données, ce qui coûte environ 1,6 milliard de dollars de serveurs et 944 millions de dollars en dépenses opérationnelles. Cette infrastructure soutient non seulement la formation d'IA, mais aussi la recherche et la modélisation financière.

En tant que filiale du Haid Flyer chinois, Deepseek bénéficie d'être autofinancée et de posséder ses centres de données, ce qui améliore son contrôle sur l'optimisation du modèle d'IA et accélère l'innovation. La structure compacte de l'entreprise, combinée à des salaires élevés attirant les meilleurs talents des principaux universités chinoises, permet une mise en œuvre agile et efficace des progrès de l'IA.

Alors que Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA depuis sa création, sa revendication d'un "budget révolutionnaire" semble surestimé lors de l'examen du contexte plus large de ses investissements et des coûts d'infrastructure. Néanmoins, l'approche de Deepseek démontre qu'une entreprise d'IA indépendante bien financée peut en effet rivaliser avec les géants de l'industrie, même si leurs coûts restent inférieurs à ceux de concurrents comme ChatGpt4O, qui a dépensé 100 millions de dollars pour la formation.

Image: esigame.com

Image: esigame.com

Image: esigame.com

Image: esigame.com