Useful AI things with Nat - Vol IX - [EN] [ES] What's going on with these AI models from China?

[EN] DeepSeek and the Coming AI Cost Disruption

English version here, versión en Castellano más abajo.

[EN] Greetings earthlings,

You can try DeepSeek AI right now. Open the interface, ask it anything, and see how it responds. Maybe it’s answering your questions with hallucinations. Maybe its guardrails are different from ChatGPT’s or CoPilot, allowing for less filtering. Or maybe it’s still rough around the edges. But if you stop at just testing the chat, you’re missing the bigger picture.

The real story isn’t just about how DeepSeek R1 performs in a user interface—it’s about what’s happening under the hood and what that means for the future of AI. Because if you understand what’s happening at the technical level, you can start to see the long-term economic, business, and policy implications.

I haven’t tested DeepSeek’s R1 model in depth yet—mainly because I’ve been reading everything I could find about its technical aspects. And, honestly, I’m still kind of on medical leave. But if you want to try it yourself, there are ways to do it, some of them thanks to Amazon Web Services (AWS) . [Quick update, Deepseek R1 is also available on Microsoft Azure AI Foundry and Github]

1. Test the API with your best and most rigorous stress-testing use cases.
2. Amazon SageMaker AI now supports running distilled Llama and Qwen DeepSeek models.
3. Amazon Bedrock’s Custom Model Import allows you to use distilled Llama DeepSeek models.
4. DeepSeek models can be trained on Amazon SageMaker AI through Hugging Face integration.

So if you want to experiment with the model beyond the chat interface, these are your best options.

But the real question isn’t how well DeepSeek works today—it’s what changes when this kind of optimization becomes the norm. And that’s where we need to go deeper.

DeepSeek’s Breakthrough in AI Efficiency

Over the past year, AI companies have been spending billions of dollars on GPUs, assuming that this level of investment will always be necessary. That assumption is already baked into their stock prices, their valuations, and their business models. But DeepSeek challenges that assumption in a way that could reshape the economics of AI.

DeepSeek’s latest model was trained for just $5 million—a fraction of what leading AI companies are spending. How? Instead of throwing more hardware at the problem, they optimized how AI models handle data and computation.

Here’s what they did differently:

• Using 8-bit numbers instead of 32-bit: This reduces memory usage, making it possible to run models on smaller, cheaper hardware.
• Compressing key-value (KV) data by 93%: Freeing up enormous amounts of space, allowing for more efficient processing.
• Predicting multiple words at once instead of one at a time: Doubling inference speed, making AI models much faster in real-world applications.
• Using a “Mixture of Experts” (MoE) model: Instead of one massive AI, DeepSeek splits the model into smaller, specialized parts that can run on standard GPUs.
• Optimizing GPU processing: Rewriting low-level code to get more performance out of existing hardware.

Their full research paper is available here, and if you’re technically inclined, you can read through the details of their optimizations.

But one of the most interesting aspects of DeepSeek is how it self-evaluates its performance and improves over time.

DeepSeek isn’t just optimized for efficiency—it’s also designed to continuously improve itself.

• Chain of Thought Reasoning: The model breaks down and share complex problems step by step, to get more accurate and logical responses, and that's part of the experience we have today via their chat interface.
• Self-Evaluation: DeepSeek can analyze its own outputs, identifying when it made errors and adjusting them accordingly.
• Reinforcement Learning: Instead of relying purely on human fine-tuning, DeepSeek uses reinforcement learning to guide its own improvements, making it more and more adaptable over time.

These aren’t just theoretical advancements—they directly impact how useful and scalable the model can be in real-world applications.

The Market Assumed AI Training Costs Would Stay High—That’s Changing

Right now, AI companies are valued based on the assumption that training large models will always require enormous amounts of compute. That’s why we’ve seen massive investments in:

• GPU farms – Companies are buying hundreds of thousands of chips, assuming they will always be needed.
• Cloud AI services – AWS, Azure, and Google Cloud have built entire business units around expensive AI training.
• Data center expansion – Billions are being spent on infrastructure to support AI workloads.

But what happens if those assumptions are wrong? If models can be trained 10 times cheaper than expected, those valuations start to look bloated.

Consider the ripple effects:

• AI startups that raised billions to cover compute costs may be massively overfunded.
• Cloud providers may lose their AI dominance as smaller players can train models independently.
• NVIDIA’s dominance in AI hardware could weaken as demand for the most expensive GPUs declines.

AI is Becoming More Accessible—And More Decentralized

Lower training costs mean that AI development is no longer just for billion-dollar companies. This could accelerate decentralized AI, where models are trained and run on distributed infrastructure rather than centralized cloud services.

If more people can train high-quality models without needing a data center full of $25k H100 GPUs, we could see AI development move outside of the control of a few major players. That means:

• More open-source AI models that can compete with closed systems.
• More local AI deployment, running on consumer hardware instead of cloud services.
• More innovation outside of Silicon Valley, as the cost barrier to training disappears.

The Future of AI Demand: More Inference, Less Training

IBM has already noted that demand for AI inference is four times larger than demand for training—and it’s growing. The cost of training has always been the bottleneck, but what happens when that bottleneck disappears?

When training costs fall, the entire AI industry shifts toward deploying more models in more places. That means:

• More AI-powered applications running on consumer devices.
• More edge AI, where models run directly on phones, laptops, and embedded systems.
• More custom AI models tailored to specific industries, because training is no longer prohibitively expensive.

What This Means for the Future

DeepSeek’s optimizations don’t just make AI cheaper—they make it faster, more efficient, and more widely available. That has enormous implications for:

• Tech companies – Who will thrive in a world where AI isn’t locked behind massive compute costs?
• Investors – Which AI businesses are overvalued based on outdated assumptions?
• Policymakers – How do regulations adapt when AI becomes more decentralized and less reliant on a few key players?

Goldman Sachs says

The analysis examines model development costs versus compute costs and their impact on the AI investment cycle. It highlights how these shifts will continue, influencing productivity and global growth—one of the key reasons this trend is being closely monitored.

This is where critical thinking matters. If you only look at how well DeepSeek’s chatbot works, you’re missing the point. The real shift is happening beneath the surface, in the infrastructure that powers AI.

And understanding that shift is the key to anticipating what comes next.

Further Reading:

• DeepSeek’s research paper: DeepSeek-V3.pdf
• Jevons Paradox and efficiency-driven demand: Wikipedia

[ES] DeepSeek y lo que viene en disrupción de costos de IA

[ES] Saludos terrícolas,

Puedes probar DeepSeek AI ahora mismo. Abre la interfaz, pregúntale lo que quieras y observa cómo responde. Tal vez esté alucinando respuestas. Tal vez sus filtros sean diferentes a los de ChatGPT o CoPilot, permitiendo menos censura. O tal vez aún le falte pulirse. Pero si solo te quedas probando el chat, te estarías perdiendo la historia más grande.

El verdadero impacto de DeepSeek R1 no está solo en cómo responde en una interfaz, sino en lo que sucede detrás y lo que eso significa para el futuro de la IA. Porque si entiendes lo que pasa a nivel técnico, puedes anticipar sus implicancias económicas, empresariales y de políticas públicas a largo plazo.

Todavía no he podido probar el modelo R1 de DeepSeek en profundidad, principalmente porque he estado leyendo todo lo técnico que encontré sobre él. Y, siendo honesta, sigo medio de baja médica. Pero si quieres probarlo tú mismo, hay varias maneras de hacerlo, algunas gracias a Amazon Web Services (AWS) , [Actualización: Deepseek R1 está disponible en Microsoft Azure AI Foundry and Github]

• Prueba la API con tus casos de prueba más exigentes y rigurosos.
• Amazon SageMaker AI ya soporta la ejecución de modelos destilados de Llama y Qwen DeepSeek.
• Amazon Bedrock permite importar modelos destilados de Llama DeepSeek.
• DeepSeek se puede entrenar en Amazon SageMaker AI a través de su integración con Hugging Face.

Así que si quieres experimentar con el modelo más allá del chat, estas son tus mejores opciones.

Pero la verdadera pregunta no es cómo funciona DeepSeek hoy, sino qué cambia cuando este tipo de optimización se vuelve la norma. Y ahí es donde hay que ir más a fondo.

La revolución de DeepSeek en la eficiencia de la IA

Durante el último a?o, las empresas de IA han gastado miles de millones de dólares en GPUs, asumiendo que este nivel de inversión será siempre necesario. Esa suposición está reflejada en sus valuaciones y modelos de negocio. Pero DeepSeek desafía esa premisa de una manera que podría redefinir la economía de la IA.

El último modelo de DeepSeek se entrenó con solo $5 millones, una fracción de lo que gastan las grandes empresas de IA. ?Cómo lo lograron? En lugar de solo usar más hardware, optimizaron cómo los modelos manejan datos y cómputo.

Esto es lo que hicieron diferente:

• Usaron números de 8 bits en lugar de 32 bits, reduciendo el uso de memoria y permitiendo ejecutar modelos en hardware más barato.
• Comprimieron los datos de clave-valor (KV) en un 93%, liberando espacio y haciendo el procesamiento más eficiente.
• Predicen múltiples palabras a la vez en lugar de una por una, duplicando la velocidad de inferencia.
• Aplicaron un modelo de "Mixture of Experts" (MoE), dividiendo el modelo en partes más peque?as y especializadas que pueden correr en GPUs estándar.
• Optimizaron el procesamiento en GPU, reescribiendo código de bajo nivel para sacarle provecho al hardware existente.

Su paper completo está disponible para quien quiera leer los detalles técnicos de estas optimizaciones.

Pero uno de los aspectos más interesantes de DeepSeek es cómo evalúa su propio rendimiento y mejora con el tiempo.

Cómo DeepSeek se autoevalúa y mejora con el tiempo

DeepSeek no solo está optimizado para eficiencia, sino que está dise?ado para mejorarse a sí mismo.

• Razonamiento en Cadena de Pensamiento (Chain of Thought): Desglosa problemas complejos paso a paso para generar respuestas más precisas y lógicas, algo que ya se percibe en su chat.
• Autoevaluación: El modelo analiza sus propias salidas, detecta errores y los ajusta.
• Aprendizaje por refuerzo: En lugar de depender solo de ajustes humanos, DeepSeek usa refuerzo para guiar su propia mejora, volviéndose más y m adaptable con el tiempo.

Estos no son solo avances teóricos, sino mejoras prácticas que hacen que el modelo sea más útil y escalable en aplicaciones reales.

La industria asumió que entrenar IA siempre sería caro—Eso está cambiando

Las empresas de IA han sido valuadas bajo la premisa de que entrenar modelos grandes requerirá siempre enormes cantidades de cómputo. Por eso han invertido miles de millones en:

• Granjas de GPUs – Comprando cientos de miles de chips, asumiendo que siempre serán necesarios.
• Servicios de IA en la nube – AWS, Azure y Google Cloud han construido unidades enteras de negocio en torno al entrenamiento caro de IA.
• Expansión de data centers – Miles de millones invertidos en infraestructura para soportar cargas de IA.

Pero, ?qué pasa si esas suposiciones son erróneas? Si los modelos pueden entrenarse 10 veces más barato de lo esperado, las valuaciones actuales podrían estar infladas.

Posibles efectos en el mercado:

• Startups de IA que recaudaron miles de millones para cómputo podrían estar sobre-financiadas.
• Proveedores de nube podrían perder dominio en IA si empresas más peque?as pueden entrenar modelos por su cuenta.
• El dominio de NVIDIA en hardware de IA podría debilitarse si la demanda de GPUs ultra caras disminuye.

IA más accesible y descentralizada

Si entrenar IA deja de ser tan costoso, la IA dejará de estar concentrada en unas pocas empresas con gran infraestructura. Esto podría acelerar el desarrollo de IA descentralizada, donde los modelos se entrenan y ejecutan en infraestructura distribuida en lugar de en grandes nubes centralizadas.

Esto significa:

• Más modelos open-source compitiendo con sistemas cerrados.
• Más IA local, corriendo en hardware de consumo en lugar de en la nube.
• Más innovación fuera de Silicon Valley, ya que la barrera de costos desaparece.

El futuro de la IA: Más inferencia, menos entrenamiento

IBM ya identificó que la demanda de inferencia es cuatro veces mayor que la de entrenamiento, y sigue creciendo. Hasta ahora, el costo del entrenamiento ha sido el cuello de botella, pero ?qué pasa cuando desaparece?

Cuando el entrenamiento se abarata, la industria se mueve hacia desplegar más modelos en más lugares, lo que implica:

• Más aplicaciones impulsadas por IA corriendo en dispositivos de usuario final.
• Más IA en el edge, ejecutándose en teléfonos, laptops y sistemas embebidos.
• Más modelos personalizados para industrias específicas, porque entrenar ya no es prohibitivo.

?Qué significa esto para el futuro?

Las optimizaciones de DeepSeek no solo hacen la IA más barata, sino también más rápida, eficiente y accesible. Esto tiene enormes implicancias para:

• Empresas tecnológicas – ?Quién prosperará en un mundo donde la IA ya no está restringida por costos de cómputo masivos?
• Inversionistas – ?Qué negocios de IA están sobrevaluados por suposiciones obsoletas?
• Policymakers – ?Cómo se adaptan las regulaciones cuando la IA se vuelve más descentralizada y menos dependiente de unos pocos jugadores?

Goldman Sachs dice

El análisis examina los costos de desarrollo de modelos frente a los costos de cómputo y su impacto en el ciclo de inversión en IA. Destaca cómo estos cambios continuarán influyendo en la productividad y el crecimiento global, una de las razones clave por las que se monitorea de cerca esta tendencia.

Este es el punto donde el pensamiento crítico es clave. Si solo te fijas en qué tan bien funciona el chat de DeepSeek, te pierdes la historia real. El verdadero cambio está ocurriendo en la infraestructura que impulsa la IA.

Y entender ese cambio es la clave para anticipar lo que viene.

Lecturas recomendadas:

• Paper de DeepSeek
• La paradoja de Jevons y la demanda impulsada por la eficiencia

?Aún tienes preguntas sobre cómo aplicarlo? Agenda una reunión para profundizar en el tema.