IA en local: modelos, Ollama, embeddings y hardwareLocal AI: models, Ollama, embeddings and hardware

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-oss:20b",
       "messages":[{"role":"user","content":"HolaHello"}]}'

Para un solo usuario, todos se sienten parecidos en el mismo hardware. La diferencia aparece con peticiones simultáneas: en una prueba citada, vLLM sirvió ≈ 793 tok/s frente a ≈ 41 de Ollama. Cifras de una única fuente.For a single user they all feel similar on the same hardware. The difference shows with simultaneous requests: in one cited test, vLLM served ≈ 793 tok/s against ≈ 41 for Ollama. Figures from a single source.

# Ollama: descargar y chatear# Ollama: download and chat
ollama pull qwen3-coder:30b
ollama run qwen3-coder:30b

# llama.cpp: servidor propio (-c contexto, -ngl capas en GPU, --jinja plantilla de chat)# llama.cpp: your own server (-c context, -ngl layers on GPU, --jinja chat template)
llama-server -m modelo.gguf -c 16384 -ngl 99 --port 8080 --jinja

Casi todas las dudas de hardware se resuelven con dos cuentas sencillas: ¿cabe? y ¿a qué velocidad va?Almost every hardware question comes down to two simple calculations: does it fit, and how fast will it run?

Cuenta 1 · ¿Cabe?Calculation 1 · Does it fit?

Tamaños orientativos calculados a partir de los bits por peso; las fuentes dan ≈ 20 GB para un 32B en Q4 y ≈ 43 GB para un 70B en Q4.Indicative sizes computed from bits per weight; the sources give ≈ 20 GB for a 32B at Q4 and ≈ 43 GB for a 70B at Q4.

Cuenta 2 · ¿A qué velocidad?Calculation 2 · How fast?

Ancho de banda en GB/s. Los "medidos" proceden de pruebas de terceros con distintos programas y cuantizaciones: sirven como orden de magnitud.Bandwidth in GB/s. The "measured" figures come from third-party tests with different programs and quantisations: use them as an order of magnitude.

Por qué algunos modelos grandes van rápido: denso frente a MoEWhy some big models run fast: dense versus MoE

Dos fases: leer tu mensaje y escribir la respuestaTwo phases: reading your message and writing the answer

Lo que importa es, por este orden: cuánta memoria rápida tienes (decide qué cabe) y cuánto ancho de banda tiene (decide la velocidad).What matters, in this order: how much fast memory you have (decides what fits) and how much bandwidth it has (decides speed).

Precios de una fuente de abril 2026; cámbialos por los actuales. Sin GPU potente también se puede: llama.cpp corre en CPU, solo que mucho más lento y con modelos pequeños.Prices from an April 2026 source; replace with current ones. You can also run without a strong GPU: llama.cpp runs on CPU, just much slower and with small models.

Velocidad medida de generación (tokens por segundo)Measured generation speed (tokens per second)

Cada grupo es un tamaño de modelo; compara dentro del grupo. Mezcla pruebas de terceros con distintos programas y cuantizaciones, algunas con rangos: úsalo como orden de magnitud.Each group is one model size; compare within a group. It mixes third-party tests with different programs and quantisations, some as ranges: use it as an order of magnitude.

Lista según las etiquetas de Ollama a octubre de 2026 en una fuente de terceros. Los nombres y versiones cambian a menudo: úsala como mapa, no como lista cerrada.A list based on Ollama tags as of October 2026 from a third-party source. Names and versions change often: use it as a map, not a closed list.

Algunas etiquetas (Mistral Large 4, GLM-5.3, Kimi K3…) solo existen como servicio en la nube y no se pueden ejecutar en local. Según la fuente, Qwen3-Coder 30B es el mejor equilibrio calidad/memoria para una GPU de 24–32 GB.Some tags (Mistral Large 4, GLM-5.3, Kimi K3…) exist only as cloud services and cannot be run locally. According to the source, Qwen3-Coder 30B is the best quality-per-memory balance for a 24–32 GB GPU.

Cómo se usa en RAG (preguntar a tus documentos)How it is used in RAG (asking your documents)

# Vectorizar un texto con Ollama# Embed a text with Ollama
ollama pull nomic-embed-text
curl http://localhost:11434/api/embed \
  -d '{"model":"nomic-embed-text","input":"mascota pequeñasmall pet"}'

Un modelo útil no sale de un solo entrenamiento: es una cadena de etapas. Cada etapa le añade algo distinto y solo algunas están al alcance de una persona.A useful model does not come out of a single training run: it is a chain of stages. Each stage adds something different and only some are within reach of an individual.

1. 1Gran laboratorioBig lab

   PreentrenamientoPre-training

   Se enseña al modelo a adivinar la siguiente palabra (token) en cantidades enormes de texto, código e imágenes. Resultado: un modelo base. Sabe completar textos, pero no obedece instrucciones. Requiere clústeres de miles de GPUs durante semanas o meses (orden de magnitud general, no de las fuentes de esta guía).The model is taught to guess the next word (token) over enormous amounts of text, code and images. Result: a base model. It can continue texts but does not follow instructions. It takes clusters of thousands of GPUs for weeks or months (a general order of magnitude, not from this guide's sources).

2. 2Gran laboratorioBig lab

   Ajuste con ejemplos (SFT)Instruction tuning (SFT)

   Se le muestran miles de ejemplos "pregunta → buena respuesta" en formato de chat. Resultado: un modelo instruct o de chat que entiende turnos y sigue instrucciones.It is shown thousands of "question → good answer" examples in chat format. Result: an instruct or chat model that understands turns and follows instructions.

3. 3Gran laboratorioBig lab

   Preferencias y refuerzoPreferences and reinforcement

   Se premian las respuestas mejores, según valoraciones humanas o automáticas (RLHF, DPO). En los modelos de razonamiento se premia también acertar problemas con respuesta comprobable (matemáticas, tests de código), y así aprenden a "pensar" antes de responder.Better answers are rewarded, based on human or automatic ratings (RLHF, DPO). For reasoning models, solving problems with checkable answers (maths, code tests) is rewarded too, so they learn to "think" before answering.

4. 4Gran laboratorioBig lab

   Entrenamiento con herramientasTool-use training

   Se le enseña con ejemplos a responder con una llamada estructurada (nombre de herramienta + argumentos) cuando hace falta. Es lo que separa un modelo que solo charla de uno que puede usar herramientas (sección 10).It is taught, with examples, to reply with a structured call (tool name + arguments) when needed. This is what separates a model that only chats from one that can use tools (section 10).

5. 5Gran laboratorioBig lab

   DestilaciónDistillation

   Un modelo pequeño aprende imitando las respuestas de uno grande. Así se obtienen versiones que caben en casa; por ejemplo, deepseek-r1:32b es una versión destilada.A small model learns by imitating a large one's answers. That is how versions that fit at home are made; for example, deepseek-r1:32b is a distilled version.

6. 6Tú o la comunidadYou or the community

   Cuantización y empaquetadoQuantisation and packaging

   Se reduce la precisión de los pesos (sección 04) y se guardan en un archivo como GGUF. Es lo que realmente descargas.Weight precision is reduced (section 04) and saved into a file such as GGUF. It is what you actually download.

7. 7TúYou

   Afinado propio con LoRAYour own fine-tuning with LoRA

   En vez de reentrenar todos los pesos, se congela el modelo y se entrena un adaptador pequeño (LoRA) con tus ejemplos. Sirve para estilo, formato o un dominio concreto. En modelos de imagen, una fuente indica 12–16 GB de VRAM mínimos y 30–90 minutos en una RTX 4090. Para texto, QLoRA permite afinar modelos de unos 7–14B en GPUs de 16–24 GB (orden de magnitud general).Instead of retraining all weights, the model is frozen and a small adapter (LoRA) is trained on your examples. It suits style, format or a specific domain. For image models, one source gives 12–16 GB of VRAM minimum and 30–90 minutes on an RTX 4090. For text, QLoRA lets you tune ~7–14B models on 16–24 GB GPUs (a general order of magnitude).

La pregunta clave para distinguir un modelo es siempre la misma: ¿qué recibe y qué produce? Un modelo que entiende imágenes no tiene por qué saber dibujarlas.The key question to tell models apart is always the same: what does it take in and what does it produce? A model that understands images does not necessarily know how to draw them.

Dos formas de generar: palabra a palabra o desde el ruidoTwo ways of generating: word by word or from noise

Qué hardware piden los de imagen y vídeoWhat image and video models ask of your hardware

La fuente no da tiempos por clip de vídeo; en general el vídeo tarda mucho más que una imagen. Para afinar modelos de imagen con LoRA conviene 24 GB. Un mismo documento da cifras de FLUX que no cuadran entre sí (≈ 24 GB en FP16 frente a 8–16 GB cuantizado): comprueba antes de comprar.The source gives no times per video clip; in general video takes far longer than an image. For LoRA training of image models 24 GB is recommended. The same document gives FLUX figures that do not quite agree (≈ 24 GB in FP16 against 8–16 GB quantised): check before buying.

Un modelo nunca ejecuta nada por sí mismo. Lo único que hace es escribir texto. Un modelo "con herramientas" está entrenado para escribir, cuando conviene, un texto con un formato exacto que tu programa interpreta como "ejecuta esto".A model never runs anything by itself. All it does is write text. A "tool-using" model is trained to write, when it makes sense, text in an exact format that your program interprets as "run this".

Capas de comportamiento, de dentro hacia fueraLayers of behaviour, from the inside out

Cómo funciona una llamada a herramienta, paso a pasoHow a tool call works, step by step

// Lo que devuelve el modelo en el paso 2 (formato tipo OpenAI)// What the model returns in step 2 (OpenAI-style format)
{ "role": "assistant",
  "tool_calls": [ { "function": {
      "name": "get_weather",
      "arguments": { "location": "Tokyo" } } } ] }

Esto es lo que ocurre dentro de agentes como los de la guía anterior: el harness es tu programa, y las herramientas pueden venir de servidores MCP. En local, con llama-server hay que arrancarlo con --jinja para que use la plantilla de chat del modelo, que es la que sabe escribir las llamadas.This is what happens inside agents like those in the previous guide: the harness is your program, and the tools can come from MCP servers. Locally, llama-server must be started with --jinja so it uses the model's chat template, which is the one that knows how to write the calls.

Cinco montajes reales, de menos a más exigente. Son ilustrativos: ajusta modelos y tamaños a lo que tengas.Five realistic setups, from least to most demanding. They are illustrative: adjust models and sizes to what you have.

ollama run gpt-oss:20b

Token

Trozo de texto (≈ ¾ de palabra) que el modelo lee y escribe. Todo se mide en tokens.A piece of text (≈ ¾ of a word) the model reads and writes. Everything is measured in tokens.

ContextoContext

La cantidad de tokens que el modelo puede tener delante a la vez (p. ej. 128K, 256K).The number of tokens the model can hold in view at once (e.g. 128K, 256K).

Pesos / parámetrosWeights / parameters

Los números aprendidos que forman el modelo. "7B" = 7.000 millones.The learned numbers that make up the model. "7B" = 7 billion.

GGUF

Formato de archivo de llama.cpp: pesos + tokenizador + plantilla en un solo archivo.llama.cpp's file format: weights + tokenizer + template in one file.

safetensors

Otro formato de pesos, el habitual para vLLM y herramientas de entrenamiento.Another weights format, usual for vLLM and training tools.

CuantizaciónQuantisation

Guardar los pesos con menos bits para que ocupen menos. Q4_K_M ≈ 4,5 bits.Storing weights with fewer bits so they take less space. Q4_K_M ≈ 4.5 bits.

VRAM

Memoria de la GPU. En un Mac, la memoria unificada hace el mismo papel.GPU memory. On a Mac, unified memory plays the same role.

Caché KVKV cache

Memoria de trabajo de la conversación. Crece con el contexto.The conversation's working memory. It grows with context.

Denso / MoEDense / MoE

Denso: usa todos los pesos por token. MoE: solo unos pocos "expertos".Dense: uses all weights per token. MoE: only a few "experts".

Prefill / decode

Leer el prompt (rápido, cálculo) y escribir la respuesta (más lento, ancho de banda).Reading the prompt (fast, compute) and writing the answer (slower, bandwidth).

tok/s

Tokens por segundo al generar. La medida de velocidad habitual.Tokens per second when generating. The usual speed measure.

Open-weight

Pesos descargables, con una licencia propia; no siempre equivale a "open source".Downloadable weights under their own licence; not always the same as "open source".

Embedding

Vector que representa el significado de un texto.A vector representing the meaning of a text.

RAG

Buscar trozos relevantes antes de responder y dárselos al modelo como contexto.Fetching relevant chunks before answering and giving them to the model as context.

LoRA

Afinado barato: se entrena un adaptador pequeño sobre un modelo congelado.Cheap fine-tuning: a small adapter is trained on top of a frozen model.

DestilaciónDistillation

Que un modelo pequeño aprenda imitando a uno grande.A small model learning by imitating a large one.

VLM

Modelo visión-lenguaje: lee imágenes y responde con texto.Vision-language model: reads images and answers with text.

DifusiónDiffusion

Técnica de los generadores de imagen y vídeo: limpiar ruido paso a paso.Technique behind image and video generators: cleaning noise step by step.

Tool calling

El modelo escribe una petición estructurada y tu programa ejecuta la función.The model writes a structured request and your program runs the function.

Plantilla de chatChat template

El formato exacto con que se convierten los mensajes en texto para el modelo. Cada modelo tiene la suya.The exact format used to turn messages into text for the model. Each model has its own.