LLM local en la empresa: hardware, costes, realidad
Un LLM local necesita menos hardware de lo que se piensa. Lo decisivo es elegir el tamaño de modelo adecuado a la tarea.
Traducción generada automáticamente con IA. La versión alemana es el original revisado por la redacción.
Operar un modelo de lenguaje en casa está hoy más al alcance de la mediana empresa de lo que sugiere el debate. Muchos casos de uso prácticos funcionan en una única tarjeta gráfica profesional, no en un centro de datos. El error costoso más frecuente no es tener poco hardware, sino elegir un modelo demasiado grande para una tarea que uno más pequeño resuelve igual de bien.
Este artículo aclara qué hardware soporta qué tamaño de modelo, cómo se presenta el cálculo de costes a tres años y qué exige realmente la operación en el día a día.
01. Qué hardware necesita realmente un LLM local
La magnitud decisiva es la memoria gráfica, es decir, la VRAM de la GPU. Determina qué modelo puede cargarse siquiera. Mediante la cuantización, es decir, una representación numérica más económica de los pesos del modelo, esta necesidad disminuye notablemente, por lo general sin pérdida de calidad perceptible en tareas especializadas.
A grandes rasgos: un modelo de la clase de 7 a 8 mil millones funciona cuantizado en una tarjeta con unos 16 a 24 gigabytes de VRAM. Los modelos en torno a 30 mil millones de parámetros suelen necesitar una tarjeta con unos 48 gigabytes. Para los modelos realmente grandes, más allá de 70 mil millones de parámetros, se requieren varias tarjetas. Muchos casos de la mediana empresa se mantienen en las dos primeras clases.
02. Tamaño de modelo: más pequeño suele bastar
La tentación de elegir el modelo más potente disponible es grande. En la práctica, el tamaño de modelo adecuado es una función de la tarea, no de la ambición. Para clasificación, extracción de documentos o la respuesta a preguntas a partir de una base de conocimiento, a menudo basta un modelo más pequeño en cuanto un buen retrieval aporta los pasajes correctos.
Justo aquí rinde la relación que ya hemos mostrado en otro lugar: un retriever bien ajustado hace útil a un modelo más pequeño y ahorra hardware. Hasta dónde llegan ya los modelos abiertos se puede constatar en publicaciones recientes, como Kimi K2.7 Code y Nemotron 3 de NVIDIA, que están disponibles de forma abierta y funcionan en hardware propio.
03. El cálculo de costes a tres años
Una única GPU profesional cuesta, según la clase, una cifra de cuatro dígitos media a alta, a lo que se suman servidor, electricidad y operación. Es una inversión única. Frente a ella, en un servicio en la nube está el pago por consulta, que crece con el uso.
La comparación justa no calcula el precio del día, sino los costes totales a lo largo de dos a tres años con la carga que usted espera. Con un uso constante y alto, el hardware local se amortiza a menudo en ese periodo. Con carga baja o muy fluctuante, la nube suele resultar más barata. La comparación completa está en On-Premise vs. LLM en la nube: cuándo la IA local es la elección correcta.
04. Operación, mantenimiento y el chequeo de realidad
El hardware es la parte visible, la operación la subestimada. Un modelo local hay que actualizarlo, supervisarlo y protegerlo. Necesita a alguien que instale modelos, mantenga la base de datos vectorial e intervenga en caso de fallo. Para equipos más pequeños, ese es el verdadero esfuerzo, no la compra de la tarjeta.
La ventaja: las herramientas que trabajan en local y no envían nada al exterior encajan en esta arquitectura. Un ejemplo de nuestro propio trabajo es Graphify, que convierte una base de código en un grafo de conocimiento de forma local, sin que el código abandone el dispositivo. Estos componentes locales reducen el esfuerzo operativo porque no requieren ninguna cesión adicional de datos al exterior.
05. Un punto de partida realista
El comienzo sensato es pequeño y concreto: un caso de uso claramente delimitado, un modelo de la clase más pequeña, una única GPU y un retrieval bien montado. De ahí el equipo aprende la operación, y la siguiente fase de ampliación se decide desde la experiencia, no desde la hoja de datos.
Quien quiera empezar con el conocimiento de los documentos encontrará el montaje adecuado en ¿Qué es RAG? Retrieval-Augmented Generation explicada para la mediana empresa. Por qué el control operativo sobre los modelos cuenta a largo plazo está en La lección de soberanía de Fable 5.
