IA local para empresas: cuándo tiene sentido ejecutar modelos en tus propios servidores
Ventajas y límites de ejecutar modelos de lenguaje en local, qué hardware hace falta, herramientas como Ollama o llama.cpp y cómo hacerlo de forma segura.
Los asistentes de IA en la nube son potentes y cómodos, pero implican enviar tus datos a un tercero. Para muchas empresas, sobre todo las que manejan información sensible, eso es un problema. La alternativa es ejecutar modelos de lenguaje en tus propios equipos. Es más accesible de lo que parece, pero tiene límites que conviene conocer antes de invertir.
Por qué ejecutar IA en local
- Privacidad y control: los datos no salen de tu infraestructura. Ayuda con el RGPD, con acuerdos de confidencialidad y con clientes exigentes.
- Coste previsible con mucho volumen: en la nube pagas por uso; en local, por hardware y electricidad. Con un uso intenso y constante, la cuenta puede salir a favor del local.
- Funciona sin internet y sin depender de la disponibilidad o los cambios de condiciones de un proveedor.
- Personalización: puedes elegir el modelo, ajustarlo a tu dominio o conectarlo a tus documentos internos.
Sus límites
- Calidad: los mejores modelos que se pueden ejecutar en un servidor razonable suelen quedar por detrás de los modelos más avanzados en la nube en razonamiento complejo, aunque para muchas tareas concretas (resumir, clasificar, extraer datos, redactar borradores) son más que suficientes.
- Hardware: los modelos grandes necesitan mucha memoria de GPU.
- Mantenimiento: actualizar modelos y herramientas, vigilar la seguridad, dar soporte a los usuarios. Alguien tiene que hacerlo.
- Licencias: los modelos de “pesos abiertos” tienen licencias muy distintas. Algunas permiten el uso comercial sin restricciones; otras imponen condiciones. Léelas antes de usarlos en producción.
Qué hardware hace falta
Lo que manda es la memoria, sobre todo la de la GPU. Una regla aproximada: un modelo necesita en torno a su número de parámetros multiplicado por los bytes que ocupa cada uno, más un margen para el contexto. Con cuantización (reducir la precisión de los números del modelo), la memoria necesaria baja mucho a cambio de una pequeña pérdida de calidad.
| Tamaño del modelo | Uso típico | Hardware orientativo (cuantizado) |
|---|---|---|
| Pequeño (hasta ~8.000 millones de parámetros) | Clasificar, resumir, extraer datos, asistentes sencillos | GPU de gama media con 8-12 GB, o un ordenador reciente con mucha RAM unificada |
| Mediano (~12.000 a 35.000 millones) | Redacción, asistentes internos, código | GPU con 16-24 GB o más |
| Grande (70.000 millones o más) | Tareas complejas cercanas a los modelos comerciales | Varias GPU o equipos con mucha memoria (decenas de GB) |
Sin GPU también funciona, pero mucho más lento: sirve para pruebas y para procesos por lotes sin prisa, no para un chat con muchos usuarios.
Las herramientas
- Ollama: la forma más sencilla de descargar y ejecutar modelos. Ofrece una API compatible con muchas aplicaciones.
- llama.cpp: el motor en el que se basan muchas herramientas. Muy eficiente, también en CPU.
- vLLM y soluciones similares: pensadas para servir modelos a muchos usuarios a la vez con buen rendimiento en GPU.
- Open WebUI: una interfaz tipo chat, con usuarios y permisos, para que la plantilla use los modelos desde el navegador.
El caso de uso estrella: preguntar a tus documentos
Con la técnica RAG (Retrieval-Augmented Generation), el sistema busca en tus documentos internos (manuales, procedimientos, contratos) los fragmentos relevantes y se los pasa al modelo para que responda con ellos. El modelo no necesita “aprender” tus datos, y las respuestas pueden citar la fuente. Es el primer proyecto de IA local para muchas empresas.
Seguridad: lo que se suele olvidar
- No expongas la API del modelo a internet. Algunas herramientas no tienen autenticación por defecto: cualquiera que llegue al puerto puede usar tu servidor y tu GPU. Escucha solo en local o en la red interna, y pon delante un proxy con autenticación si hace falta acceso remoto.
- Controla los permisos de los documentos en los sistemas RAG: el asistente no debe responder a un empleado con información que ese empleado no podría ver.
- Cuidado con la inyección de instrucciones (prompt injection): un documento o una web con instrucciones ocultas puede manipular al modelo. Nunca le des al modelo permisos para ejecutar acciones sin revisión.
- Descarga modelos de fuentes fiables y verifica su origen.
- Registra el uso, respetando la privacidad de la plantilla, para detectar abusos.
¿Local, nube o las dos cosas?
Para muchas empresas, lo más sensato es un enfoque híbrido: modelos locales para los datos sensibles y las tareas repetitivas de gran volumen, y servicios en la nube con contrato empresarial para las tareas que necesitan el máximo rendimiento y no incluyen información delicada.
Preguntas frecuentes
¿Puedo probarlo sin comprar nada? Sí. Con Ollama y un modelo pequeño puedes hacer pruebas en un portátil reciente. Te servirá para comprobar si la calidad es suficiente para tu caso antes de invertir en hardware.
¿Un modelo local cumple automáticamente el RGPD? Ayuda mucho, porque los datos no salen de la empresa, pero sigue siendo un tratamiento de datos: necesitas base legal, medidas de seguridad y, según el caso, evaluación de impacto.