**Mi homelab con IA local: vale la pena? — Transcript & Summary | SozAI** Source: https://sozai.app/transcript/local-ai-homelab-worth-it/ Erik Taveras muestra su homelab de 170 contenedores en siete máquinas, con IA local en una Evo X2 que reemplaza APIs de pago, seguridad, observabilidad y consumo energético. ## Key Takeaways - Un homelab bien diseñado puede reemplazar servicios SaaS de pago y ahorrar dinero recurrente. - Hardware de segunda mano como las mini PC de oficina ofrece buen rendimiento por poco dinero. - La IA local es viable para tareas de clasificación y automatización, reduciendo costos de API y protegiendo datos privados. - La observabilidad y la seguridad (túneles sin puertos abiertos, VPN privada, UPS) son fundamentales en un homelab de este tamaño. ## What the video covers - El homelab llegó a tener 170 contenedores corriendo en siete máquinas, creciendo desde una sola mini PC en mayo. - Hardware: Beelink SER 9 (Ryzen 7, 24 GB) como nodo principal, Lenovo ThinkCentre M720Q, tres Raspberry Pi para vigilancia y un QNAP NAS de 72 TB brutos (48 TB útiles con RAID). - Los servicios se agrupan en vida personal (Immich para fotos, gestor de contraseñas, Drive propio, domótica, bloqueador de publicidad), negocio (firma de documentos, Listmonk para correo masivo, Chatwoot, Forgejo, Umami) y automatizaciones con n8n. - La Evo X2 (Ryzen AI Max Plus 395, 128 GB RAM, 64 GB asignados a gráfica) corre modelos locales con llama.cpp y Vulkan. - El modelo principal de 35B genera unos 70 tokens por segundo y atiende hasta cuatro peticiones simultáneas. - Cinco automatizaciones que antes pagaban APIs de OpenAI ahora usan el modelo local, incluyendo boletines, publicaciones y bots de WhatsApp. - Modelos pequeños clasifican comentarios de Instagram en menos de 2 segundos y se escalan a modelos mayores cuando no hay certeza. - La IA local no reemplaza la nube para programación o proyectos críticos, pero se usa para clasificar, resumir, redactar y transcribir datos privados. - Observabilidad con Vessel, Uptime Kuma, Dozzle y Diun; las alertas críticas van al celular y el resto a un canal de chat. - Acceso público por Cloudflare Tunnel sin puertos abiertos; acceso privado por Tailscale. Consumo aproximado de 120 W, unos 90 kWh al mes. ## Chapters 1. 00:00 Introducción al homelab de 170 contenedores 2. 00:39 Hardware: las siete máquinas del homelab 3. 02:00 Servicios personales, de negocio y automatizaciones 4. 03:20 IA local en la Evo X2: modelos y uso 5. 05:20 Clasificación de comentarios y agentes Hermes 6. 05:30 Observabilidad y alertas 7. 06:00 Acceso público y privado: Cloudflare y Tailscale 8. 07:00 Energía, consumo y costos Answers ## Questions about this video ¿Qué hardware usa el creador para correr la IA local? Usa una GMK Tech Evo X2 con un Ryzen AI Max Plus 395, 128 GB de RAM y 64 GB asignados a la gráfica integrada. Los modelos corren con llama.cpp usando Vulkan. ¿La IA local reemplaza completamente los servicios en la nube? No. El creador sigue usando la nube para programación y proyectos muy importantes, mientras que la IA local se usa para clasificar, resumir, redactar y transcribir, especialmente con datos privados o financieros. ¿Cómo expone sus servicios a internet sin abrir puertos? Los servicios públicos salen mediante Cloudflare Tunnel, con una conexión de adentro hacia afuera, y los servicios privados se acceden a través de Tailscale, una red privada entre dispositivos. ## Full Transcript — Download SRT & Markdown 00:00 Speaker A Este año mi homelab llegó a tener 170 contenedores corriendo en siete máquinas y en este vídeo te voy a enseñar todo lo que hay adentro. Estamos hablando del hardware que tengo, los servicios que estoy corriendo, lo que reemplaza cada 00:11 Speaker A uno de esos servicios, la máquina que corre mi inteligencia artificial local y cómo sale todo a internet y se vigila, también cómo se protege y cuánto me está ahorrando. Hay que decir que en mayo de este año mi homelab era simplemente una 00:23 Speaker A mini PC. Hoy son siete nodos y cada uno tiene un trabajo distinto. El principal es una Beelink SER 9 un Ryzen 7 de 255 de 24 GB de memoria RAM. Ahí viven las automatizaciones, los bots de WhatsApp, archivos, códigos, o sea, repositorios y 00:39 Speaker A por eso entró una segunda máquina que es una Lenovo ThinkCentre M720Q. [música] Es una Intel viejita, una i5 de octava generación con 14 GB de RAM y un SSD de 256. Es una mini PC de oficina que es la 00:52 Speaker A que consigues en eBay por unos 100, 150 dólares, pero hoy en mi homelab corre unos 56 contenedores. Estamos hablando que se lleva mucho más de la mitad de lo que había en la principal. Después están las Raspberry Pi que a mí me encantan. 01:03 Speaker A Tengo una Raspberry Pi 5 de 8 GB que arranca desde un disco NVMe en lugar de una micro SD, obvio, porque ahí van los servicios que se escriben mucho en disco. Y tengo dos Raspberry Pi 4 de 8 01:15 Speaker A GB y 4 GB que esas son las que se encargan de vigilar todo lo demás. Luego vamos a llegar a esa parte. El sexto nodo es un NAS, es un QNAP que tengo aquí de seis discos de 12 TB. Son 01:25 Speaker A algunos, son 72 TB al final, pero con el RAID me quedan quedando solamente 48 disponibles. Eso me da la disponibilidad de que si fallan dos discos puedo seguir teniendo todos mis archivos sin ningún problema, porque ahí están las fotos, 01:38 Speaker A están los archivos, están los respaldos de todos los homelabs y cosas personales. El séptimo es la más nueva y es la más potente. Es ahí donde corro la inteligencia artificial. Es una Evo X2 de la marca GMK Tech que llegó hace 01:49 Speaker A poco. Es una máquina, tiene un Ryzen AI Max Plus 395 con 128 GB de memoria RAM y de eso son 64 asignados a la gráfica. 01:58 Speaker A Esta es la máquina de la inteligencia artificial que corro en local en mi home lab, pero vamos a entrar en detalles más adelante. Okay, pero de todos esos contenedores, los servicios que uso de verdad son algunos 20 o 30, los demás 02:09 Speaker A son las bases de datos, los caches, los ayudantes, etcétera. Pero todos esos servicios se pueden agrupar en tres grupos, que están la vida personal, la de negocio y las automatizaciones. Pero lo personal, el que más uso es Image, 02:20 Speaker A que es la alternativa de Google Fotos o iCloud. Estamos hablando de las fotos de los celulares aquí que se suben solas, se guardan en el NAS. Eso usa también inteligencia artificial porque tiene también reconocimiento de caras, tiene mapa, tiene álbumes compartidos y junto 02:32 Speaker A a Image está mi gestor de contraseñas, tengo mi propio Google Drive, tengo la domótica de la casa, tengo un bloqueador de publicidad para todos mis dispositivos de dentro y fuera de la casa. El número dos es la parte de 02:42 Speaker A negocio. Aquí, por ejemplo, tengo DocuSign, que es la firma de documentos que yo antes pagaba por DocuSign, ahora el contrato sale directamente desde mi servidor. Le llega un enlace al cliente y él lo firma desde su celular. Y junto 02:53 Speaker A a eso tengo Listmonk, que es mi propio enviador de correos masivos, es la competencia directa a Mailchimp y gratuita. Tengo mi propia bandeja de soporte con Chatwoot, tengo mi propio GitHub con Forgejo y mis estadísticas que en vez de usar Google Analytics 03:07 Speaker A utilizo Upami. Y el tercero, que es lo conecta todo, que son las automatizaciones, obvio utilizo N8N, que es lo mejor que hay para esto. Aquí, entre todas las cosas que tenemos, tenemos los bots de WhatsApp que son los 03:18 Speaker A que atienden a los clientes y utilizo la inteligencia artificial local, por eso no pago por ejecución. Ahora sí, la Evo X2. Aquí corro los modelos con llama.cpp usando la gráfica integrada con Vulcan, sin envidia ni tarjeta de video 03:32 Speaker A dedicada. El modelo principal que uso actualmente es el Llama 1.5 de 35 billones de parámetros. Ocupa unos 26 gigas de la gráfica y responde a unos 70 tokens por segundo y puede atender hasta cuatro peticiones al mismo tiempo. Desde 03:45 Speaker A la semana pasada, cinco de mis automatizaciones que antes yo pagaba APIs de OpenAI, ahora usan el modelo local. Estamos hablando del boletín semanal, tengo las publicaciones de LinkedIn, tengo el publicador de videos, tengo dos bots de WhatsApp corriendo. 03:58 Speaker A Pero no todo lo hace el modelo grande, para clasificar uso modelos pequeños. Por ejemplo, cada comentario que me llega a mí de Instagram lo lee primero Qwen 3.5 de 4 billones de parámetros y decide si es un cliente, si es una 04:09 Speaker A marca, una pregunta o una queja en menos de 2 segundos. Y si él no está seguro, se lo pasa a Ornit, pero que tarda 4 segundos. Y si es un cliente o una marca, tengo un aviso inmediato en mi 04:19 Speaker A sistema de mensajería con la inteligencia artificial. Ese mismo modelo de 4 billones le pone el título a las conversaciones a mis agentes Hermes. 04:26 Speaker A Y uno todavía más pequeño que es el Qwen 3 del embedding, ese es el 0.6 billones de parámetros, es el buscador de su memoria, que encuentra lo que Hermes ya sabe por significado, no por las palabras exactas. Entonces, Ornit y el 04:39 Speaker A modelo 4B juntos ocupan 31 billones de parámetros de los 64. Y el cerebro de Hermes que estoy utilizando en local es Ornit, que antes estaba repartido en cuatro lugares distintos. Tenía un Hermes en VPS, luego un Hermes en la Mac 04:52 Speaker A y todo eso ya quité todo y lo puse solamente en la Evo X2. Las notas de voz del bot se transcriben con Whisper a una velocidad increíble. Y en el NAS tengo una biblioteca de algunos 45 modelos de 05:05 Speaker A IA, que son unos 500 gigas organizados por uso, y ahí se guardan y cuando quiero usarlo, solamente tengo que pasárselo a la Evo y ya están instalados. Ojo, esto no reemplaza Cloud ni a Open AI ni a ningún modelo de 05:17 Speaker A frontera. Para programar, para proyectos muy importantes, yo sigo usando la nube. Pero lo que es para clasificar, resumir, redactar, transcribir, no tocar datos privados, especialmente los datos privados y financieros, yo sigo utilizando la IA local. Ahora, aquí es 05:32 Speaker A la parte aburrida donde la mayoría se van a salir del video y es que vamos a hablar de seguridad y de observabilidad. 05:37 Speaker A Mira, tenemos a Vessel, que me muestra la memoria, el procesador, el disco, la temperatura de todos los nodos que tengo en una sola pantalla. Tenemos Uptime Kuma, que revisa cada minuto 73 cosas distintas de las siete máquinas, cada 05:51 Speaker A página publicada, cada servicio interno y también la IA local. Tenemos Docel, que me deja ver los logs de todos los contenedores en un solo lugar. También tenemos a Dium, que me avisa cuando sale una versión ojo, pero no la actualiza 06:04 Speaker A automáticamente, pero me deja saber si la quiero actualizar. Y al celular solamente me llegan las cosas que hay que arreglar. Y si el respaldo falla, si un disco pasa a 85%, si una máquina se calienta demasiado o si se cae la 06:14 Speaker A conexión. Todo lo demás va a un canal de chat donde lo reviso cuando puedo. 06:17 Speaker A Ahora, ¿cómo saco esto a internet? Por defecto, todo esto vive en Wi-Fi. Para sacarlo a internet hay dos piezas distintas. Primero, lo público, como las páginas web que salen por Cloudflare Tunnel. La conexión va de adentro hacia afuera. Cloudflare pone mi dominio 06:30 Speaker A delante con su certificado de seguridad y ahí no hay ningún puerto abierto en mi router. Y por otro lado está lo privado, que son los Dashware, la domótica, la IA, los nodos. Todo eso va por Tailscale, que es una red privada entre 06:40 Speaker A dispositivos. Estamos hablando de mi laptop, mi celular, mi Home Lab y se ven como si estuvieran en la misma red. 06:45 Speaker A También hay que hablar de la energía. Tengo dos UPS que protegen el Home Lab en caso de que se queden sin energía y hay otro mini UPS que está en el router. 06:53 Speaker A Así se mantiene la conexión por lo menos unas cuantas horas. Y si en algún caso se apaga todo, para volver a encenderlo, las Raspberry Pi tienen un sistema de encendido automático de todos los demás nodos para que si en alguno de esos no 07:06 Speaker A encienden automático, las Raspberry puedan encenderlas. Y se me ha olvidado mencionar el respaldo que se hace todas las noches de la base de datos, de las configuraciones. Todo eso se copia al NAS. Son copias de 7 días, de 4 semanas 07:18 Speaker A y de 1 año. ¿Cuánto me consume a mí esto mensual tenerlo encendido? Bueno, entre las siete máquinas tenemos un consumo de algunos 120 W de uso normal. Eso son unos 90 kWh al mes. Una tarifa que yo pago aquí en Carolina del Norte algunos 07:33 Speaker A 14 centavos el kilovatio. Son unos 12 dólares al mes. Y son algunos 150 dólares al año. Obvio que cuando la IA está corriendo sube un poquito más el consumo, pero no es tanta la diferencia. 07:45 Speaker A ¿Y cuánto yo me estoy ahorrando con esto? Bueno, la lista completa de los servicios y lo que reemplaza cada uno la voy a dejar aquí abajo en la descripción. Cuéntame en los comentarios qué montarías tú primero. Nos vemos en 07:55 Speaker A el siguiente. Bye. Topics: homelab IA local llama.cpp self-hosting n8n Cloudflare Tunnel Tailscale NAS automatización privacidad Estudia este vídeo - [Tarjetas de estudio de este vídeo](https://sozai.app/es/tools/flashcard-maker/?from=transcript&id=89872) - [Cuestionario de este vídeo](https://sozai.app/es/tools/quiz-generator/?from=transcript&id=89872) - [Crucigrama a partir de este vídeo](https://sozai.app/es/tools/crossword-maker/?from=transcript&id=89872) - [Sopa de letras a partir de este vídeo](https://sozai.app/es/tools/word-search-maker/?from=transcript&id=89872) - [Guía de estudio a partir de este vídeo](https://sozai.app/es/tools/study-guide-maker/?from=transcript&id=89872) Gratis, hecho por IA a partir de esta transcripción. Sin registro. --- This is the markdown twin of https://sozai.app/transcript/local-ai-homelab-worth-it/ — the same content, without the markup. Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back. Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/