Hace un par de semanas
empezamos a montar un cluster
Beowulf/OpenMosix de “paquitos
” conseguidos gracias a Bernardo Cabezas (y Prodigios), sin
discos, con arranque por PXE, DHCP, NIS, NFS, MFS y todas la virguerías…
absolutamente todo montado con Debian.
Éste es solo un avance, empezaremos a
preparar el macroartículo explicando la instalación en detalle.
Hace dos
fines de semanas vino Albert de
Barcelona, y junto con otra gente de Bulma
empezamos a montar el hardware (más fotos).
Nos llevó casi tres días tener todo
funcionando, con cena en casa
incluida 🙂 Sobre todo porque la documentación sobre cómo montar lo que
queríamos no existe, o está muy dispersa. Básicamente queríamos montar un
cluster Beowulf, con MPI, PVM y todo funcionando además sobre OpenMosix.
Pero no sólo eso, sino que queríamos que los nodos no tuviesen discos, que
estuviesen en una red privada y el master hiciese no sólo de servidor de NFS,
sino también de NIS, DHCP, NAT, DNS y todos los servicios que hiciesen falta.
Y como si eso fuese poco, tembién queríamos que una sola fuente de
alimentación alimentase a por lo menos diez paquitos. Todo con el objetivo
de eliminar ruido, disipar menos calor, ahorrar energía y que quepa todo en
un espacio reducido-
Finalmente lo hemos conseguido, con un 100% de hit-ratio 🙂 Ahora
tenemos un
cluster con 5 nodos, pero tres más ya están en cola esperando que Bernat les
suelde los cables de la fuente.
Es buenísimo ver como el OpenMosix migra los procesos de forma transparente
de forma que la carga esté
balanceada.
Pero lo mejor de todo es que hacemos uso extensivo de todos los
paquetes que nos solucionan la vida, por ejemplo, gracias al diskless y
al syslinux, en cuestión de muy pocos minutos, podemos tener un nuevo
nodo en marcha, con todas sus imágenes preparadas en el servidor y los ficheros
“personalizados” (como el /etc/fstab generados automáticamente) , y además sin
duplicar nada que no sea necesario:
m3d03:/var/lib/diskless/default# ls
192.168.219.100/ 192.168.219.101/ 192.168.219.102/ 192.168.219.103/
192.168.219.104/ root/
m3d03:/var/lib/diskless/default# du -s *
49588 192.168.219.100
49584 192.168.219.101
49188 192.168.219.102
46808 192.168.219.103
46808 192.168.219.104
241460 root
Y todo lo anterior sin programar una sola línea de código o
script.
Gracias a todos los que han ayudado, ha estado, y sigue siendo, muy
divertido. Como dirían los matemáticos, a ver si ahora le encontramos una
utilidad 🙂 [*]
[*] En realidad nos interesa una, y casi urgente. Hacer que el ffmpeg
trabaje en forma paralela convirtiendo y comprimiendo vídeo en distintos
formatos.
Este post ha sido traido de forma automatica desde https://web.archive.org/web/20140625063149/http:/bulma.net/body.phtml?nIdNoticia=1708 por un robot nigromante, si crees que puede mejorarse, por favor, contactanos.