GlusterFS es un sistema de archivos distribuido en red que nos permite aprovechar recursos en distintos equipos para crear un almacenamiento tolerante a fallos y de alto rendimiento.
Partimos de la base de que tenemos varios servidores ubuntu con conectividad, correctamente instalados y configurados.
En este tutorial usaremos las siguientes maquinas:
Servidores GlusterFS:
nodo1, nodo2, nodo3
Clientes GlusterFS:
nodo4
El primer paso sera instalar glusterfs-server:
sudo aptitude install glusterfs-server
Una vez hecho esto, en nuestro ejemplo particular dispondremos de 3 servidores, que añadiremos en el fichero de hosts:
/etc/hosts: 192.168.36.129 nodo1 192.168.36.130 nodo2 192.168.36.131 nodo3 192.168.36.132 nodo4
Creamos el directorio donde va a ir alojado el volumen, en nuestro ejemplo sera /opt/gluster
javi@nodo1:~$Hacemos copia de seguridad del fichero de configuracion original del servidor gluster,
javi@nodo1:~$Creamos un nuevo fichero de configuracion adaptandolo a nuestra configuracion de red
javi@nodo1:~$Hacemos copia de seguridad del fichero de configuracion del CLIENTE (nodo4) gluster para poder montar los shares y tenerlos accesibles desde todas las maquinas
javi@nodo4:~$ sudo mv /etc/glusterfs/glusterfs.vol /etc/glusterfs/glusterfs.vol.originalCreamos un nuevo fichero de configuracion adaptandolo a nuestra configuracion de red
javi@nodo4:~$ sudo vim Con esto conseguimos el equivalente a un RAID1 en 3 servidores de red distintos. Probemoslo!
1. Iniciar o reiniciar el glusterfs-server en todos los nodos (uno a uno) para recargar la configuracion
javi@nodo1:~$2. Crear el punto de montaje en los clientes y darles los permisos que necesitemos de acceso. Por ejemplo:
javi@nodo1:~$3. Montar en los clientes el punto de montaje /mnt/glusterfs con
javi@nodo4:~$4. Vamos a escribir algo en nuestro FS ya montado:
javi@nodo4:~$5. Comprobamos que se ha creado en el cliente:
javi@nodo4:/mnt/gluster$ cat /proc/cpuinfo > /mnt/gluster/info_cpu.txt javi@nodo4:/mnt/gluster$ ls -la total 20 drwxr-xr-x 2 javi root 4096 2010-04-26 10:20 . drwxr-xr-x 4 root root 4096 2010-04-26 10:07 .. -rw-r--r-- 1 javi javi 605 2010-04-26 10:20 info_cpu.txt
6. Comprobamos en los nodos servidores que se ha creado el archivo:
javi@nodo1:/opt/gluster/export$ ls -la
total 20
drwxr-xr-x 2 javi root 4096 2010-04-26 10:20 .
drwxr-xr-x 4 root root 4096 2010-04-26 08:42 ..
-rw-r--r-- 1 javi javi 605 2010-04-26 10:20 info_cpu.txt
Probando la tolerancia a fallos
Ahora supongo que el siguiente paso logico es ver que tolerancia a fallos tiene este sistema. Probemoslo también.
1. Apagamos uno de los nodos con
javi@nodo1:~$2. Creamos un archivo adicional en el cliente:
javi@nodo4:/mnt/gluster$ uname -a > /mnt/gluster/version.txt javi@nodo4:/mnt/gluster$ ls -la total 28 drwxr-xr-x 2 javi root 4096 2010-04-26 10:25 . drwxr-xr-x 4 root root 4096 2010-04-26 10:07 .. -rw-r--r-- 1 javi javi 605 2010-04-26 10:20 info_cpu.txt -rw-r--r-- 1 javi javi 92 2010-04-26 10:25 version.txt
3. Encendemos el servidor que teniamos apagado (crash simulado)…. pero que pasa????? El archivo no está!!!!!
Welcome to Ubuntu!
* Documentation: https://help.ubuntu.com/
You have mail.
Last login: Mon Apr 26 10:27:08 2010
javi@nodo1:~$ ls -la /opt/gluster/export
total 20
drwxr-xr-x 2 javi root 4096 2010-04-26 10:20 .
drwxr-xr-x 4 root root 4096 2010-04-26 08:42 ..
-rw-r--r-- 1 javi javi 605 2010-04-26 10:20 info_cpu.txt
4. No nos alarmemos, un simple acceso desde un cliente al archivo servira para que el gluster ejecute un auto heal y aparezca magicamente en nodo1, el que teniamos apagado:
javi@nodo4:/mnt/gluster$ ls -la total 28 drwxr-xr-x 2 javi root 4096 2010-04-26 10:25 . drwxr-xr-x 4 root root 4096 2010-04-26 10:07 .. -rw-r--r-- 1 javi javi 605 2010-04-26 10:20 info_cpu.txt -rw-r--r-- 1 javi javi 92 2010-04-26 10:25 version.txt javi@nodo1:~$ ls -la /opt/gluster/export total 28 drwxr-xr-x 2 javi root 4096 2010-04-26 10:25 . drwxr-xr-x 4 root root 4096 2010-04-26 08:42 .. -rw-r--r-- 1 javi javi 605 2010-04-26 10:20 info_cpu.txt -rw-r--r-- 1 javi javi 92 2010-04-26 10:25 version.txt
Añadir un nuevo cliente o servidor al Gluster
1. Editaremos el /etc/hosts añadiendo la ip y el hostname
2. En los servidores existentes (y haciendolo de uno en uno)
Añadimos en :
/etc/glusterfs/glusterfsd.vol: option auth.addr.brick.allow 192.168.36.129,192.168.36.130,192.168.36.131,192.168.36.132,...,NUEVA IP (separadas por comas siempre)
Reiniciamos el glusterfs-server tras ir haciendo los cambios, nodo por nodo, sudo /etc/init.d/glusterfs-server restart
3. En los servidores nuevos copiamos la config de uno de los nodos (tras su modificacion del paso 2)
4. En los clientes instalamos el soporte para glusterfs con sudo aptitude install glusterfs-client y copiamos el fichero de configuracion del otro cliente o creamos uno nuevo. Incluiremos el nuevo nodo de igual forma que estaban ya los anteriores añadiendo al
/etc/glusterfs/glusterfs.vol: volume nodo4 type protocol/client option transport-type tcp option remote-host nodo4 option remote-subvolume brick end-volumevolume replicate type cluster/replicate subvolumes nodo1 nodo2 nodo3 nodo4
5. Creamos el mountpoint y montamos en el cliente el gluster como se indico anteriormente con
javi@nodoclientenuevo:~$ sudo mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/gluster