Sysadmin Horror Story

Estaba haciendo una migración de un servicio, todo parecía bien.

La maniobra:
Mover IP 192.168.85.20 de servidor A a servidor B
Dejar en servidor A la IP 192.168.85.21 para poder acceder a el por medio de B posteriormente.

Iniciamos cambiando la IP de servidor A para liberar la .85.20

ifconfig eth0 192.168.85.21

(Que sucedió aquí?)

La IP de eth0 es cambiada exitosamente a 192.168.85.21 pero el default gw desaparece, se pierde conexión inmediatamente (debido a que estabamos logeados a 192.168.85.20)

Segundo paso, en servidor B:

at now + 5
reboot
C-D

Con eso se indica al servidor que se reinicie a los 5 minutos (si algo sale mal y se pierde conexión) al mismo.

Cambiamos IP:

(previamente se configura el servidor para levantar en eth0:0 la IP 192.168.85.22)

ifconfig eth0:0 192.168.85.22 (supongamos que tenemos acceso externo a esta IP)
ifconfig eth0 192.168.85.20

(Que sucedió aquí?)

Perdemos el default gateway, dichosamente  tenemos nuestros 5 minutos de gracia.

Esperamos con paciencia....
...
...
...
Levantó perfecto.

Ingresamos a 192.168.85.22 en medio de una llamada telefónica preguntándonos que sucede..

Cambiemos IP rápidamente (el downtime del servicio aumenta)

ipconfig eth0 192.168.85.21

(Que sucedió aquí?)

Perdemos el default gateway y quedamos fuera completamente debido a que no ejecutamos nuestra medida de precaución "at now + 5"

Ok, anunciamos el problema y solicitamos apoyo para ubicar el servidor y reiniciarlo manualmente.

Primer problema, no hay documentación completa sobre la ubicación del servidor, y nadie sabe donde está, damos unas señas de como es el servidor pero no es suficiente.

Pasan los minutos....

Más minutos...

1 hora....

Nos indican que ya ubicaron el servidor... pero hay otro problema, está en un gabinete con llave por delante y por detrás.

Se hace conferencia con personal de servidores y telecomunicaciones, se les indica que el servidor tiene IP en 192.168.85.X que solo se ocupa otro equipo en el mismo segmento de red para poder ingresar por SSH.

Encuentran un equipo que nos funciona, pero no hay cliente de SSH disponible, no podemos enviar binarios a nuestra contraparte en sitio por medio de email, y el no puede acceder libremente a Internet para bajar uno.

A todo esto el único password que podría darle es el de root pero por defecto se tiene que root no puede iniciar sesión en SSH, el otro password no se puede dar a un tercero.

La idea de poder ingresar por SSH para agregar el default gateway, luego configurar los archivos y reiniciar la máquina.

Un compañero se apersona al lugar para ingresar por SSH con un cliente que lleva en una unidad de USB (usb key).

Ingresa, se ejecutan un par de comandos y listo.

Se reinicia la máquina y todo empieza a funcionar.

Un downtime que debió ser de 15 minutos máximo, resultó ser de 2 horas.

This is my sysadmin horror story, if only I had access to a VPN or something more transparent.