6 Años de proyectos en navegación aerea.
Este post pretende resumir la actividad de 6 años en gestión de proyectos para Indra. Proyectos dentro de la división de navegación aérea, en un entorno crítico.
Todos estos proyectos están basados en el sw Español SACTA: (Sistema Automatizado de Control de Tránsito Aéreo: es el sistema que se encarga de la gestión del control de tráfico aéreo). Software de tiempo real, programado en ADA entre otros y que soporta el sistema de navegación y control del espacio aéreo español.
Se trata de un entorno critico con sistemas basados en Unix (Solaris) y mas tarde en RedHat.
Todo el diseño HW y SW de la solución parte de indra. Esto incluye: Seguridad perimetral, CPD, Networking, herramientas de mantenimiento y despliegue.
Toda actuación estaba altamente planificada, documentada, verificada en los tres entornos clásicos. (Desarrollo, Test y Operaciones).
Toda la metodología empleada se basaba en el modelo clásico Waterfall.
He participando en los siguientes proyectos:
- Despliegue de la cadena central de switches en Sevilla.
- Puesta en servicio de la torre de control T4 de Madrid.
- Puesta en servicio de la torre de control T1 de Barcelona.
- Puesta en servicio del aeropuerto de Ciudad Real.
- Servicio de Asistencia Técnica SACTA. (Valencia, Sevilla, Barcelona, Málaga)
- Servicio de resolución de incidentes SACTA a nivel nacional.
- Planificación y despliegue de versiónes SACTA.
Mantenimientos preventivos: Control de logs avanzados, de testigos HW, Control de registro de configuración, disipación de las maquinas, estado de la ventilación….
Cambios de consumibles: Papel impresoras, cintas de grabación, discos rotos…
Mantenimientos correctivos: Atención de incidencias y de consultas de los operadores. Preparación de entornos.
- Procedimientos de Backupa y restauración.
- Prueba de los sistemas redundantes.
- Preventivos del Software, tareas asociadas al sistema operativo. Reinicios, logs, espacio en disco…
- Procedimientos de control y revisión de las comunicaciones.
- Estas tareas se ejecutaban en distintas periodicidades, y se levantaba la consiguiente acta.
- Revision de la funcionalidad, Checks de alto nivel desde el aplicativo.
Para cada procedimiento, existe un documento autoexplicativo que detalla cada paso a ejecutar, y como documentar la operación.
Es fundamenta contar con un espacio de pruebas / laboratorio donde ensayar investigar y reproducir los incidentes de campo. Este CPD dentro de las oficinas de Torrejon seriva como SIMULAR, LABORATORIO y Entorno de desarrollo.
Por otro lado Aena mantiene un Laboratorio propio CED, donde se certifica y se ensaya con controladores reales, trafico real y en las condiciones mas parecidas a “Producción”
Un entorno redundado:
Configurado en alta disponibilidad, todos los discos estan en RAID5, y los sitemas de grabación redudados, las redes redundadas, y los desarrollos codificados por equipos diferentes.
Con la experiencia se resolvio que no se podia utilizar el mismo HW en ambas cadenas que es mas seguro hacerlo con dos fabricantes diferentes.
Se controlaba constantemente la humedad y temperatura.
Revision de enlaces, de velocidad de transmisión en el negociado del enlace. El estado de los puertos, y el caudal por cada una de las tarjetas del concentrador.
El acceso a todas las maquinas, para ver el estados de respuesta de los equipos.
Revision del spanning Tree.
Se ha de tomar logs, y trazas acerca del fallo o error y reportar con el mayor detalle posible.
Lecciones Aprendidas.
Se tata de un entorno crítico con todos los sistemas redundados, para garantizar alta disponibilidad. Un sistema vivo, que requiere inversiones millonarias.
Programado en ADA, y otros múltiples lenguajes. El proyecto respetaba todas las normas de programación y seguimiento de proyecto para garantizar altas cotas de calidad y fiabilidad.
Varias semanas de pruebas y revisiones en laboratorio interno, en laboratorio con cliente y mas tarde en campo, era precedente de cualquier actuación.
Toda actualización/cambio estaba minuciosamente programada, testada y tenia plan de contingencia asociado. Las actuaciones que requerían parada de sistema se efectuaban siempre en horario nocturno, y bajo un amplio despliegue técnico vigilando cada paso.
El soporte en campo y remoto de todos los especialistas implicados, garatizaba el éxito. Cada actuación levantaba acta para generar un histórico y aprendizaje interno muy valioso.
Donde no siempre era importante saber resolver sino conocer quien te puede ayudar en que problema.
Incidentes
Perdida de señal radar por ambas lineas de comunicaciones, en Valencia.
Durante una de los remplazos del servicio técnico local, tuve que lidiar con la perdida de la señal radar en ambas lineas de comunciaciones. Un de los switches habia caido y el segundo al entrar a revisar para tratar de diagnosticar el problema tambíen cayo, por un defecto de fábrica.
Esto levanto un incidente en navegación aera y origino un expediente de cambio de las cadenas centrales de comunicaciones por valor de 2 millones de euros.
Recent Comments