User Tools

Site Tools


cisco:switch:9500:cisco_catalyst_9500_series_manual

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
cisco:switch:9500:cisco_catalyst_9500_series_manual [2026/06/11 12:26] – aperezcisco:switch:9500:cisco_catalyst_9500_series_manual [2026/11/10 14:06] (current) – aperez
Line 1371: Line 1371:
   * Tras cualquier remoción futura de VXLAN en un switch, revisar el MTU de la SVI de gestión: el residuo jumbo causa exactamente este síntoma.   * Tras cualquier remoción futura de VXLAN en un switch, revisar el MTU de la SVI de gestión: el residuo jumbo causa exactamente este síntoma.
   * El playbook baseline de ASH usa SSH, así que esto también desbloquea LAG-17 en baseline_south.yml en la próxima corrida.   * El playbook baseline de ASH usa SSH, así que esto también desbloquea LAG-17 en baseline_south.yml en la próxima corrida.
 +
 +----
 +----
 +
 +====== Cat9500 SOUTH: SSH intermitente por SYN-ACK mal formado (IOS-XE 17.12.3) ======
 +
 +//Fecha: 2026-11-10 · Equipo: C9500SP1 (nombre en NetBox: LAG-17-C9500SP2), IP 172.20.28.37 · Sitio: SOUTH · Colector: 3av-iac (10.57.0.241)//
 +
 +===== Resumen =====
 +
 +Oxidized y el SSH manual desde 3av-iac al Catalyst 9500 del SOUTH fallaban casi siempre. El ping funcionaba y los demás switches del SOUTH también. La causa más probable es que el 9500 (IOS-XE 17.12.3) construye mal el paquete **SYN-ACK** del handshake TCP para las conexiones que terminan en el propio switch, y el firewall SonicWall que está en el camino lo **descarta** por "opciones TCP inválidas". Dos comandos de configuración cambiaron el comportamiento y el SSH pasó de funcionar entre el 2.5% y el 10% de las veces a **100 de 100**.
 +
 +===== El problema =====
 +
 +  * Desde 3av-iac (detrás del gateway de Bogotá 10.57.0.1), ''ssh'' al 172.20.28.37 casi siempre terminaba en //timeout//. Con un bucle de pruebas pasaba aproximadamente 1 de cada 10 intentos (y 1 de cada 40 en una captura).
 +  * Desde un switch dentro de Houston (el core A) el SSH al mismo equipo funcionaba.
 +  * El ping al equipo funcionaba. Otros switches del SOUTH, incluidos los que atraviesan el mismo camino, funcionaban.
 +  * Oxidized marcaba este equipo como fallido (y su gemelo del NORTH por tiempos de espera largos).
 +
 +===== Cómo se encontró =====
 +
 +  - **Descartes:** ARP y MAC correctos (no hay IP duplicada), sin ACL ni CoPP que lo expliquen, sin asimetría entre los miembros del VSX, sin problema de DSCP/TTL.
 +  - **Captura en el 9500 (EPC):** cada SYN de 3av-iac entra por la interfaz ''Twe1/0/9'' (el puerto donde está conectado el SonicWall) y cada SYN-ACK sale por esa misma interfaz. El camino es simétrico y el 9500 sí responde. Quedaron descartados el 9500, el port-channel y los cores.
 +  - **Captura en el SonicWall (Monitor > Packet Monitor):** el SYN-ACK de 172.20.28.37:22 hacia 10.57.0.241 aparece como **DROPPED, Drop Code 78 (Invalid TCP Options #4)**, módulo ''network''. Todos los SYN-ACK visibles tenían ventana 65535 y cabecera TCP de 36 bytes.
 +  - **Volcado hexadecimal de un SYN-ACK descartado:** las opciones son MSS 1360, SACK permitido, dos NOP, escala de ventana 2 y el marcador de fin de opciones (EOL); detrás del EOL hay 4 bytes que **no son cero** (''94 ea 81 00''), iguales a los últimos 4 bytes de la MAC de origen de la trama. El relleno de la cabecera TCP debe ser cero.
 +  - **Efectos secundarios en la captura:** justo después del SYN-ACK el 9500 emite un ACK suelto con los mismos números de secuencia (el SonicWall lo "consume" y no lo reenvía), y unos 30 segundos después el SonicWall envía un RST para cerrar la sesión a medio abrir.
 +  - **Versión del equipo:** IOS-XE 17.12.3. Un hilo público de Cisco Community describe el mismo síntoma en un 9200L con IOS-XE 17.12 (el switch contesta el SYN con un ACK en lugar de un SYN-ACK, de forma intermitente desde otras redes y bien desde la misma subred).
 +
 +===== La causa =====
 +
 +Para una conexión SSH nueva hacia el switch, el 9500 responde con un SYN-ACK cuya cabecera TCP trae una palabra de 4 bytes de más con contenido residual del búfer. El SonicWall valida estrictamente las opciones TCP y descarta ese paquete. El cliente nunca recibe el SYN-ACK, así que la conexión no se completa, y el SonicWall la cierra con un RST unos 30 segundos después. Cuando el contenido residual resulta aceptable, el handshake pasa; por eso el fallo era intermitente y no total.
 +
 +**Qué está comprobado y qué no:** el descarte por opciones TCP inválidas, el relleno distinto de cero y el patrón de fallos están medidos. Que el defecto esté en el software del 9500 es una //inferencia// que encaja con todas las pruebas y con el resultado de la solución, pero no se comparó byte a byte un SYN-ACK que sí pasó. El identificador de bug que un participante del hilo de Cisco menciona (CSCwk36412) **no está verificado**.
 +
 +===== La solución =====
 +
 +Comandos aplicados en el 9500 (modo configuración, solo en la configuración en ejecución):
 +
 +<code>
 +configure terminal
 + ip tcp window-size 4128
 + no ip ssh bulk-mode
 +end
 +</code>
 +
 +^ Línea ^ Qué hace ^
 +| ''configure terminal'' | Entra al modo de configuración global. |
 +| **''ip tcp window-size 4128''** | Fija en 4128 bytes la ventana TCP por defecto de las conexiones que **terminan en el propio switch** (SSH, copia de configuración). Al ser menor de 65535 ya no hace falta la opción de escala de ventana, y el SYN-ACK sale sin ella: cambia la estructura de las opciones del paquete. No afecta al tráfico que el switch solo reenvía. El equipo imprime un aviso informativo ("se recomienda mínimo 131072") que no impide el cambio. |
 +| **''no ip ssh bulk-mode''** | Desactiva el modo de SSH orientado a más rendimiento en transferencias. El hilo de Cisco recomienda este comando junto con el anterior. |
 +| ''end'' | Sale del modo de configuración. |
 +
 +Los dos comandos se aplicaron juntos, por lo que **no se midió cuál de los dos es el determinante**.
 +
 +===== Por qué funcionó =====
 +
 +El SYN-ACK anterior llevaba la opción de escala de ventana y, con ella, una cabecera de 36 bytes con relleno defectuoso. Con la ventana fijada en 4128 el switch deja de anunciar la escala de ventana, el diseño de opciones del SYN-ACK cambia, y el SonicWall deja de descartarlo. Es la explicación que mejor encaja con las pruebas; no se capturó el SYN-ACK nuevo en el SonicWall para confirmar el cambio de formato (ventana 4128, cabecera más corta).
 +
 +===== Resultado =====
 +
 +^ Prueba (3av-iac → 172.20.28.37:22) ^ Antes ^ Después ^
 +| Intentos que completan el handshake | 1 de 10 aprox. (1 de 40 en la captura) | **20 de 20 y 100 de 100** |
 +
 +Comando de verificación usado:
 +
 +<code>
 +for i in $(seq 1 100); do timeout 2 bash -c "exec 3<>/dev/tcp/172.20.28.37/22" 2>/dev/null && echo ok; done | sort | uniq -c
 +</code>
 +
 +===== Cómo revertir =====
 +
 +<code>
 +configure terminal
 + no ip tcp window-size
 + ip ssh bulk-mode
 +end
 +</code>
 +
 +Si el cambio no se guardó con ''write memory'', un reinicio también lo revierte.
 +
 +===== Pendiente =====
 +
 +  * **Guardar la configuración** (''write memory'') cuando se decida; sin eso, un reinicio del switch vuelve al comportamiento anterior.
 +  * Verificar en la herramienta de bugs de Cisco el bug citado y la versión corregida (un participante del hilo probó 17.15.2); planificar la actualización.
 +  * Revisar la versión del 9500 del NORTH y aplicar la misma precaución si usa 17.12.
 +  * Confirmar que Oxidized marca como ''success'' los dos 9500.
 +  * Alternativa descartada por ahora: relajar la validación estricta de opciones TCP en el SonicWall (compromiso de seguridad; decisión del administrador de la UTM).
 +  * Cuando termine el análisis: limpiar el Packet Monitor del SonicWall y restaurar sus filtros con **Default**.
 +
 +===== Lecciones =====
 +
 +  * Un SYN-ACK descartado por un firewall en línea parece, desde el colector, un switch inestable. Hay que capturar en el equipo **y** en el firewall antes de culpar al equipo.
 +  * El ''timeout_s'' de Oxidized se aplica por trabajo, no por conexión (se subió de 30 a 120 s); cada reintento genera un SYN-ACK nuevo.
 +  * Un switch IOS-XE 17.12 detrás de un firewall estricto puede mostrar este mismo síntoma.
 +
 +===== Referencias =====
 +
 +  * [[https://community.cisco.com/t5/switching/cisco-9200l-ssh-issues/m-p/5240899|Hilo de Cisco Community: SSH intermitente en un 9200L con IOS-XE 17.12]]
 +  * Base de conocimiento de SonicWall: "Explanation of Drop code and Module-ID Values in Packet Capture Output" (lista de códigos de descarte, entre ellos Invalid TCP Options).
 +
 +
 +
 +
  
 ---- ----
 ---- ----
cisco/switch/9500/cisco_catalyst_9500_series_manual.txt · Last modified: by aperez

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki