REL 6: ¿Cómo monitorea los recursos de las cargas de trabajo?

Los registros y las métricas son herramientas poderosas para obtener información sobre el estado de su carga de trabajo. Puede configurar su carga de trabajo para monitorear los registros y las métricas y enviar notificaciones cuando se superen los límites o se produzcan eventos significativos. El monitoreo permite que su carga de trabajo reconozca cuándo se superan los límites de bajo rendimiento o cuándo se producen errores, de manera que se pueda recuperar automáticamente como respuesta.

Recursos

Using Amazon CloudWatch Metrics
Publishing Custom Metrics
Using Amazon CloudWatch Dashboards
Using Canaries (Amazon CloudWatch Synthetics)
Amazon CloudWatch Logs Insights Sample Queries
AWS Systems Manager Automation
What is AWS X-Ray?
Debugging with Amazon CloudWatch Synthetics and AWS X-Ray
The Amazon Builders' Library: Instrumenting distributed systems for operational visibility

Prácticas recomendadas:

• Monitoree todos los componentes de la carga de trabajo (Generación): Monitoree los componentes de la carga de trabajo con Amazon CloudWatch o herramientas de terceros. Monitoree los servicios de AWS con Personal Health Dashboard

• Defina y calcule las métricas (Agregación): Almacene datos de registros y aplique filtros donde sea necesario a fin de calcular métricas, como los recuentos de un evento de registro específico o la latencia calculada a partir de las marcas de tiempo de los eventos de registros

• Envíe notificaciones (Procesamiento y activación de alarmas en tiempo real): Las organizaciones que necesitan esta información reciben notificaciones cuando se producen eventos significativos

• Automatice las respuestas (Procesamiento y activación de alarmas en tiempo real): Utilice la automatización para tomar las medidas necesarias cuando se detecte un evento, por ejemplo, para reemplazar los componentes que presenten errores

• Almacenamiento y análisis: Recopile archivos de registro y e historiales de métricas y analícelos para encontrar tendencias más amplias e información sobre la carga de trabajo

• Realice revisiones de forma regular: Revise con frecuencia el modo en que está implementado el monitoreo de la carga de trabajo y actualícelo en función de los eventos y cambios significativos

• Monitorear el rastreo total de solicitudes a través de su sistema: Utilice AWS X-Ray o herramientas de terceros para que los desarrolladores puedan analizar y depurar los sistemas distribuidos de manera más fácil. De esta forma, comprenderá cómo funcionan las aplicaciones y los servicios subyacentes

Plan de mejora

Monitoree todos los componentes de la carga de trabajo (Generación)

Habilitar el registro cuando esté disponible: AWS dispone de información de monitoreo y registro para su uso. El monitoreo y los registros pueden utilizarse para establecer alertas, cambios y procesos de recuperación

• Defina todos los servicios de AWS que utiliza
• Habilitar el registro de todos los servicios: AWS dispone de registro para muchos servicios. Si el servicio no cuenta con una creación de registros en el nivel que desea, puede agregarlo desde sus cargas de trabajo
  • Habilitar el registro de Amazon S3
    Amazon S3 Server Access Logging
  • Habilitar el registro de Elastic Load Balancing
    Access logs for your application load balancer
    Access Logs for Your Network Load Balancer
    Enable Access Logs for Your Classic Load Balancer
  • Habilitar los registros de flujo de VPC
    VPC Flow Logs
  • Habilitar los registros de CloudTrail
    Creating a trail
  • Use Amazon CloudWatch Agent para transmitir los datos de registro desde la instancia a CloudWatch Logs
    Install the CloudWatch agent on an Amazon EC2 instance
  • Utilice el controlador de registro de awslogs con Amazon ECS para transmitir los datos de registro a CloudWatch Logs
    Using CloudWatch Logs with container instances
  • AWS Lambda transmite automáticamente los datos de registro a CloudWatch Logs
    Accessing Amazon CloudWatch Logs for AWS Lambda

Use todas las métricas predeterminadas: Cada servicio genera métricas predeterminadas. Evalúe las métricas de cada servicio para decidir cuáles necesitan alertas.
AWS Services That Publish CloudWatch Metrics

• Las métricas pueden evaluarse de forma individual o en conjunto
  • Acceda a la consola de CloudWatch y explore las métricas recopiladas
  • Consulte la documentación en la cual se recopilan las métricas y dimensiones

CloudWatch Synthetics le permite hacer pruebas de valor controlado
Amazon CloudWatch Logs Insights Sample Queries

Cree métricas personalizadas para uso propio: AWS no generará algunas métricas y sus combinaciones, pero puede crearlas mediante las métricas personalizadas
Publish custom metrics

• Si necesita uso de memoria o consumo de disco, utilice CloudWatch Agent o la API PutMetricData
  Monitoring memory and disk metrics for Amazon EC2 linux instances

Agregue sus registros: La agregación de registros le ofrece un lugar único donde puede mirar los datos de registro y establecer alertas

• Utilice CloudWatch Logs para los archivos de registro comunes
  • Puede usar CloudWatch Logs para la mayoría de los casos de uso de agregación de registros
    What are Amazon CloudWatch Logs?
• Almacene todos los registros en Amazon S3 o en Amazon S3 Glacier para un almacenamiento a largo plazo
  • Puede exportar CloudWatch Logs a Amazon S3. Los registros de CloudTrail y Elastic Load Balancing se envían a Amazon S3
    Exporting log data to Amazon S3

Defina y calcule las métricas (Agregación)

Defina y calcule las métricas (Agregación): Almacene datos de registros y aplique filtros donde sea necesario a fin de calcular métricas, como los recuentos de un evento de registro específico o la latencia calculada a partir de las marcas de tiempo de los eventos de registros

• Los filtros de métricas definen los términos y patrones que se buscan en los datos de los registros cuando se envían a CloudWatch Logs. CloudWatch Logs utiliza estos filtros métricos para convertir los datos de registro en métricas numéricas de CloudWatch que se pueden graficar o establecer como alarma
  Searching and Filtering Log Data
• Utilice un tercero de confianza para agregar registros
  • Siga las instrucciones del tercero. La mayoría de los productos de terceros se pueden integrar con CloudWatch y Amazon S3
• Algunos servicios de AWS pueden publicar registros directamente en Amazon S3. De esta manera, si su requisito principal para los registros es el almacenamiento en Amazon S3, puede hacer que el servicio que produce los registros los envíe directamente a Amazon S3 sin configurar una infraestructura adicional
  Sending Logs Directly to Amazon S3

Envíe notificaciones (Procesamiento y activación de alarmas en tiempo real)

Realice procesamientos y activaciones de alarmas en tiempo real: Las organizaciones que necesitan esta información reciben notificaciones cuando se producen eventos significativos

• Los paneles de Amazon CloudWatch son páginas de inicio personalizables en la consola de CloudWatch que puede utilizar para monitorear sus recursos en una sola vista, incluso aquellos que están ubicados en diferentes regiones
  Using Amazon CloudWatch Dashboards
• Cree una alarma para cuando la métrica sobrepase un límite
  Using Amazon CloudWatch Alarms

Automatice las respuestas (Procesamiento y activación de alarmas en tiempo real)

Use AWS Systems Manager para realizar acciones automatizadas: AWS Config monitorea y registra de manera continua las configuraciones de los recursos de AWS y puede activar AWS Systems Manager Automation para solucionar los problemas que se presenten
AWS Systems Manager Automation

• Cree y use documentos de Systems Manager Automation. Estos definen las acciones que Systems Manager realiza en sus instancias administradas y otros recursos de AWS cuando se produce una ejecución de automatización
  Working with Automation Documents (Playbooks)

Amazon CloudWatch envía eventos de cambio de estado de alarma a Amazon EventBridge. Cree reglas de EventBridge para automatizar las respuestas
Creating an EventBridge Rule That Triggers on an Event from an AWS Resource

Cree y ejecute un plan para automatizar las respuestas

• Haga un inventario de todos sus procedimientos de respuesta a las alertas: Debe planear sus respuestas de alerta antes de clasificar las tareas
• Haga un inventario de todas las tareas con las acciones específicas que deben realizarse: La mayoría de estas acciones se documentan en los manuales de procedimientos. También debe tener manuales de estrategias para las alertas de eventos inesperados
• Examine los manuales de procedimientos y estrategias para descubrir todas las acciones automatizables: En general, si se puede definir una acción, es muy probable que se pueda automatizar
• Clasifique primero las actividades propensas a errores o que requieren mucho tiempo: Es mucho más beneficioso eliminar las fuentes de errores y reducir el tiempo de resolución
• Establezca un plan para completar la automatización: Mantenga un plan activo para automatizar y actualizar esa automatización
• Examine los requisitos manuales para encontrar oportunidades de automatización: Desafíe su proceso manual con oportunidades de automatización

Almacenamiento y análisis

CloudWatch Logs Insights le permite buscar y analizar sus datos de registro en Amazon CloudWatch Logs de manera interactiva
Analyzing Log Data with CloudWatch Logs Insights
Amazon CloudWatch Logs Insights Sample Queries

Utilice Amazon CloudWatch Logs para enviar registros a Amazon S3 y utilizarlos o a Amazon Athena para consultar los datos
How do I analyze my Amazon S3 server access logs using Athena?

• Cree una política de ciclo de vida de S3 para el bucket de registros de acceso al servidor. Configure la política de ciclo de vida para eliminarlos archivos de registro de forma periódica. Al hacerlo, se reduce la cantidad de datos que Athena analiza para cada consulta
  How Do I Create a Lifecycle Policy for an S3 Bucket?

Realice revisiones de forma regular

Crear varios paneles para la carga de trabajo: Debe tener un panel de alto nivel que contenga las mediciones comerciales principales, así como las mediciones técnicas que haya identificado como las más relevantes para el estado proyectado de la carga de trabajo a medida que varíe el uso. También debe tener paneles para varios niveles de aplicación y dependencias que se puedan inspeccionar
Using Amazon CloudWatch Dashboards

Programar y realizar revisiones regulares de los paneles de la carga de trabajo: Realizar una inspección regular de los paneles. Puede tener diferentes cadencias para la profundidad en la que inspeccione

• Inspeccionar las tendencias en las métricas: Comparar los valores de las métricas con los históricos para ver si hay tendencias que puedan indicar que algo debe investigarse. Algunos ejemplos de esto son los siguientes: aumento de la latencia, disminución de la función comercial principal y aumento de las respuestas a errores
• Inspeccionar en busca de valores atípicos/anomalías en sus métricas: Los promedios o las medianas pueden ocultar los valores atípicos. Observar los valores más altos y bajos durante el plazo determinado e investigar las causas de las calificaciones extremas. A medida que continúe eliminando estas causas, la reducción de la definición de extremo le permitirá seguir mejorando la consistencia del rendimiento de su carga de trabajo
• Buscar cambios drásticos en el comportamiento: Un cambio inmediato en la cantidad o dirección de una métrica puede indicar que se produjo un cambio en la aplicación o factores externos que pueden requerir la incorporación de métricas adicionales para realizar un seguimiento

Monitorear el rastreo total de solicitudes a través de su sistema

Monitorear el rastreo total de solicitudes a través de su sistema: AWS X-Ray es un servicio que recopila datos sobre las solicitudes que su aplicación atiende y que proporciona herramientas que puede utilizar para consultar, filtrar y obtener información sobre dichos datos para identificar problemas y oportunidades de optimización. Para cualquier solicitud rastreada en la aplicación, no solo puede ver su información detallada y su respuesta, sino también las llamadas que la aplicación realiza a los recursos de AWS, microservicios, bases de datos y API web HTTP
What is AWS X-Ray?
Debugging with Amazon CloudWatch Synthetics and AWS X-Ray