[[TOC]]

En Databricks para monitoreo de rendimiento para los clústeres, internamente Databricks posee una herramienta para monitoreo de los contadores de rendimiento para las maquinas dentro del clúster.

Ganglia es la herramienta que permite ver los contadores de performance para todo el cluster, en distintas vistas en el tiempo y mirar a la carga de trabajo por un mapa de calor en cada uno de los nodos.

Databricks permite tomar capturas de un estado de un clúster y almacenar históricamente para consulta a su estado en un determinado punto del tiempo.

Ganglia Metrics - Databricks Docs Ganglia OpenSource Project page

Spark Cluster UI - Master

Información de los Clusters en Spark UI

Para monitorizar la actividad de los clusters en nivel de jobs o procesos individuales.