Snowflake Account Usage

El Accelerator for Snowflake Cost Monitoring permite a los administradores de Snowflake analizar los costes de procesamiento generales, la supervisión del rendimiento, la adopción de usuarios y el registro de errores de sus almacenes de datos de Snowflake. El dashboard Compute Cost Overview se puede usar para comprender el gasto de crédito, planificar la asignación de presupuesto e identificar valores atípicos altos para reducir gastos innecesarios. Use el dashboard User Adoption para registrar la adopción de su nueva plataforma en la nube y ver dónde se está dedicando el tiempo. Los dashboards Performance Monitoring y Error tracking le permiten desglosar consultas específicas que pueden llevar más tiempo e incluso expirar.

Se pueden usar dos versiones del Slow Running Queries Dashboard. La versión básica utiliza información persistente de la tabla ACCOUNT_USAGE. La versión avanzada usa SQL personalizado para generar un análisis de Query Profiler en problemas de rendimiento comunes, como expandir la unión de columnas, la purga ineficiente, etc. El análisis se limita a los últimos 14 días. El rendimiento puede ralentizarse debido al uso de SQL personalizado, ya que la información del Query Profiler se consulta tras la selección de cada marca. Si no quiere usar la versión avanzada, cierre la fuente de datos CUSTOM_SQL y elimine el dashboard para evitar errores.

Responder a preguntas de negocios clave

• ¿Cuál es el rendimiento general de nuestra infraestructura de Snowflake, dónde se encuentra el mayor consumo?
• ¿Qué almacenes están generando los mayores costes?
• ¿Cómo se diferencia el gasto en procesamiento de nuestra base de datos del de nuestro plan?
• ¿Dónde se producen problemas de rendimiento con usuarios o consultas específicos?
• ¿Cómo está funcionando la adopción de los usuarios? ¿Quién usa la base de datos con más frecuencia, y quién cuenta con ella pero la usa mucho menos de lo esperado?
• ¿Hay errores recurrentes que debamos solucionar y optimizar?
• De acuerdo con el uso actual ¿cuál es la longitud del contrato estimada?

Supervisar y mejorar indicadores de rendimiento clave (KPI)

• Número de consultas
• Consultas por usuario
• Tasa de utilización del servidor en la nube
• Tiempo por consulta
• Tasa de errores
• Minutos perdidos en errores
• Número de usuarios
• Gasto promedio de este mes, día, último mes,
• Uso de crédito diario promedio
• Coste de almacenamiento mensual promedio
• Tasa de utilización de capas de los servicios en la nube
• Rendimiento de la consulta promedio

Snowflake + socios de Tableau que pueden ayudarle a conseguir el éxito

• La experiencia de Slalom con Tableau, Snowflake y Salesforce permite integrar plataformas y conseguir valor empresarial. Haga clic aquí para obtener más información.
• InterWorks ayuda a los clientes a integrar Snowflake en sus ecosistemas de datos--Póngase en contacto con ellos directamente para descubrir cómo pueden ayudarle a realizas análisis visuales basados en la nube.
• CoEnterprise proporciona soluciones de Snowflake y Tableau como Snowtrail, que le ayudará a garantizar el nivel de seguridad adecuado para su infraestructura de Snoflake o Runaway, que integra Slack en la supervisión de rendimiento para ayudarle a optimizar su inversión en Snowflake.

Conéctese a sus datos de Snowflake para habilitar este acelerador

1. Cree una nueva fuente de datos en este libro de trabajo
2. Seleccione Snowflake como la fuente de datos y, si no ha instalado el controlador anteriormente, hágalo ahora. Una vez instalado el controlador, pase al siguiente paso.

Cree una nueva fuente de datos para cada uno de estos esquemas: Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: QUERY_HISTORY Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: WAREHOUSE_METERING_HISTORY Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: STORAGE_USAGE

Si se utiliza el Slow Running Queries Advanced Dashboard:

Cree otra fuente de datos conectándose a Snowflake y seleccionando el esquema ACCOUNT_USAGE A continuación, arrastre una nueva tabla de SQL personalizado al lienzo. Escriba el siguiente texto de SQL personalizado (también se encuentra en el campo “Texto SQL personalizado” de la fuente de datos).

SELECT      QUERY_ID,     STEP_ID,     OPERATOR_ID,     PARENT_OPERATOR_ID,     OPERATOR_TYPE,     OPERATOR_STATISTICS,     EXECUTION_TIME_BREAKDOWN,     OPERATOR_ATTRIBUTES,     EXECUTION_TIME_BREAKDOWN:overall_percentage::float AS OPERATOR_EXECUTION_TIME,     OPERATOR_STATISTICS:output_rows output_rows,     OPERATOR_STATISTICS:input_rows input_rows,     CASE WHEN OPERATOR_STATISTICS:input_rows>0 THEN OPERATOR_STATISTICS:output_rows / OPERATOR_STATISTICS:input_rows ELSE 0 END AS row_multiple,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_local_storage AS INT) bytes_spilled_local,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_remote_storage AS INT) bytes_spilled_remote,     OPERATOR_STATISTICS:io:percentage_scanned_from_cache::float percentage_scanned_from_cache,     OPERATOR_STATISTICS:table_name::string tablename,     CAST(OPERATOR_STATISTICS:pruning:partitions_scanned AS INT) partitions_scanned,     CAST(OPERATOR_STATISTICS:pruning:partitions_total AS INT) partitions_total,     OPERATOR_STATISTICS:pruning:partitions_scanned/OPERATOR_STATISTICS:pruning:partitions_total::float as partition_scan_ratio,     CLUSTERING_KEY,     LAG(OPERATOR_TYPE) OVER (ORDER BY OPERATOR_ID) LAG_OPERATOR_TYPE FROM TABLE(get_query_operator_stats(<Parameters.QueryID>))     LEFT JOIN SNOWFLAKE_SAMPLE_DATA.INFORMATION_SCHEMA.TABLES t     on TABLENAME = t.TABLE_CATALOG || “.” || t.TABLE_SCHEMA || “.” || t.TABLE_NAME ORDER BY STEP_ID,OPERATOR_ID

Es posible que reciba un mensaje de error, pero esto sucede porque el parámetro para seleccionar una Id. de consulta válida no se ha actualizado. Puede ignorar estos mensajes de error hasta que haya sustituido la fuente de datos.

Nota: Desde mayo de 2019, estas tablas no contienen información de costes correspondientes a las vistas materializadas, a la agrupación en clústeres automática ni a Snowpipe. Esa información se incluye en tablas independientes.

1. Una vez que se haya conectado a las cuatro tablas, haga clic con el botón derecho en las tablas de muestra correspondiente y sustituya cada una con la tabla adecuada de su propio esquema de Snowflake. Por ejemplo, haga clic con el botón derecho en QUERY_HISTORY_SAMPLE y sustitúyala con la tabla QUERY_HISTORY de su propia base de datos.
2. Cuando sus propios datos rellenen los dashboards, haga clic con el botón derecho en cada una de las fuentes de datos de muestra y ciérrelas.