Snowflake Account Usage

L’accélérateur pour la surveillance des coûts Snowflake permet aux administrateurs Snowflake d’analyser les coûts de calcul globaux, la surveillance des performances, l’adoption par les utilisateurs et le suivi des erreurs de leurs magasins de données Snowflake. Le tableau de bord Compute Cost Overview peut être utilisé pour comprendre la consommation de crédit, planifier l’allocation budgétaire et identifier les pics aberrants afin de réduire les dépenses inutiles. Utilisez le tableau de bord User Adoption pour suivre l’adoption de votre nouvelle plate-forme dans le nuage et voir où le temps est alloué. Les tableaux de bord Performance Monitoring et Error tracking vous permettent d’explorer des requêtes spécifiques qui peuvent prendre plus de temps ou expirer.

Deux versions du tableau de bord Slow Running Queries sont à votre disposition. La version de base utilise l’information persistante de la table ACCOUNT_USAGE. La version avancée utilise du SQL personnalisé pour générer une analyse Query Profiler sur les problèmes de performance courants comme les jointures explosives, l’élagage inefficace, etc. L’analyse est limitée aux 14 derniers jours. Étant donné que les informations Query Profiler sont interrogées lors de la sélection de chaque repère, l’utilisation de SQL personnalisé peut affecter la performance. Si vous ne souhaitez pas utiliser la version avancée, fermez la source de données CUSTOM_SQL et supprimez le tableau de bord pour éviter les erreurs.

Répondre à des questions clés sur les activités

• Quelle est la performance globale de notre infrastructure Snowflake, où est la consommation la plus élevée?
• Quels entrepôts dépensent le coût le plus élevé?
• Comment les dépenses de calcul de notre base de données se comparent-elles à notre plan?
• Où y a-t-il des problèmes de performances avec des utilisateurs ou des requêtes spécifiques?
• À quoi ressemble l’adoption par les utilisateurs? Qui utilise le plus la base de données et qui est provisionné mais ne l’utilise pas autant que prévu?
• Y a-t-il des erreurs récurrentes à corriger et à optimiser?
• En fonction de l’utilisation actuelle, quelle est la durée prévue du contrat?

Surveiller et améliorer les KPI

• Nombre de requêtes
• Requêtes par utilisateur
• Taux d’utilisation du serveur nuage
• Temps par requête
• Taux d’erreur
• Minutes perdues en erreurs
• Nombre d’utilisateurs
• Dépenses moyennes ce mois-ci, ce même jour, le mois dernier,
• Utilisation quotidienne moyenne du crédit
• Coût de stockage mensuel moyen
• Taux d’utilisation de la couche de services en nuage
• Moy. moyennes des requêtes

Partenaires Snowflake et Tableau qui peuvent vous aider à réussir aujourd’hui

• L’expertise de Slalom avec Tableau, Snowflake et Salesforce intègre les plateformes et offre une valeur commerciale. Cliquez ici pour en savoir plus.
• InterWorks aide les clients à intégrer Snowflake dans vos écosystèmes de données--connectez-vous directement avec eux pour découvrir comment ils peuvent vous aider à lancer l’analyse visuelle basée dans le nuage.
• CoEnterprise fournit les solutions Snowflake + Tableau, y compris Snowtrail, qui vous aide assurer le bon niveau de sécurité pour votre infrastructure Snowflake; et Runaway, qui intègre Slack dans la surveillance des performances pour vous aider à optimiser votre investissement Snowflake.

Connectez-vous à vos données Snowflake pour activer cet accélérateur

1. Créez une nouvelle source de données dans ce classeur
2. Sélectionnez « Snowflake » comme source de données, et si vous n’avez pas déjà installé le pilote, faites-le maintenant. Une fois le pilote installé, passez à l’étape suivante.

Créez une nouvelle source de données pour chacun de ces schémas : Base de données : Schéma SNOWFLAKE : ACCOUNT_USAGE Table: QUERY_HISTORY Base de données : Schéma SNOWFLAKE : ACCOUNT_USAGE Table: WAREHOUSE_METERING_HISTORY Base de données : Schéma SNOWFLAKE : ACCOUNT_USAGE Table: STORAGE_USAGE

Si vous utilisez le tableau de bord Slow Running Queries Advanced :

Créez une autre source de données en vous connectant à Snowflake et en choisissant le schéma ACCOUNT_USAGE. Puis, faites glisser une nouvelle table SQL personnalisé dans l’espace de travail. Entrez le texte SQL personnalisé suivant qui se trouve également dans le champ « Custom SQL Text » de la source de données :

SELECT      QUERY_ID,     STEP_ID,     OPERATOR_ID,     PARENT_OPERATOR_ID,     OPERATOR_TYPE,     OPERATOR_STATISTICS,     EXECUTION_TIME_BREAKDOWN,     OPERATOR_ATTRIBUTES,     EXECUTION_TIME_BREAKDOWN:overall_percentage::float AS OPERATOR_EXECUTION_TIME,     OPERATOR_STATISTICS:output_rows output_rows,     OPERATOR_STATISTICS:input_rows input_rows,     CASE WHEN OPERATOR_STATISTICS:input_rows>0 THEN OPERATOR_STATISTICS:output_rows / OPERATOR_STATISTICS:input_rows ELSE 0 END AS row_multiple,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_local_storage AS INT) bytes_spilled_local,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_remote_storage AS INT) bytes_spilled_remote,     OPERATOR_STATISTICS:io:percentage_scanned_from_cache::float percentage_scanned_from_cache,     OPERATOR_STATISTICS:table_name::string tablename,     CAST(OPERATOR_STATISTICS:pruning:partitions_scanned AS INT) partitions_scanned,     CAST(OPERATOR_STATISTICS:pruning:partitions_total AS INT) partitions_total,     OPERATOR_STATISTICS:pruning:partitions_scanned/OPERATOR_STATISTICS:pruning:partitions_total::float as partition_scan_ratio,     CLUSTERING_KEY,     LAG(OPERATOR_TYPE) OVER (ORDER BY OPERATOR_ID) LAG_OPERATOR_TYPE FROM TABLE(get_query_operator_stats(<Parameters.QueryID>))     LEFT JOIN SNOWFLAKE_SAMPLE_DATA.INFORMATION_SCHEMA.TABLES t     on TABLENAME = t.TABLE_CATALOG || « . » || t.TABLE_SCHEMA || « . » || t.TABLE_NAME ORDER BY STEP_ID,OPERATOR_ID

Il se peut que vous receviez un message d’erreur, mais c’est parce que le paramètre permettant de sélectionner un ID de requête n’a pas été mis à jour. Vous pouvez ignorer ces messages d’erreur jusqu’à ce que vous ayez remplacé la source de données.

Remarque : depuis mai 2019, ces tables ne contiennent aucune information sur les coûts relatifs aux affichages matérialisés, au regroupement automatique ou à Snowpipe. Ces informations sont contenues dans des tables séparées.

1. Une fois que vous êtes connecté aux quatre tables, cliquez avec le bouton droit sur les exemples de tables respectifs et remplacez-les par la table appropriée de votre propre schéma Snowflake. Par exemple, cliquez avec le bouton droit sur QUERY_HISTORY_SAMPLE et remplacez-le par la table QUERY_HISTORY de votre propre base de données.
2. Lorsque vos propres données remplissent les tableaux de bord, cliquez avec le bouton droit sur chacun des exemples de sources de données individuellement et fermez-les.