Snowflake Account Usage

按 Tableau

描述

“Snowflake Cost Monitoring 加速器”使 Snowflake 管理员能够分析其 Snowflake 数据存储的总体计算成本、性能监控、用户采用和错误跟踪。“Compute Cost Overview”(计算成本概览)仪表板可用于了解信用消耗、规划预算分配和识别峰值异常值,以减少不必要的支出。使用“User Adoption”(用户采用)仪表板来跟踪您的新云平台的采用情况,并查看时间分配情况。“Performance Monitoring”(性能监控)仪表板和“Error tracking”(错误跟踪)仪表板允许您深入查看可能需要更长时间或超时的特定查询。

“Slow Running Queries”(运行缓慢的查询)仪表板有两个版本可供使用。基本版本使用 ACCOUNT_USAGE 表中的持久信息。高级版本使用自定义 SQL 来生成针对常见性能问题的查询探查器分析,例如分解联接、低效修剪等。分析仅限于最近 14 天。由于使用了自定义 SQL,性能可能会变慢,因为在选择每个标记时都会查询 Query Profiler 信息。如果不想使用高级版本,请关闭 CUSTOM_SQL 数据源并删除仪表板以避免错误。

回答关键业务问题

  • 我们的 Snowflake 基础设施的整体性能如何,哪里的消耗最高?
  • 哪些仓库花费的成本最高?
  • 与我们的计划相比,我们数据库的计算费用如何?
  • 特定用户或查询在哪些方面存在性能问题?
  • 用户采用的情况如何?谁使用数据库最多,谁被调配但没有像我们预期的那样经常使用数据库?
  • 是否有重复出现的错误需要解决和优化?
  • 根据目前的使用情况,预计合同期限是多长?

监控和改进 KPI

  • 查询数
  • 每个用户的查询数
  • 云服务器利用率
  • 每次查询的时间
  • 错误率
  • 浪费在错误上的分钟
  • 用户数
  • 本月、当天、上个月的平均花费
  • 日均信用使用量
  • 月平均存储成本
  • 云服务层利用率
  • 平均查询性能

可帮助您立即取得成功的 Snowflake + Tableau 合作伙伴

连接到您的 Snowflake 数据以启用此加速器

  1. 在此工作簿中创建新数据源
  2. 选择“Snowflake”作为数据源,如果您以前没有安装过驱动程序,请立即安装。安装驱动程序后,继续执行下一步。

为这些架构中的每一个创建一个新数据源: Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: QUERY_HISTORY Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: WAREHOUSE_METERING_HISTORY Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: STORAGE_USAGE

如果使用“Slow Running Queries Advanced”仪表板:

Create another data source by connecting to Snowflake and choosing the ACCOUNT_USAGE schema.然后,将一个新的自定义 SQL 表拖到画布中。输入以下自定义 SQL 文本(也可在数据源的“自定义 SQL 文本”字段中找到)。

SELECT      QUERY_ID,     STEP_ID,     OPERATOR_ID,     PARENT_OPERATOR_ID,     OPERATOR_TYPE,     OPERATOR_STATISTICS,     EXECUTION_TIME_BREAKDOWN,     OPERATOR_ATTRIBUTES,     EXECUTION_TIME_BREAKDOWN:overall_percentage::float AS OPERATOR_EXECUTION_TIME,     OPERATOR_STATISTICS:output_rows output_rows,     OPERATOR_STATISTICS:input_rows input_rows,     CASE WHEN OPERATOR_STATISTICS:input_rows>0 THEN OPERATOR_STATISTICS:output_rows / OPERATOR_STATISTICS:input_rows ELSE 0 END AS row_multiple,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_local_storage AS INT) bytes_spilled_local,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_remote_storage AS INT) bytes_spilled_remote,     OPERATOR_STATISTICS:io:percentage_scanned_from_cache::float percentage_scanned_from_cache,     OPERATOR_STATISTICS:table_name::string tablename,     CAST(OPERATOR_STATISTICS:pruning:partitions_scanned AS INT) partitions_scanned,     CAST(OPERATOR_STATISTICS:pruning:partitions_total AS INT) partitions_total,     OPERATOR_STATISTICS:pruning:partitions_scanned/OPERATOR_STATISTICS:pruning:partitions_total::float as partition_scan_ratio,     CLUSTERING_KEY,     LAG(OPERATOR_TYPE) OVER (ORDER BY OPERATOR_ID) LAG_OPERATOR_TYPE FROM TABLE(get_query_operator_stats(<Parameters.QueryID>))     LEFT JOIN SNOWFLAKE_SAMPLE_DATA.INFORMATION_SCHEMA.TABLES t     on TABLENAME = t.TABLE_CATALOG || “.” || t.TABLE_SCHEMA || “.” || t.TABLE_NAME ORDER BY STEP_ID,OPERATOR_ID

您可能会收到一条错误消息,但这是因为用于选择有效查询 ID 的参数尚未更新。在替换数据源之前,您可以忽略这些错误消息。


请注意: 截至 2019 年 5 月,这些表不包含任何与物化视图、自动聚类分析或 Snowpipe 相关的成本信息。这些信息包含在单独的表中。
  1. 连接到所有四个表后,右键单击各自的示例表,并将每个表替换为您自己的 Snowflake 架构中的相应表。例如,右键单击 QUERY_HISTORY_SAMPLE 并将其替换为您自己数据库中的 QUERY_HISTORY 表。
  2. 当您自己的数据填充仪表板时,右键单击每个示例数据源,然后将其关闭。

功能

连接到 Snowflake

资源