Snowflake Account Usage

por Tableau

Iniciar demonstração

Descrição

O Acelerador para Monitoramento de custo do Snowflake permite que os administradores do Snowflake analisem os custos gerais de computação, monitoramento de desempenho, adoção do usuário e rastreamento de erros de seus armazenamentos de dados do Snowflake. O painel Compute Cost Overview pode ser usado para entender a queima de crédito, planejar a alocação de orçamento e identificar valores discrepantes de pico para reduzir gastos desnecessários. Use o painel User Adoption para acompanhar a adoção de sua nova plataforma de nuvem e ver onde o tempo está sendo alocado. O painel de Performance Monitoring e o painel Error tracking permitem que você faça uma busca detalhada em consultas específicas que podem estar demorando mais ou expirando.

O Painel Slow Running Queries tem duas versões disponíveis para uso. A versão básica usa informações persistentes da tabela ACCOUNT_USAGE. A versão avançada usa sql personalizado para gerar análises do Query Profiler em problemas comuns de desempenho, como união de colunas explosivas, remoção ineficiente etc. A análise é limitada aos últimos 14 dias. O desempenho pode ser mais lento devido ao uso de SQL personalizado, pois as informações do Query Profiler são consultadas na seleção de cada marca. Se você não deseja usar a versão avançada, feche a fonte de dados CUSTOM_SQL e exclua o painel para evitar erros.

Responda às principais perguntas de negócios

  • Qual é o desempenho geral da nossa infraestrutura Snowflake, onde está o maior consumo?
  • Quais armazéns estão tendo o maior custo?
  • Como a despesa de computação do nosso banco de dados se compara ao nosso plano?
  • Onde há problemas de desempenho com usuários ou consultas específicas?
  • Como é a adoção do usuário? Quem usa mais o banco de dados e quem é provisionado, mas não o usa tanto quanto esperávamos?
  • Existem erros recorrentes para resolver e otimizar?
  • Com base no uso atual, qual é a duração esperada do contrato?

Monitorar e melhorar KPIs

  • Número de consultas
  • Consultas por usuário
  • Taxa de utilização do servidor na nuvem
  • Tempo por consulta
  • Taxa de erro
  • Minutos decorridos em erros
  • Número de usuários
  • Média decorrida neste mês, dia, mês passado,
  • Média de uso diário de crédito
  • Média de custo de armazenamento mensal
  • Taxa de utilização da camada de Serviços de nuvem
  • Méd. de desempenho da consulta

Parceiros Snowflake + Tableau que podem ajudar você a ter sucesso hoje

Conecte-se aos seus dados do Snowflake para ativar este acelerador

  1. Criar uma nova fonte de dados nesta pasta de trabalho
  2. Selecione “Snowflake” como fonte de dados e, se você ainda não instalou o driver, faça-o agora. Depois que o driver estiver instalado, vá para a próxima etapa.

Crie uma nova fonte de dados para cada um destes esquemas: Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: QUERY_HISTORY Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: WAREHOUSE_METERING_HISTORY Database: SNOWFLAKE Schema: ACCOUNT_USAGE Table: STORAGE_USAGE

Se estiver usando o painel Slow Running Queries Advanced:

Create another data source by connecting to Snowflake and choosing the ACCOUNT_USAGE schema. Em seguida, arraste uma nova tabela SQL personalizada para a canvas. Insira o texto SQL personalizado a seguir (também encontrado no campo “Texto SQL personalizado” na fonte de dados).

SELECT      QUERY_ID,     STEP_ID,     OPERATOR_ID,     PARENT_OPERATOR_ID,     OPERATOR_TYPE,     OPERATOR_STATISTICS,     EXECUTION_TIME_BREAKDOWN,     OPERATOR_ATTRIBUTES,     EXECUTION_TIME_BREAKDOWN:overall_percentage::float AS OPERATOR_EXECUTION_TIME,     OPERATOR_STATISTICS:output_rows output_rows,     OPERATOR_STATISTICS:input_rows input_rows,     CASE WHEN OPERATOR_STATISTICS:input_rows>0 THEN OPERATOR_STATISTICS:output_rows / OPERATOR_STATISTICS:input_rows ELSE 0 END AS row_multiple,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_local_storage AS INT) bytes_spilled_local,     CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_remote_storage AS INT) bytes_spilled_remote,     OPERATOR_STATISTICS:io:percentage_scanned_from_cache::float percentage_scanned_from_cache,     OPERATOR_STATISTICS:table_name::string tablename,     CAST(OPERATOR_STATISTICS:pruning:partitions_scanned AS INT) partitions_scanned,     CAST(OPERATOR_STATISTICS:pruning:partitions_total AS INT) partitions_total,     OPERATOR_STATISTICS:pruning:partitions_scanned/OPERATOR_STATISTICS:pruning:partitions_total::float as partition_scan_ratio,     CLUSTERING_KEY,     LAG(OPERATOR_TYPE) OVER (ORDER BY OPERATOR_ID) LAG_OPERATOR_TYPE FROM TABLE(get_query_operator_stats(<Parameters.QueryID>))     LEFT JOIN SNOWFLAKE_SAMPLE_DATA.INFORMATION_SCHEMA.TABLES t     em TABLENAME = t.TABLE_CATALOG || “.” || t.TABLE_SCHEMA || “.” || t.TABLE_NAME ORDER BY STEP_ID,OPERATOR_ID

Você pode receber uma mensagem de erro, mas isso ocorre porque o parâmetro para selecionar um ID de consulta válido não foi atualizado. Você pode ignorar essas mensagens de erro até substituir a fonte de dados.


Observação: a partir de maio de 2019, essas tabelas não contêm nenhuma informação de custo referente a visualizações materializadas, clustering automático ou Snowpipe. Essas informações estão contidas em tabelas separadas.
  1. Depois de se conectar a todas as quatro tabelas, clique com o botão direito do mouse nas respectivas tabelas de amostra e substitua cada uma pela tabela apropriada de seu próprio esquema Snowflake. Por exemplo, clique com o botão direito do mouse em QUERY_HISTORY_SAMPLE e substitua-o pela tabela QUERY_HISTORY de seu próprio banco de dados.
  2. Quando seus próprios dados estiverem preenchendo os painéis, clique com o botão direito do mouse em cada uma das fontes de dados de amostra individualmente e feche-as.