Snowflake 모니터링 및 성능 관리

  • 사전 예방적 모니터링 및 신속한 진단
  • 비용 절감을 위한 스토리지 사용 최적화
  • 쿼리 성능 모니터링 및 그 외 다양한 기능
무료 체험

글로벌 선도 기업들의 신뢰

  • ebay
  • anthem
  • allscripts
  • dachers

Snowflake란 무엇인가요?

Snowflake는 데이터 저장, 분석 및 보고 기능을 제공하는 클라우드 기반 데이터 웨어하우징 플랫폼입니다. 높은 확장성, 보안성, 가용성을 갖추도록 설계되었으며 다양한 데이터 유형 및 소스를 지원합니다.

Snowflake’s cost-per-usage model is revolutionary in the cloud database ecosystem and good tools to optimize performance and costs including those associated with cloud platform, storage and K8s dependencies are essential.

Snowflake는 스토리지와 컴퓨팅을 분리하는 고유한 아키텍처를 사용하여 높은 성능과 확장성을 제공합니다. 또한 SQL 기반 인터페이스로 데이터를 쉽게 쿼리할 수 있어 분석가 및 데이터 과학자에게 편리합니다. 주요 기능은 다음과 같습니다:

  • 데이터 웨어하우징, 데이터 레이크, 데이터 엔지니어링, 데이터 과학, 실시간/공유 데이터의 안전한 공유 및 소비를 위한 단일 플랫폼을 제공하는 완전 관리형 SaaS입니다.
  • 기본적으로 스토리지와 컴퓨팅을 분리하며, 즉각적인 확장 가능 컴퓨팅, 데이터 공유, 데이터 복제 및 서드파티 도구 지원을 제공합니다.
  • 기존 솔루션보다 빠르고, 사용하기 쉽고, 훨씬 더 유연한 데이터 저장, 처리 및 분석 솔루션을 제공합니다.
  • A Snowflake database is where an organization’s uploaded structured and semi-structured data sets are held for processing and analysis. Snowflake automatically manages all parts of the data storage process, including organization, structure, metadata, file size, compression, and statistics.

eG Enterprise가 충족하는 주요
Snowflake 모니터링 요구 사항

eG Enterprise’s integration with Snowflake enables complete visibility into the Snowflake architecture and operations, alongside any dependent cloud hosted infrastructures. Leveraging AIOps technologies, eG Enterprise offers an observability platform to help you use Snowflake at scale and assure performance, availability and cost optimizations. With eG Enterprise you can:

  • 비용이 많이 들고 느린 쿼리를 신속하게 파악하고 정확한 실행 세부 정보를 드릴다운하여 병목 현상을 해결합니다
  • 사용 패턴을 분석하여 스토리지 요구 사항을 최적화합니다. 스토리지 급증 및 비효율적으로 로드되는 대용량 파일을 식별합니다
  • 크레딧 사용량을 모니터링하고 비용 최적화가 가능한 곳에서 필요한 조치를 취합니다
  • 잘못된 구성 및 보안 위협을 감지하고 사전에 해결합니다
  • 데이터 웨어하우스 성능을 모니터링하고 웨어하우스가 사용자 요구 사항을 충족할 수 있는지 파악합니다. 웨어하우스 크기 조정 시점을 예측합니다
  • 복제 활성화 여부를 확인하고 인스턴스 간 지연을 추적하여 복제 문제를 조기에 파악합니다
  • AIOps 기반 이상 탐지로 즉시 경고를 받아 기록 패턴에서의 이탈이나 스토리지와 같은 주요 리소스의 변동을 신속하게 감지합니다
  • 풍부한 대시보드, 토폴로지 맵 및 보고서를 활용하여 조직 전반의 커뮤니케이션 사일로를 해소합니다

Snowflake 모니터링 조직 전반의 크레딧 사용량

eG Enterprise는 세밀한 단위로 Snowflake 비용을 다양한 방법으로 모니터링할 수 있어 Snowflake 크레딧 사용량을 관리하고 파악할 수 있습니다. 다음이 가능합니다:

  • 가상 웨어하우스 실행, 클라우드 서비스 계층 작업 수행, 또는 서버리스 기능 사용 시 소비되는 크레딧을 확인하고 추적합니다.
  • 상세 진단 창을 통해 각 서비스 및 세션별 크레딧 사용량에 즉시 접근합니다.
  • 파이프별 Snowflake 크레딧 사용량 모니터링: Snowflake는 Snowpipe가 데이터 파일을 큐에 넣고 처리하는 동안 계정의 모든 파이프 로드 리소스 소비를 초/코어 단위로 추적합니다
  • 파이프별 Snowflake 크레딧 사용량 모니터링: Snowflake는 Snowpipe가 데이터 파일을 큐에 넣고 처리하는 동안 계정의 모든 파이프 로드 리소스 소비를 초/코어 단위로 추적합니다. Snowflake는 현재 Snowpipe 부하에 따라 자동으로 용량을 늘리거나 줄여 컴퓨팅 리소스를 제공하고 관리합니다. 계정은 실제 컴퓨팅 리소스 사용량에 따라 청구됩니다.
Snowflake Credit
  • 데이터 파일을 능동적으로 큐에 넣고 처리합니다. Snowflake는 현재 Snowpipe 부하에 따라 자동으로 용량을 늘리거나 줄여 컴퓨팅 리소스를 관리합니다. 계정은 실제 컴퓨팅 리소스 사용량에 따라 청구됩니다.
  • eG Enterprise는 AWS 및 Azure의 클라우드 구독 및 테넌트 계정도 모니터링하여 Snowflake와 관련된 클라우드 플랫폼 비용을 단일 콘솔에 통합할 수 있습니다.

Snowflake 웨어하우스 성능 개선 및 가용성 보장

  • 웨어하우스 과부하로 인한 쿼리 대기를 방지하고 주요 쿼리 성능 지표를 실시간으로 모니터링합니다
  • 사전 경고 및 동적 AIOps 기반 자동 베이스라이닝으로 용량 초과 전에 웨어하우스 크기 또는 클러스터를 선제적으로 조정합니다
  • 문제를 조기에 파악하고 느린 쿼리 성능을 최적화합니다
  • eG Enterprise는 웨어하우스 가용성과 웨어하우스 부하를 선제적으로 모니터링합니다
  • Dedicated features also monitor and provide insights into Snowflake’s Automatic allowing you visibility on background re-clustering
Snowflake warehouse

쿼리 및 쿼리 워크로드에 대한 심층 인사이트

Query performance is key to any database or data store. Many factors can affect the performance and throughput of queries like the load on the target database, query complexity, blocked queries, etc. If the query performance is not acceptable, it will directly and immediately impact the performance of customers’ applications using Snowflake database and in the worst case might disrupt business critical services.

It is important to monitor each database under the client’s Snowflake service account to provide insights into query workload. eG Enterprise monitors each Snowflake database and provides vital statistics related to query execution like average and maximum time taken for query execution, how long the queries are being queued before execution, for how long were

It is important to monitor each database under the client’s Snowflake service account to provide insights into query workload. eG Enterprise monitors each Snowflake database and provides vital statistics related to query execution like average and maximum time taken for query execution, how long the queries are being queued before execution, for how long were transactions blocked, etc. Administrators can look at these metrics and get to the root cause of degradation in query performance and clear out the blocked queries and transactions.

snowflake workload

트랜잭션 차단 등. 관리자는 이러한 지표를 통해 쿼리 성능 저하의 근본 원인을 파악하고 차단된 쿼리 및 트랜잭션을 해결할 수 있습니다.

단일 클릭 상세 진단으로 실행 시간별 상위 쿼리, 실패한 쿼리 세부 정보 등 핵심 데이터에 즉시 접근할 수 있습니다.


Snowflake 데이터 로드 및 Snowpipe 관찰 가능성

Snowflake data loading is the process of copying and loading data or data sets from a source file, folder or application to a database. It is implemented by copying digital data from a source and loading the data to a data storage or processing utility.

Snowpipe is Snowflake's continuous data ingestion service. Snowpipe loads data within minutes after files are added to a stage and submitted for ingestion.

eG Enterprise allows you to proactively and continuously monitor data loading using COPY INTO (bulk loading) and pipes (continuous loading) within Snowflake. In the event of failures, detailed diagnosis information on error details is instantly available.

Snowflake data loadin

Snowflake 태스크 모니터링

When handling large and complex data pipelines with tasks or task trees, not all of them may execute SQL statements as expected and some may fail.

Snowflake includes a table function named TASK_HISTORY, which gives the task usage detail for your entire Snowflake account or a specific task. This TASK_HISTORY table function exists under the information schema where the task or task tree is created.

eG Enterprise automatically keep track of the Snowflake tasks and

eG Enterprise automatically keep track of the Snowflake tasks and give you visibility into their operation with proactive alerting on failures and instant access to data from TASK_HISTORY with no need to write or action bespoke SQL queries. Detailed diagnostics on the details of failed or skipped tasks are accessible in a single-click.

snowflake-tasks

give you visibility into their operation with proactive alerting on failures and instant access to data from TASK_HISTORY with no need to write or action bespoke SQL queries. Detailed diagnostics on the details of failed or skipped tasks are accessible in a single-click.

Live and historical reporting allows you a comprehensive overview of task usage and success over longer periods.


엔터프라이즈 전반에 Snowflake 관찰 가능성 통합

eG Enterprise allows you to integrate your Snowflake monitoring into automated workflows and best-practice business workflows. Designed for users across the enterprise beyond the Snowflake Administrator including L1/L2 help desk operators, business management and cloud architects. eG Enterprise includes:

  • Live and historical reporting and capacity planning tools. Schedule and email reports automatically
  • Dedicated one-click dashboards for Snowflake
  • Built in configuration change tracking and user audit trails
  • A secure SOC 2 audited architecture with a wealth of security features.
  • RBAC (Role Based Access Controls) limit visibility and operations as required. Non-domain specialist help desk staff
  • RBAC (Role Based Access Controls) limit visibility and operations as required. Non-domain specialist help desk staff can have instant visibility on Snowflake and cloud issues without accessing the Snowflake of cloud service accounts, consoles, and portals
Observability
  • can have instant visibility on Snowflake and cloud issues without accessing the Snowflake of cloud service accounts, consoles, and portals
  • Help desk and ITSM tool integrations with ServiceNow, Autotask, JIRA and others allow you to formally track Snowflake issues
  • A PowerBI integration to assist business analytics
  • One-click root cause diagnosis technologies on dashboards avoid alarm storms and allow frontline help desk staff to differentiate between Snowflake and Cloud issues

단일 플랫폼에서 클라우드 및 Snowflake 사용량과 비용 인사이트 확인

eG Innovations supports over 650+ technology stacks, including most database technologies and public clouds such as Microsoft Azure and Amazon AWS. eG Enterprise allows you to:

  • Track and compare the performance and costs of different database technologies
  • Evaluate the overall costs of your Snowflake and Cloud Provider usage – see the combined costs of running Snowflake on AWS or Azure
  • Proactively monitor user access and authentication
  • Proactively monitor user access and authentication technologies including Active Directory, Azure AD and AWS access
VM-Right-Sizing
  • technologies including Active Directory, Azure AD and AWS access
  • Monitor technologies used in conjunction with Snowflake such as Kafka, Docker, SAP, Node.js and more
  • Monitor Cloud services such as Kubernetes (such as Azure AKS or AWS EKS), Networking and Load Balancing, and detect cloud outages and issues in the same console as your Snowflake stack
  • Troubleshoot, optimize and capacity plan Cloud storage services such as AWS S3 or Azure Blob Storage. Metric thresholds, dynamic baselining, and alerting are configured out-of-the-box without the need for manual intervention
  • Comprehensive suite of APM (Application Performance Monitoring) tools for observability on applications or services dependent on your Snowflake usage
  • Synthetic and RUM (Real User Monitoring) tools including protocol, full session and web application simulators allow the performance and behavior of Snowflake to be tested within the full context of applications and services depending on it
  • Transfer licenses across the technologies you monitor, with eG Enterprise you can monitor your on-prem Microsoft SQL Servers deployments before migration to Snowflake and continue to use the same product transferring after migration transferring licenses to avoid shelf-ware
  • A single interface with broad support for all major Database technologies allows you to monitor and benchmark Snowflake alongside other DB technologies to ensure you get the best cost and performance balance for your data workloads

자주 묻는 질문(FAQ)
Snowflake 모니터링에 대하여

Snowflake는 세 가지 주요 구성 요소로 설계되어 있습니다:

클라우드 서비스: Snowflake는 클라우드 서비스에 ANSI SQL을 사용하여 사용자가 데이터를 최적화할 수 있도록 지원합니다. 수동 데이터 웨어하우스 관리 및 튜닝이 필요 없습니다.

쿼리 처리(컴퓨팅): Snowflake의 컴퓨팅 계층은 데이터를 분석할 수 있는 가상 클라우드 데이터 웨어하우스로 구성됩니다. 각 가상 웨어하우스는 독립적인 클러스터로 컴퓨팅 리소스를 경쟁하지 않아 워크로드 동시성 문제가 없습니다.

데이터베이스 스토리지: 데이터베이스 스토리지 계층은 구조화 및 반구조화 데이터를 포함한 Snowflake에 로드된 모든 데이터를 보관합니다. Snowflake는 구성, 구조, 메타데이터, 파일 크기, 압축 및 통계를 포함한 모든 데이터 저장 프로세스를 자동으로 관리합니다.

See: Key Concepts & Architecture — Snowflake Documentation for more detail.

Snowflake is provided as a self-managed service that runs completely on cloud infrastructure. This means that all three layers of Snowflake’s architecture (storage, compute, and cloud services) are deployed and managed entirely on a selected cloud platform.

Snowflake 계정은 다음 클라우드 플랫폼 중 하나에서 호스팅될 수 있습니다:

  • Amazon Web Services (AWS)
  • Google Cloud Platform (GCP)
  • Microsoft Azure (Azure)

eG Enterprise는 에이전트 없이 Snowflake를 모니터링합니다. 읽기 전용 모니터링 사용자가 테이블 뷰를 쿼리하여 Snowflake 데이터베이스의 상태를 모니터링합니다.

Snowflake는 SQL 언어를 지원하는 클라우드 기반 관계형 데이터베이스 관리 시스템(RDBMS)입니다. 열 기반 데이터베이스로 행이 아닌 열에 데이터를 저장하여 더 효율적인 데이터 압축과 빠른 쿼리 성능을 제공합니다. 유연한 데이터 모델링 및 반구조화 데이터 저장과 같은 NoSQL 요소도 통합한 하이브리드 데이터베이스입니다.

Snowflake는 가장 일반적인 표준화 SQL 버전인 ANSI를 지원하는 데이터 플랫폼데이터 웨어하우스입니다. 가장 일반적인 작업 모두 Snowflake 내에서 사용 가능하며, create, update, insert 등 데이터 웨어하우징 작업도 지원합니다.

Snowpipe는 Snowflake의 연속 데이터 수집 서비스입니다. 파일이 스테이지에 추가되고 수집 제출 후 몇 분 내에 데이터를 로드합니다. 서버리스 컴퓨팅 모델을 통해 Snowflake는 부하 용량을 관리하여 수요를 충족하는 최적의 컴퓨팅 리소스를 보장합니다.

eG Enterprise가 지원하는 650개 이상의 스택 목록을 확인할 수 있습니다: 엔드투엔드 모니터링: 애플리케이션, 클라우드, 컨테이너(eginnovations.com). 모든 주요 온프레미스 및 클라우드 서비스 데이터베이스와 Redis 같은 데이터베이스 관련 제품이 지원됩니다. 가장 인기 있는 옵션에 대한 정보는 데이터베이스 모니터링 페이지를 참조하세요: 최고의 데이터베이스 모니터링 도구 | eG Innovations.



무료 체험판을 시작하거나 엔지니어와 맞춤형 데모 일정을 잡으세요

  • 클라우드 환경, 하이브리드 클라우드 설정 및 온프레미스 배포에서 작동
  • SaaS 플랫폼 또는 온프레미스를 사용하여 eG Enterprise 배포
  • 클라우드 애플리케이션, 디지털 워크스페이스 및 IT 인프라 모니터링에 적합
Please Enter Valid Work Email
eG Enterprise