본문 바로가기

In-memory

Google BigQuery의 인메모리 쿼리 execution BigQuery는 고성능의 페타바이트 규모 분석 데이터베이스입니다. 이러한 수준의 성능을 달성하기 위해 BigQuery는 완전히 메모리에서 쿼리를 실행합니다. 이에 반해 대부분의 데이터베이스 및 데이터 처리 시스템은 디스크와 메모리 모두에서 작동하는 하이브리드 실행기를 사용하여 확장성을 달성합니다. 한편 BigQuery의 실행 엔진은 단순하고 순수한 메모리 내 연산자를 구축하고 확장 가능한 데이터 재분할 또는 "셔플"을 통해 페타바이트 규모의 분석을 달성합니다. 본 글에서는 BigQuery 셔플을 자세히 살펴보고 Jupiter와 같은 Google의 페타비트 규모 네트워킹 기술을 활용하여 고성능 인메모리 쿼리 실행을 가능하게 하는 방법을 살펴봅니다. Shuffle은 Hadoop 및 Spark에서 Googl.. 더보기

티스토리툴바