HeatWave 내장 ML을 갖춘 인메모리 쿼리 가속기
성능 및 확장성을 위해 설계된 클라우드 데이터베이스
Heatwave의 인메모리 컬럼 표현은 벡터화된 처리가 가능합니다. 메모리에 로드하기 전 데이터를 인코딩하여 압축합니다. 최적화와 압축을 거친 인메모리 표현은 숫자와 문자열 데이터에 모두 사용됩니다. 결과적으로 현격한 성능 향상과 메모리 점유율 감소를 통해 비용 절감을 실현할 수 있습니다.
코어와 노드 전반의 확장성
HeatWave 엔진 설계의 핵심 가운데 하나는 HeatWave 노드로 이루어진 클러스터 전체의 대규모 데이터를 병렬 동작이 가능하도록 분할하는 것입니다. 이는 분석 작업의 캐시메모리 적중률을 개선하여 노드 간 확장성이 향상됩니다. 클러스터를 구성하는 각 HeatWave 노드와 노드마다 존재하는 코어가 분할된 데이터를 병렬 처리하며 여기에는 병렬 스캔, 조인, 그룹화, top-k 처리 등이 포함됩니다.
실시간 분석
OLTP 트랜잭션에 의해 변경된 내용은 실시간으로 HeatWave에 전송되어 분석 쿼리로 바로 확인할 수 있습니다. 사용자가 MySQL 데이터베이스에 제출한 쿼리는 별도의 변환 작업 없이 트랜잭션 종류에 따라 MySQL 쿼리 최적화 프로그램에서 바로 오프로딩 여부를 결정하기 때문에 HeatWave 클러스터의 실행 속도가 빨라집니다. 이는 쿼리에서 참조한 연산자 및 함수를 HeatWave에서 지원하는가의 여부에 따라 MySQL보다 HeatWave의 처리 속도가 더 빠른 경우를 바탕으로 합니다. 두 조건을 모두 만족하면 HeatWave 노드로 쿼리를 전달하여 처리하게 됩니다. 처리를 마치면 MySQL 데이터베이스 노드로 결과를 다시 전송하여 사용자에게 반환합니다.
실시간 인사이트 확보를 위한 분산형 인메모리 분석 처리
HeatWave는 최첨단 알고리즘을 바탕으로 분산형 인메모리 분석 처리를 구현합니다. 벡터 기반의 빌드와 프로브 조인 커널을 사용하여 분할 영역 내의 병합을 신속하게 처리합니다. 비동기적으로 일괄 처리되는 입출력은 분석 노드 사이의 네트워크 통신을 최적화합니다. 우수한 확장성을 위해 연산 시점과 노드 간 데이터 통신이 중첩되도록 알고리즘을 설계하였습니다.
데이터베이스 및 객체 스토리지 전반에서의 빠른 분석
HeatWave는 최첨단 알고리즘을 바탕으로 분산형 인메모리 분석 처리를 구현합니다. 벡터 기반의 빌드와 프로브 조인 커널을 사용하여 분할 영역 내의 병합을 신속하게 처리합니다. 비동기적으로 일괄 처리되는 입출력은 분석 노드 사이의 네트워크 통신을 최적화합니다. 우수한 확장성을 위해 연산 시점과 노드 간 데이터 통신이 중첩되도록 알고리즘을 설계하였습니다.
AutoML을 활용한 데이터베이스 내 머신러닝
MySQL HeatWave는 데이터베이스 내 머신러닝 기능을 무료로 제공합니다. 따라서 고객은 Amazon SageMaker 등과 같은 별도의 머신러닝 서비스로 데이터를 이동할 필요 없이 ML 이니셔티브를 가속화하고, 보안을 강화하고, 비용을 절감할 수 있습니다. MySQL 및 객체 저장소에 저장된 데이터를 사용하여 머신러닝 학습, 인퍼런스, 설명 등의 작업을 손쉽고 안전하게 수행할 수 있습니다. HeatWave AutoML은 알고리즘 선택, 모델 교육을 위한 지능형 데이터 샘플링, 기능 선택, 하이퍼변수 최적화 등 머신러닝 수명 주기를 자동화합니다. 고객의 시간과 수고를 크게 절약할 수 있죠. 개발자 및 데이터 분석가들은 새로운 도구나 언어를 배울 필요 없이 친숙한 SQL 명령을 사용해 머신러닝 모델을 구축할 수 있습니다. 또한 HeatWave AutoML은 Jupyter, Apache Zeppelin 등 인기 노트북과 통합되었습니다. HeatWave AutoML은 학습 결과에 대한 설명과 관련 예측을 함께 제공하므로, 기업의 규제 준수, 공정성, 반복성, 인과성, 신뢰도 관련 분야에 활용할 수 있습니다.
생성형 AI 및 MySQL HeatWave 벡터 저장소
현재 비공개 미리보기 단계인 벡터 저장소 기능은 고객사가 자체적으로 보유한 데이터로 대규모 언어 모델(LLM)을 학습시킴으로써 공개된 데이터만 학습한 모델보다 더욱 정확한 답변을 얻을 수 있도록 지원합니다. 생성형 AI 및 벡터 저장소 기능 덕분에 고객은 자연어를 사용해 MySQL HeatWave와 상호작용하고 HeatWave Lakehouse에서 다양한 파일 형식의 문서를 효율적으로 검색할 수 있습니다. 벡터 저장소는 PDF를 비롯한 다양한 형식의 문서를 수집하고, 인코더 모델을 통해 생성된 임베딩으로 저장합니다. 사용자가 쿼리를 입력하면 벡터 저장소는 저장된 임베딩과 임베드된 쿼리에 대한 유사성 검색을 수행하여 쿼리 내용과 가장 유사한 문서를 식별합니다. 식별한 문서로 LLM에 제공되는 프롬프트를 보강하여 LLM이 보다 맥락에 맞는 답변을 제공하도록 유도할 수 있습니다.
MySQL Autopilot: 머신러닝 기반 자동화
MySQL Autopilot은 대규모 쿼리의 고성능 처리를 위해 고난이도의 주요 작업들을 자동화합니다. 여기에는 프로비저닝, 데이터 로딩, 쿼리 실행, 장애 처리 등이 포함됩니다. 여기서 사용되는 고급 기술을 이용하면 데이터 샘플링, 데이터 및 쿼리 통계 수집, 메모리 사용량, 네트워크 부하, 실행 시간 모델링을 위한 머신러닝 학습 모델 구축이 가능합니다. MySQL Autopilot은 이러한 필수 기능을 실행하기 위해 머신러닝 모델을 이용합니다. 더 많은 쿼리가 실행될수록 MySQL Autopilot은 HeatWave 쿼리 옵티마이저의 지능을 높여주고, 그 결과 시간이 지날수록 시스템 성능이 개선됩니다. 이와 같은 기능은 Amazon Aurora, Amazon Redshift, Snowflake 또는 기타 MySQL 기반 데이터베이스 서비스에서는 지원되지 않습니다. MySQL Autopilot은 OLTP 워크로드의 성능 및 가격 대비 성능 개선을 위해 설계된 기능들도 제공합니다. MySQL HeatWave 고객은 추가 비용 없이 MySQL Autopilot을 사용할 수 있습니다.
100배 더 빠른 데이터 복구
MySQL이 HeatWave에서 데이터를 불러오면 OCI 객체 저장소의 수평 확장 데이터 관리 계층에 인메모리 표현의 사본이 생성됩니다. MySQL 데이터의 변경 사항은 이 데이터 계층에 동일하게 전달됩니다. 오류 복구와 같이 운영 상의 이유로 HeatWave에 데이터를 다시 불러와야 할 경우 HeatWave 데이터 계층과 복수의 HeatWave 노드에서 해당 데이터에 동시에 접근하는 것이 가능합니다. 이로 인해 성능이 크게 향상됩니다. 예를 들어 10TB HeatWave 클러스터의 경우 데이터를 복구하고 다시 로드하는 데 걸리는 시간은 7.5시간에서 4분으로 100배 이상 단축됩니다.
다운타임 없는 일관된 고성능 제공 및 비용 절감
실시간 탄력성은 고객이 다운타임 또는 읽기 전용 시간을 발생시키지 않고도 원하는 노드 수에 따라 HeatWave 클러스터의 크기를 늘리거나 줄일 수 있게 해줍니다. 크기 재조정은 몇 분이면 완료됩니다. 그동안 HeatWave는 온라인 상태로 유지되며, 모든 작업을 수행할 수 있습니다. 크기 조정이 완료되면 객체 스토리지에서 데이터가 다운로드되고, 가용한 모든 클러스터 노드가 자동으로 조정되고, 쿼리를 즉시 사용할 수 있게 됩니다. 이를 통해 고객은 피크 타임에도 일관적인 고성능을 누릴 수 있고, 필요할 때 다운타임 또는 읽기 전용 시간 발생 없이 HeatWave 클러스터를 다운사이즈해 비용을 절감할 수 있습니다. 고객은 다른 클라우드 데이터베이스 공급자가 제공하는 경직된 크기 조정 모델 때문에 인스턴스를 오버프로비저닝해야 할 필요가 없습니다. 객체 스토리지에서 효율적인 데이터 재로드를 통해 고객은 HeatWave 클러스터를 일시 중지했다가 다시 시작하여 비용을 절감할 수도 있습니다.
내장형 분석 기능 덕분에 애플리케이션 변경 불필요
HeatWave는 MySQL을 위한 탈착형 스토리지 엔진으로 설계되어 모든 하위 수준의 구현 세부 정보를 완전히 보호합니다. 결과적으로 표준 커넥터를 사용하는 애플리케이션과 도구는 MySQL을 경유하여 HeatWave에 원활하게 접근할 수 있습니다. HeatWave는 다양한 데이터 유형을 지원하는 동시에 MySQL과 동일한 ANSI SQL 표준 및 ACID 속성을 지원합니다. 이로써 기존 애플리케이션의 변경 없이 HeatWave의 장점을 활용하는 것이 가능합니다.
하이브리드 클라우드: 온프레미스 OLTP, 클라우드 OLAP
규정 준수 또는 규제 요건으로 인해 MySQL 배포를 클라우드로 이전하지 못하는 온프레미스 고객들도 하이브리드 배포 모델을 사용해 HeatWave를 활용할 수 있습니다. 이러한 하이브리드 배포에서는 MySQL 복제를 이용해 ETL 없이 온프레미스 MySQL 데이터를 HeatWave로 복제할 수 있습니다.
위성영상 AI 처리를 위한 모델 데이터베이스 MySQL Heatwave 도입 사례 - 새팜
기존 A사 Aurora 데이터베이스를 사용하던 <AI 위성영상 기반의 작물 분석> 서비스에 MySQL Heatwave 서비스를 도입하며 비용을 30% 이상 절감하고, 배치 쿼리 성능을 2배 이상 향상 시켰습니다. 또한 수백기가에 달하는 작물모델 분석 결과와 위성 원본 이미지를 데이터 웨어하우스에 저장해 데이터의 활용도를 향상시켰습니다.
5만 MAU로 성장하는 커뮤니티, 커머스 앱에도 MySQL Heatwave 로 비용절감 - 알파버스
1년만에 5만 MAU를 달성한 섹슈얼 매거진 플랫폼 '언시크릿'은 MySQL Heatwave 를 초기부터 도입해 빠른 성장세로 인한 고객 유입에도 성능 저하 없이 안정적으로 커뮤니티 및 커머스 서비스를 지속적으로 제공할 수 있었습니다. Heatwave AutoML 서비스를 통해 데이터 전문인력 없이도 분석할 수 있는 기반을 마련하였습니다.
내부 솔루션의 MySQL Heatwave 도입을 통한 쿼리 성능 70% 향상 후기 - 에이핀
기존의 MySQL 데이터베이스를 사용하던 솔루션에 MySQL Heatwave 를 도입해 쿼리 성능을 70% 이상 향상시켰습니다. MySQL Heatwave의 빠른 성능으로 인해 데이터 분석 및 보고서 작성 시간을 50% 이상 단축하였습니다.
수일이 소요되는 업무를 몇 시간 안에 처리합니다.
대비 속도
대비 속도
대비 속도
대비 속도데이터 웨어하우스 산업에서 최고의 가성비를 제공합니다.
대비 가성비대비 가성비대비 가성비대비 가성비
