공지사항
VPC 환경에서 이용 가능합니다.
서비스 특징
네이버의 기술력을 바탕으로 만들어진 빅데이터 통합 분석 플랫폼
통합 분석 환경 제공
대용량 데이터 저장/처리 및 GPU 환경 기반의 딥러닝 분석이 가능한 통합 분석 환경을 제공합니다.
쉽고 빠른 분석 환경 구성
다양한 빅데이터 프레임워크들을 앱으로 생성하여 사용자 맞춤형 분석 환경을 손쉽게 구성할 수 있습니다.
사용량 기반의 Batch 지원
별도 인프라 구성없이 서버리스 환경에서 사용량 기반으로 Batch 작업을 수행할 수 있습니다.
뛰어난 안정성
높은 가용성과 보안 기술이 적용되어 안정적인 Hadoop 클러스터 환경을 제공합니다. 관리 및 모니터링에 소요되는 시간을 줄일 수 있으며 안전하게 사용할 수 있습니다.
합리적인 비용
사용된 리소스만큼만 비용을 부담할 수 있어 데이터 분석에 필요한 비용을 합리적으로 운용할수 있습니다.
탄력적인 리소스 운영
상황에 따라 리소스를 확장하거나 축소할 수 있어 다양한 비즈니스 요구사항에 유연하게 대처할 수 있습니다.
상세 기능
멀티 테넌트 기반의 통합 플랫폼
대규모 데이터와 많은 사용자를 처리할 수 있도록 설계된 멀티 테넌트 기반의 통합 플랫폼을 제공합니다. 데이터 분석 목적에 따라 Batch 분석 작업이나 Long-Live 분석 작업을 멀티 테넌트 환경에서 수행할 수 있습니다.
모니터링 환경 제공
애플리케이션 리소스 사용량, HDFS(Hadoop Distribute File System) 사용량 등의 지표를 편리하게 모니터링할 수 있습니다. 알람이나 로깅 기능을 활용하여 필요한 조치를 신속하게 취할 수 있습니다.
강력한 보안
Data Forest는 보안이 강화된 Secure Hadoop Cluster로 Kerberos와 LDAP 인증을 이용한 접근 제어, Apache Ranger를 이용한 Application 권한 관리, Apache KNOX 기반의 웹 접속 인증을 제공하여 안전한 분석 환경을 지원합니다.
고가용성 보장
Data Forest는 Apache Hadoop 오픈 소스를 기반으로 다중 마스터 노드 구성을 통해 고가용성과 신뢰성이 모두 보장되는 안정된 클러스터 환경을 이용할 수 있습니다.
효율적인 데이터 작업 지원
Apache Hadoop HDFS(Hadoop Distribute File System)에 데이터를 저장하고 Apache Hadoop YARN에 작업을 요청하여 컨테이너를 할당받아 작업을 실행합니다. 제공되는 프레임워크에서 데이터를 이동할 필요 없이 효율적으로 사용할 수 있습니다.
다양한 빅데이터 에코 시스템 및 딥러닝 프레임워크 제공
Apache Spark, Hive, Presto, Hbase, Airflow, Zeppelin, Jupyter 등 여러 오픈 소스 컴포넌트를 제공합니다. 딥러닝 학습을 위해 Tensorflow, PyTorch 라이브러리를 제공합니다.
※ 제공 프레임워크는 내부 사정에 의해 변경될 수 있습니다.
사용 사례
Extract Transform Load(ETL)
대규모 데이터 세트를 추출, 변환, 로드 처리할 수 있습니다.
대화식 분석
Presto, Spark와 같은 컴포넌트를 사용하여 대화식 탐색 및 분석을 수행할 수 있습니다.
실시간 스트리밍
Apache Kafka와 같은 스트리밍 데이터 원본 이벤트를 Apache Spark Streaming과 같은 오픈 소스를 사용하여 스트리밍 데이터 파이프라인으로 구성할 수 있습니다.
기계 학습
기계 학습 알고리즘을 위해 Apache Spark MLlib를 사용하는 것은 물론 Tensorflow, PyTorch와 같은 기계 학습 라이브러리 및 도구를 손쉽게 추가하여 예측 분석 도구 세트를 구성할 수 있습니다.
대규모 데이터 세트를 추출, 변환, 로드 처리할 수 있습니다.Presto, Spark와 같은 컴포넌트를 사용하여 대화식 탐색 및 분석을 수행할 수 있습니다. Apache Kafka와 같은 스트리밍 데이터 원본 이벤트를 Apache Spark Streaming과 같은 오픈 소스를 사용하여 스트리밍 데이터 파이프라인으로 구성할 수 있습니다.
요금
실용적인 서비스 구성과 시간 단위 종량제 요금 제공
Data Forest 가격
Data Forest는 사용자가 리소스를 사용한 만큼 지불하는 비용 효율적인 서비스입니다. 인프라 요금과 소프트웨어 요금이 합산되어 1분을 최소 요금으로 분당 청구됩니다. Common, Public Queue, Private Queue 로 구분됩니다.
Common : 리소스 설정 없이 HDFS로 저장한 데이터 사이즈 및 Job 수행 시 사용한 인프라 및 소프트웨어 요금
HDFS : 리소스 설정 없이 HDFS(Hadoop Distributed File System)로 저장한 데이터 사이즈로 청구
Public Queue - Job : Public Queue를 사용하여 Job 수행 시 사용한 인프라 및 소프트웨어 요금
Private Queue - Job : Private Queue를 사용하여 Job 수행 시 사용한 소프트웨어 요금
Public Queue : Serverless 형태로 App 생성시 Public Queue에서 리소스를 할당 받아 사용
App : 사용자가 Application 리소스를 설정하고 필요에 따라 직접 리소스를 확장/축소 설정한 만큼 사용량 기반으로 청구되는 인프라 및 소프트웨어 요금
Private Queue : 사용자 전용 컴퓨팅 자원(Private Queue)을 생성하고 App 생성시 Private Queue에서 리소스를 할당 받아 사용
Node : Private Queue 생성 및 운영 위한 서버 이용 요금
App : Private Queue를 사용하여 Application 리소스를 설정한 만큼 사용량 기반으로 청구되는 소프트웨어 요금
Common 이용 요금
HDFS : HDFS에 데이터가 저장된 시점부터 저장된 사이즈(GB) 만큼의 분당 이용 요금으로 청구됩니다.
Job : Hive, Spark, MapReduce 등의 작업을 Hadoop YARN에 실행 요청하는 경우로 vCPU, Memory, GPU로 구분되어 실행된 기간 동안의 요금을 합산하여 청구합니다.
구분 | 상세 | 과금 항목 | 과금 기준 | 요금(인프라 + 소프트웨어) |
|---|---|---|---|---|
Common | HDFS | GB | 분 | - |
Common | Public Queue - Job | vCPU | 분 | - |
Common | Public Queue - Job | GPU | 분 | - |
Common | Public Queue - Job | Memory(GB) | 분 | - |
Common | (예정) Private Queue - Job | vCPU | 분 | - |
Common | (예정) Private Queue - Job | GPU | 분 | - |
Common | (예정) Private Queue - Job | Memory(GB) | 분 | - |
(VAT 별도)
Public Queue 이용 요금
App : Hbase, Kafka, OpenTSDB, Presto, ElasticSearch, Kibana, Zeppelin, Grafana, Hue 등의 Application을 Hadoop YARN 컨테이너에서 생성된 시간 동안 vCPU, Memory, GPU으로 요금을 구분하여 Application 명 별로 청구합니다.
※ App 생성 시 Application Master가 생성되어 1vCPU, 4GB Memory 요금을 청구합니다. (2021.12.01 부터)
※ AI App 생성 시 Application Master가 생성되어 1vCPU, 1GB Memory 요금을 청구합니다. (2021.12.01 부터)
구분 | 상세 | 과금 항목 | 과금 기준 | 요금(인프라 + 소프트웨어) |
|---|---|---|---|---|
Public Queue | App | vCPU | 분 | - |
Public Queue | App | GPU | 분 | - |
Public Queue | App | Memory (GB) | 분 | - |
(VAT 별도)
(예정) Private Queue 이용 요금
Node : 사용자 전용 컴퓨팅 자원을 이용할 경우의 생성된 서버 이용 요금을 청구합니다.
구분 | 상세 | 과금 항목 | 과금 기준 | 인프라 이용 요금 |
|---|---|---|---|---|
Private Queue | Node | vCPU 32EA, Memory 128GB,SSD 100GB | 시간 | - |
Private Queue | Node | vCPU 32EA, Memory 256GB,SSD 100GB | 시간 | - |
Private Queue | Node | V100 1EA, GPU Memory 32GB,vCPU 8EA, Memory 90GB,SSD 100GB | 시간 | - |
Private Queue | Node | V100 2EA, GPU Memory 64GB,vCPU 16EA, Memory 180GB,SSD 100GB | 시간 | - |
Private Queue | Node | V100 4EA, GPU Memory 128GB,vCPU 32EA, Memory 360GB,SSD 100GB | 시간 | - |
(VAT 별도)
App : Hbase, Kafka, OpenTSDB, Presto, ElasticSearch, Kibana, Zeppelin, Grafana, Hue 등의 Application을 Hadoop YARN 컨테이너에서 생성된 시간 동안 vCPU, Memory, GPU으로 요금을 구분하여 Application 명 별로 청구합니다. (인프라 이용 요금은 Node 요금에 포함되어 있습니다.)
※ App 생성 시 Application Master가 생성되어 1vCPU, 4GB Memory 요금을 청구합니다. (2021.12.01 부터)
※ AI App 생성 시 Application Master가 생성되어 1vCPU, 1GB Memory 요금을 청구합니다. (2021.12.01 부터)
구분 | 상세 | 과금 항목 | 과금 기준 | 소프트웨어 이용 요금 |
|---|---|---|---|---|
Private Queue | App | vCPU | 분 | - |
Private Queue | App | GPU | 분 | - |
Private Queue | App | Memory (GB) | 분 | - |
(VAT 별도)
네트워크 전송 요금 (Private Queue - Node)
아웃바운드 트래픽에 대한 네트워크 사용량은 요금표에 따라 과금합니다.
네트워크 사용량에 따른 요금표는 요금 > 리전별 요금제 > Network에서 확인할 수 있습니다.
Notebooks 이용 요금
Data Forest Notebooks는 Jupyter Notebook 앱을 실행하는 컴퓨팅 인스턴스입니다.
Notebooks 이용을 위해서는 Data Forest의 Accounts 가 생성되어 있어야 합니다.
사용 소요 시간에 따라 서버 인스턴스에 대한 요금이 청구됩니다.
구분 | 상세 | 과금 항목 | 과금 기준 | 요금 |
|---|---|---|---|---|
Notebooks | 서버 | 4vCPU 16GB 50GB | 분 | - |
Notebooks | 서버 | 4vCPU 32GB 50GB | 분 | - |
Notebooks | 서버 | 8vCPU 16GB 50GB | 분 | - |
Notebooks | 서버 | 8vCPU 32GB 50GB | 분 | - |
Notebooks | 서버 | 8vCPU 64GB 50GB | 분 | - |
(VAT 별도)
네트워크 전송 요금 (Notebooks)
아웃바운드 트래픽에 대한 네트워크 사용량은 아래 경로의 요금표에 따라 과금합니다.
네트워크 사용량에 따른 요금표는 요금 > 리전별 요금제 > (리전) > Network에서 확인할 수 있습니다.
데이터 스토리지 이용 요금 (Notebooks)
Notebooks 작업용 데이터를 저장하기 위한 스토리지입니다.
최소 100GB~2,000GB까지 10GB 단위로 사용 가능하고, 4,000GB, 6,000GB로 사용 가능합니다.
데이터 스토리지 사용량에 따른 요금표는 요금 > 리전별 요금제 > (리전) > Block Storage에서 확인할 수 있습니다.
Case 1. Spark Job 실행 (Common)
Spark Job을 100개의 vCPU 및 300GB의 Memory를 30일동안 매일 30분간 사용
HDFS를 30일간 평균 500GB의 데이터 저장
구분 | 상세 | vCPU | Memory (GB) | HDFS (GB) | 사용 시간(분) |
|---|---|---|---|---|---|
Common | Spark Job | 100 | 300 | - | 900 |
HDFS | - | - | 500 | 43200 |
Data Forest 이용 요금 :
Common-Public Queue-Job-vCPU 요금
(vCPU 수 * vCPU 요금 * 작업 실행 시간(분))
(100 * - * 900) = -
Common-Public Queue-Job-Memory 요금
(Memory 사용량 * GB 요금 * 작업 실행 시간(분))
(300 * - * 900) = -
Common-HDFS 요금
(HDFS 사용량 * GB 요금 * 작업 실행 시간(분))
(500 * - * 43200) = -
총 이용 요금 = -
Case 2. Spark Job 실행 및 Hive Job 실행 (Common)
Public Queue에서 Spark Job을 100개의 vCPU 및 300GB의 Memory를 30일 동안 매일 1시간 사용
Public Queue에서 Hive Job을 50개의 vCPU 및 200GB의 Memory를 30일 동안 매일 2시간 사용
HDFS를 30일간 평균 800GB의 데이터 저장
구분 | 상세 | vCPU | Memory (GB) | HDFS (GB) | 사용 시간(분) |
|---|---|---|---|---|---|
Common | Spark Job | 100 | 300 | - | 1800 |
Hive Job | 50 | 200 | - | 3600 | |
HDFS | - | - | 800 | 43200 |
Data Forest 이용 요금 :
Common-Public Queue-Job-vCPU 요금
Spark Job (vCPU 수 * vCPU 요금 * 작업 실행 시간(분)) + Hive Job (vCPU 수 * vCPU 요금 * 작업 실행 시간(분))
(100 * - * 1800) + (50 * - * 3600) = -
Common-Public Queue-Job-Memory 요금
Spark Job (Memory 사용량 * GB 요금 * 작업 실행 시간(분)) + Hive Job (Memory 사용량 * GB 요금 * 작업 실행 시간(분))
(300 * - * 1800) + (200 * - * 3600) = -
Common-HDFS 요금
(HDFS 사용량 * GB 요금 * 작업 실행 시간(분))
(800 * - * 43200) = -
총 사용 요금 = -
Case 3. Zeppelin Application 실행 (Public Queue)
Public Queue에서 Zeppelin Application은1개의 컨테이너로 4개의 vCPU 및 12GB의 Memory를 30일간 사용
※ App 생성시 Application Master가 생성되어 1vCPU, 4GB Memory 요금을 청구합니다.
구분 | 상세 | 컴포넌트 | 컨테이너 수 | vCPU | Memory (GB) | 사용 시간(분) |
|---|---|---|---|---|---|---|
Public Queue | Zeppelin Application | Zeppelin | 1 | 4 | 12 | 43200 |
Application Master | 1 | 1 | 4 | 43200 |
총 Data Forest 이용 요금 :
Public Queue-App-vCPU 요금
Zeppelin 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분)) + Application Master 컴포넌트
(컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분))(1 * 4 * - * 43200) + (1 * 1 * - * 43200) = -
Public Queue-App-Memory 요금
Zeppelin 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분)) + Application Master 컴포넌트
(컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분))(1 * 12 * - * 43200) + (1 * 4 * - * 43200) = -
총 이용 요금 = -
Case 4. HBase Application 및 Zookeeper Application 실행 (Public Queue, Common)
Public Queue에서 Zookeeper Application은 zkweb과 zkserver 두개의 컴포넌트가 있으며, zkweb은 1개의 컨테이너로 2개의 vCPU 및 4GB의 Memory, zkserver는 3개의 컨테이너로 2개의 vCPU 및 4GB의 Memory를 30일간 사용
Public Queue에서 HBase Application은 hbasemaster, regionserver, thrift, thrift2, rest 컴포넌트가 있으며, 그중 hbasemaster 는 2개의 컨테이너로 4개의 vCPU 및 16GB의 Memory를 30일간 사용하고, regionserver 는 3개의 컨테이너로 4개의 vCPU 및 32GB의 Memory를 30일간 사용하고, 도중에 regionserver에 3개의 컨테이너를 추가하여 10일동안 사용
HDFS를 30일간 평균 500GB의 데이터 저장
※ App 생성시 Application Master가 생성되어 1vCPU, 4GB Memory 요금을 청구합니다.
구분 | 상세 | 컴포넌트 | 컨테이너 수 | vCPU | Memory (GB) | HDFS (GB) | 사용 시간(분) |
|---|---|---|---|---|---|---|---|
Public Queue | Zookeeper Application | zkweb | 1 | 2 | 4 | - | 43200 |
zkserver | 3 | 2 | 4 | - | 43200 | ||
Application Master | 1 | 1 | 4 | - | 43200 | ||
Public Queue | HBase Application | hbasemaster | 2 | 4 | 16 | - | 43200 |
regionserver | 3 | 4 | 32 | - | 43200 | ||
regionserver(추가) | 3 | 4 | 32 | - | 14400 | ||
thrift | - | - | - | - | - | ||
thrift2 | - | - | - | - | - | ||
rest | - | - | - | - | - | ||
Application Master | 1 | 1 | 4 | - | 43200 | ||
Common | HDFS | - | - | - | - | 500 | 43200 |
총 Data Forest 이용 요금 :
Zookeeper Application
Public Queue-App-vCPU 요금
zkweb 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분)) + zkserver 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분)) + Application Master 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분))
(1 * 2 * - * 43200) + (3 * 2 * - * 43200) + (1 * 1 * - * 43200) = -
Public Queue-App-Memory 요금
zkweb 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분)) + zkserver 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분)) + Application Master 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분))
(1 * 4 * - * 43200) + (3 * 4 * - * 43200) + (1 * 4 * - * 43200) = -
HBase Application
Public Queue-App-vCPU 요금
hbasemaster 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분)) + regionserver 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분)) + regionserver(추가) 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분)) + Application Master 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분))
(2 * 4 * - * 43200) + (3 * 4 * - * 43200) + (3 * 4 * - * 14400) + (1 * 1 * - * 43200) = -
Public Queue-App-Memory 요금
hbasemaster 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분)) + regionserver 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분)) + regionserver(추가) 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분)) + Application Master 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분))
(2 * 16 * - * 43200) + (3 * 32 * - * 43200) + (3 * 32 * - * 14400) + (1 * 4 * - * 43200) = -
Common-HDFS 요금
(HDFS 사용량 * GB 요금 * 실행 시간(분))
(500 * - * 43200) = -
총 이용 요금 = -
Case 5. Tensorflow 모델 학습 실행(Public Queue, Common)
Public Queue에서 V100 GPU 모델에서 1개의 GPU와 8개의 vCPU 및 12GB의 Memory를 30일간 매일 6시간 사용
HDFS를 30일간 평균 500GB의 데이터 저장
※ AI App 생성 시 Application Master가 생성되어 1vCPU, 1GB Memory 요금을 청구합니다.
구분 | 상세 | GPU | vCPU | Memory (GB) | HDFS (GB) | 사용 시간(분) | |
|---|---|---|---|---|---|---|---|
Public Queue | AI App | Tensorflow | 1 | 8 | 12 | - | 10800 |
Application Master | - | 1 | 1 | - | 10800 | ||
Common | HDFS | - | - | - | 500 | 43200 | |
총 Data Forest 이용 요금 :
Public Queue-AI App-GPU 요금
(GPU 수 * GPU 요금 * 작업 실행 시간(분))
(1 * - * 10800) = -
Public Queue-AI App-vCPU 요금
(vCPU 수 * vCPU 요금 * 작업 실행 시간(분)) + Application Master 컴포넌트 (vCPU 수 * vCPU 요금 * 실행 시간(분))
(8 * - * 10800) + (1 * - * 10800) = -
Public Queue-AI App-Memory 요금
(Memory 사용량 * GB 요금 * 작업 실행 시간(분)) + Application Master 컴포넌트 (Memory 사용량 * GB 요금 * 실행 시간(분))
(12 * - * 10800) + (1 * - * 10800) = -
Common-HDFS 요금
(HDFS 사용량 * GB 요금 * 작업 실행 시간(분))
(500 * - * 43200) = -
총 이용 요금 = -
Case 6. Spark Job 실행 및 Hive Job 실행 (Private Queue, Common)
Private Queue Node를 vCPU 32EA, Memory 128GB, SSD 100GB 스펙 2대를 30일 동안 사용
Private Queue에서 Spark Job을 32개의 vCPU 및 128GB의 Memory를 30일 동안 매일 18시간 사용
Private Queue에서 Hive Job을 24개의 vCPU 및 96GB의 Memory를 30일 동안 매일 20시간 사용
HDFS를 30일간 평균 800GB의 데이터 저장
구분 | 상세 | Node 수 | vCPU | Memory (GB) | HDFS (GB) | 사용 시간(분) |
|---|---|---|---|---|---|---|
Private Queue | Node | 2 | 32 | 128 | - | 43200 |
Common | Spark Job | - | 32 | 128 | - | 32400 |
Hive Job | - | 24 | 96 | - | 36000 | |
HDFS | - | - | - | 800 | 43200 |
Data Forest 이용 요금 :
Private Queue-Node 요금
Node 요금 (Node 수 * vCPU 32EA, Memory 128GB, SSD 100GB 요금 * Node 사용 시간(시간))
(2 * - * 720) = -
Private Queue-Job-vCPU 요금
Spark Job (vCPU 수 * vCPU 요금 * 작업 실행 시간(분)) + Hive Job (vCPU 수 * vCPU 요금 * 작업 실행 시간(분))
(32 * - * 32400) + (24 * - * 36000) = -
Private Queue-Job-Memory 요금
Spark Job (Memory 사용량 * GB 요금 * 작업 실행 시간(분)) + Hive Job (Memory 사용량 * GB 요금 * 작업 실행 시간(분))
(128 * - * 32400) + (96 * - * 36000) = -
Common-HDFS 요금
(HDFS 사용량 * GB 요금 * 작업 실행 시간(분))
(800 * - * 43200) = -
총 사용 요금 = -
Case 7. Zeppelin Application 실행 (Private Queue)
Private Queue Node를 vCPU 32EA, Memory 128GB, SSD 100GB 스펙 1대를 30일 동안 사용
Private Queue에서 Zeppelin Application은 7개의 컨테이너로 4개의 vCPU 및 12GB의 Memory를 30일간 사용
※ App 생성시 Application Master가 생성되어 1vCPU, 4GB Memory 요금을 청구합니다.
구분 | 상세 | Node 수, 컨테이너 수 | vCPU | Memory (GB) | 사용 시간(분) |
|---|---|---|---|---|---|
Private Queue | Node | 1 | 32 | 128 | 43200 |
Zeppelin Application | 7 | 4 | 12 | 43200 | |
Application Master | 1 | 1 | 4 | 43200 |
Data Forest 이용 요금 :
Private Queue-Node 요금
Node 요금 (Node 수 * vCPU 32EA, Memory 128GB, SSD 100GB 요금 * Node 사용 시간(시간))
(1 * - * 720) = -
Private Queue-App-vCPU 요금
Zeppelin 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분)) + Application Master 컴포넌트 (컨테이너 수 * vCPU 수 * vCPU 요금 * 실행 시간(분))
(7 * 4 * - * 43200) + (1 * 1 * - * 43200) = -
Private Queue-App-Memory 요금
Zeppelin 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분)) + Application Master 컴포넌트 (컨테이너 수 * Memory 사용량 * GB 요금 * 실행 시간(분))
(7 * 12 * - * 43200) + (1 * 4 * - * 43200) = -
총 이용 요금 = -
Case 8. Tensorflow 모델 학습 실행 (Private Queue, Common)
Private Queue Node를 V100 1EA, GPU Memory 32GB, vCPU 8EA, Memory 90GB, SSD 100GB 스펙 1대를 30일 동안 사용
Private Queue에서 V100 GPU 모델에서 1개의 GPU와 8개의 vCPU 및 64GB의 Memory를 30일간 매일 20시간 사용
HDFS를 30일간 평균 500GB의 데이터 저장
※ AI App 생성 시 Application Master가 생성되어 1vCPU, 1GB Memory 요금을 청구합니다.
구분 | 상세 | Node 수 | GPU | vCPU | Memory (GB) | HDFS (GB) | 사용 시간(분) | |
|---|---|---|---|---|---|---|---|---|
Private Queue | Node | 1 | 1 | 8 | 90 | - | 43200 | |
AI App | Tensorflow | - | 1 | 8 | 64 | - | 36000 | |
Application Master | - | - | 1 | 1 | - | 36000 | ||
Common | HDFS | - | - | - | - | 500 | 43200 | |
Data Forest 이용 요금:
Private Queue-Node 요금
Node 요금 (Node 수 * V100 1EA, GPU Memory 32GB, vCPU 8EA, Memory 90GB, SSD 100GB 요금 * Node 사용 시간(시간))
(1 * - * 720) = -
Common-Private Queue-AI App-GPU 요금
(GPU 수 * GPU 요금 * 작업 실행 시간(분))
(1 * - * 36000) = -
Common-Private Queue-AI App-vCPU 요금
(vCPU 수 * vCPU 요금 * 작업 실행 시간(분)) + Application Master 컴포넌트 (vCPU 수 * vCPU 요금 * 실행 시간(분))
(8 * - * 36000) + (1 * - * 36000) = -
Common-Private Queue-AI App-Memory 요금
(Memory 사용량 * GB 요금 * 작업 실행 시간(분)) + Application Master 컴포넌트 (Memory 사용량 * GB 요금 * 실행 시간(분))
(64 * - * 36000) + (1 * - * 36000) = -
Common-HDFS 요금
(HDFS 사용량 * GB 요금 * 작업 실행 시간(분))
(500 * - * 43200) = -
총 이용 요금 = -
Case 9. Notebooks 실행
4vCPU 16GB 디스크 50GB 사양의 Data Forest–Notebooks 를 생성하여 2일 8시간 사용
구분 | 상세 | Node 수 | vCPU | Memory (GB) | 사용 시간(분) |
|---|---|---|---|---|---|
Notebooks | Node | 1 | 4 | 16 | 3360 |
Data Forest 이용 요금:
Notebooks 요금:Node 요금
(Node 수 * 4vCPU 16GB HDD 50GB 요금 * Node 사용 시간(분))
(1 * - * 3360) = -
총 이용 요금 = -
Data Forest
리소스
사용 가이드
FAQ
Loading...
