devmoa

Data Forest에서 Spark, Hive로 데이터 처리하기 Part.2

네이버클라우드플랫폼·2021년 7월 20일·00
Data ForestSparkHiveZeppelinDEV 앱spark-submitbeeline

AI 요약

Beta

이 글은 네이버 클라우드 플랫폼의 Data Forest 환경에서 Spark와 Hive를 사용하여 데이터를 처리하는 방법을 다룹니다. 1)에서 Zeppelin 노트북을 사용했던 것과 달리, 이번 글에서는 DEV 앱을 생성하고 `spark-submit` 및 `beeline`과 같은 클라이언트를 활용하여 동일한 데이터 처리 작업을 수행하는 과정을 상세히 설명합니다.

DEV 앱은 Data Forest에서 제공하는 모든 서비스에 대한 개발 환경이 미리 구성되어 있어 별도의 준비 없이 스크립트 실행이 가능하며, VPC VM에서도 유사한 환경 구성을 통해 진행할 수 있습니다. Data Forest 콘솔에서 DEV 앱을 생성하고, 앱이 안정화된 후 데이터 처리 작업을 시작하는 단계를 안내합니다.

단계를 안내합니다.

이 글이 궁금하신가요?

원문 블로그에서 전체 내용을 확인해 보세요

원문 읽으러 가기

AI 추천 연관 게시글

이 글과 관련된 다른 기술 블로그 글을 AI가 추천합니다