【한글자막】 스파크 스트리밍과 Scala 로 빅 데이터 스트리밍하기 (실전편)

이 교육과정은 Apache Spark 스트리밍과 Scala 언어를 활용하여 빅 데이터 스트림을 처리하는 방법을 실전에서 배우고자 한다는 목표를 가지고 있습니다. 以下은 강의 내용에 대한 개요입니다:

1. Scala 프로그래밍 언어: 코스에서는 Scala 언어에 대한 집중적인 훈련을 제공하며, Spark 스트리밍 애플리케이션을 작성하기 위해 필요한 Scala의 주요 기능과 개념을 학습합니다.

2. Apache Spark 운영 Environment: Apache Spark가 클러스터 환경에서 어떻게 작동하는지에 대한 이해를 돕기 위해 Spark의 운영 방법과 설정을 다룹니다.

3. Spark Streaming: Spark Streaming을 사용하여 불연속적인 스트림에서 데이터를 수집하고, 변환하는 방법을 학습합니다. 이 과정에서는 실시간으로 데이터를 처리하는 예제를 통해 Spark Streaming의 기능을 익힙니다.

4. 구조화된 스트리밍과 슬라이딩 윈도우: Spark SQL을 사용하여 실시간으로 데이터 프레임 스트림을 처리하고, 시간에 따른 데이터 분석을 위한 슬라이딩 윈도우를 적용하는 방법을 배웁니다.

5. 확장성 있는 데이터 소스와의 연동: Kafka, Flume, Kinesis 등의 확장성 있는 데이터 소스와 Spark Streaming을 연동하는 방법을 학습합니다.

6. 데이터베이스와의 연동: NoSQL 데이터베이스인 Cassandra와 같은 시스템과 Spark Streaming을 실시간으로 데이터를 폐기하고, 실시간으로 구조화 질의어 쿼리를 실행하는 방법을 다룹니다.

7. 머신러닝 모델과의 통합: Spark Streaming에서 온라인으로 머신러닝 모델을 훈련하고, 이를 실시간으로 예측 모델로 활용하는 방법을 배웁니다.

8. 관리형 클러스터 플랫폼과의 상호 작용: Spark 애플리케이션을 실제 하둡 클러스터에 패키징, 배포 및 실행하는 방법을 학습합니다.

강의를 통해 이러한 주제들을 다루면서, Scala와 Spark Streaming을 사용하여 빅 데이터를 실시간으로 처리하는 능력을 갖추게 됩니다. 강의 내용에 대한 질문은 English로 제출해주시면 답변드리겠습니다. 여러분의 참여를 기대합니다!