빅데이터 & IoT
Hadoop · Spark · NoSQL · MQTT · CoAP · ZigBee · LoRa — 빅데이터 처리와 IoT 통신 프로토콜.
하둡 에코시스템(HDFS·MapReduce·YARN)과 IoT 경량 프로토콜(MQTT·CoAP)이 단답 빈출. 특히 MQTT의 Publish/Subscribe 모델과 MapReduce의 Map·Reduce 2단계 처리 흐름이 시험 포인트.
빅데이터는 기존 DBMS로 처리하기 어려운 3V(Volume, Velocity, Variety) 데이터를 의미한다. 최근에는 5V(+ Veracity 신뢰성, Value 가치)로 확장되기도 한다.
| 기술 | 역할 | 특징 |
|---|---|---|
| Hadoop | 분산 저장·처리 플랫폼 | HDFS + MapReduce + YARN |
| HDFS | 분산 파일 시스템 | 대용량 파일을 블록 단위로 여러 노드에 분산 저장 |
| MapReduce | 분산 처리 프레임워크 | Map(분산 처리) → Reduce(결과 집계) |
| Spark | 인메모리 처리 엔진 | Hadoop MR보다 10~100배 빠름 |
| NoSQL | 비관계형 DB | MongoDB, Cassandra, Redis |
| Data Lake | 원시 데이터 저장소 | 정형+비정형 모두 저장 |
MapReduce 처리 흐름 — ① Map: 입력 데이터를 (key, value) 쌍으로 변환해 분산 처리 ② Shuffle: 같은 key끼리 모음 ③ Reduce: key별로 집계·요약. 단어 수 세기, 로그 집계 등에 전형적으로 쓰인다.
| IoT 프로토콜 | 계층 | 특징 |
|---|---|---|
| MQTT | 응용 | Pub/Sub 모델, 경량, 저전력 |
| CoAP | 응용 | HTTP 유사, REST 스타일, UDP 기반 |
| ZigBee | 물리/MAC | 저전력·근거리, 메쉬 네트워크 |
| LoRa | 물리 | 장거리·저전력, 수 km |
| 6LoWPAN | 네트워크 | IPv6 over 저전력 무선 |
| NB-IoT | 물리 | 셀룰러 기반 협대역 IoT |
MQTT vs CoAP — MQTT는 브로커 기반 Pub/Sub(TCP), CoAP는 RESTful(UDP). MQTT는 다대다 이벤트 전파에 강하고, CoAP는 HTTP와 유사해 기존 웹과 연계하기 쉽다.
빅데이터의 3V 특성을 쓰시오.
Hadoop의 분산 파일 시스템의 약어와 풀이를 쓰시오.
Hadoop MapReduce의 2단계 처리 흐름을 순서대로 쓰시오.
저전력 IoT 환경을 위한 Pub/Sub 기반 경량 메시지 프로토콜은?
HTTP와 유사한 RESTful 방식으로 동작하는, UDP 기반의 제약 환경용 IoT 프로토콜은?
Hadoop MapReduce보다 10~100배 빠른 인메모리 기반 분산 처리 엔진은 ( )이다.
NoSQL 데이터베이스는 관계형 DB(RDB)보다 스키마가 유연하고, 수평 확장이 쉽다.