Nama Aggota Kelompok :

• Happy Syahrul Ramadhan
• Tessa Kania Sagala
• Rian Bintang Wijaya
• Yunike Priskila Sitorus Pane

Analisis Aktifitas Gempa Bumi di Sumatera

Arsitektur Big Data

Requirement Komponen

• Hadoop: 3.4.1
• Hive: 4.0.1
• Flume: 1.6.0
• HBase: 2.5.11
• ZooKeeper: 3.8.4
• MySQL: 8.0 (untuk Hive Metastore)
• SPARK: 3.5.5

Langkah Instalasi

1. Clone Repo

   git clone

2. Download Dependencies :

   • Hadoop 3.4.1
   • Hive 4.0.1
   • HBase 2.5.11
   • ZooKeeper 3.8.4
   • SPARK 3.5.5

3. Bangun Docker Image

   bash build.sh

4. Jalankan Container

   bash start.sh

5. Cek Apakah Container Berjalan

   docker ps -a

6. Login ke Container

   bash login.sh

setelah masuk ke kontainer tunggu beberapa menit untuk semua fungsi berjalan

cat /tmp/bootstrap.log

lihat semua status apakah sudah dijalankan atau belum.

7. Cek Aktivitas Hive dan Port yang Tersedia Cek port apakah sudah aktif untuk hivemetastore di port 10000 dan hiveserver2 di port 10001 dengan perintah:

   netstat -nlpt

8. Akses GUI Hiveserver Cek juga antarmuka web GUI Hiveserver di:
   http://localhost:10002.

   Detail Akses GUI Hive:

   Komponen Hive	Port	URL Akses
   Hive Web UI	10002	http://localhost:10002

9. Akses HBase Shell:

hbase shell

Untuk mengakses HBase Web UI, Anda bisa membuka browser dan akses alamat berikut:

http://localhost:16010

Detail Akses GUI HBase:

Komponen HBase	Port	URL Akses
HBase Master UI	16010	http://localhost:16010
HBase REST API	16030	http://localhost:16030

10. Masuk ke Spark Shell ketik perintah berikut tetapi harus sudah masuk ke root bash

spark-shell

tunggu sampai muncul logo spark

Detail Akses GUI SPARK:

Komponen SPARK	Port	URL Akses
SPARK UI	4040	http://localhost:4040

11. Hentikan Container Hentikan container dengan menjalankan:

bash stop.sh

Port yang Digunakan

Hadoop Ecosystem

Port	Service	URL
9000	HDFS NameNode	-
9866	HDFS DataNode	-
9870	HDFS Web UI	http://localhost:9870

Hive

Port	Service	URL
10000	Hive Metastore	-
10001	HiveServer2	jdbc:hive2://localhost:10001
10002	Hive Web UI	http://localhost:10002

HBase

Port	Service	URL
16000	HBase Master	-
16010	HBase Master Web UI	http://localhost:16010
16020	HBase RegionServer	-
16030	HBase REST Server	http://localhost:16030

ZooKeeper

Port	Purpose
2181	Client connections
2888	Peer communication
3888	Leader election

SPARK

Port	Service	URL
4040	SPARK UI	http://localhost:4040

Port	Service	URL
9000	SPARK Server	http://localhost:9000