Modul Big Data Analytics
Modul Big Data Analytics
MODUL
BIG DATA ANALYTICS
Nur Azizah
i
Modul Big Data Analytics
Penulis
Nur Azizah
Penerbit
2021
ii
MODUL BIG DATA ANALYTICS
Penyusun :
Nur Azizah
ISBN :
Editor :
Rabiatul Adawiyah
Penerbit :
Lembaga Administrasi Negara
Alamat :
Lembaga Administrasi Negara
Jl. Veteran 10, Gambir
Jakarta Pusat, DKI Jakarta, Indonesia
Email : p3kbangkomasn@[Link]
iii
SAMBUTAN
iv
Pada tahun 2018 pemerintah Indonesia c.q. Kementerian Perindustrian telah
melakukan komitmen dalam penerapan Revolusi Industri 4.0 dengan meluncurkan
“Making Indonesia 4.0” yang merupakan inisiatif pemerintah Indonesia dalam
mengimplementasikan strategi dan peta jalan Revolusi Industri 4.0 di Indonesia. Hal
dimaksud sejalan dengan RPJMN tahun 2020-2024 dimana salah satu fokus
utamanya adalah meningkatkan sumber daya manusia yang berkualitas dan berdaya
saing. Peningkatan sumber daya manusia dalam pemerintahan membawa pada
target pemerintah untuk mewujudkan Smart ASN. Profil Smart ASN digambarkan
sebagai sosok yang berwawasan global, menguasai IT dan bahasa asing, inovatif,
adaptif dan networking yang baik untuk mewujudkan birokrasi Indonesia berkelas
dunia. Smart ASN diharapkan memiliki kualitas mumpuni sebagai digital talent dalam
mendukung transformasi digital di era revolusi Industri 4.0. Proses perbaikan yang
berkelanjutan dan terintegrasi mencakup tidak hanya dari segi manusianya tetapi
juga dari sistem dalam lingkungan strategis pemerintahan. Dalam sistem
pemerintahan dikenal konsep smart governance.
v
ini. Saya berharap modul ini dapat bermanfaat dalam proses pengembangan
kompetensi ASN utamanya para pengampu Jabatan Fungsional.
vi
PENGANTAR
Salah satu cara mengubah kultur birokrasi saat ini adalah memangkas struktur
birokrasi yang sangat hirarkis dengan mengoptimalkan jabatan fungsional (JF) yang
memiliki kompetensi spesialistik sehingga mampu merespon perubahan lingkungan
strategis dengan cepat sesuai kompetensi spesialisasinya. Modul ini diharapkan
mampu mengakselerasi kompetensi (skills) para pengampu JF dalam menghadapi
tujuan pembangunan nasional yang termaktub dalam Visi Indonesia 2045 yang
bertujuan menempatkan Indonesia sebagai the big five in the world.
Akhirnya, kami mengucapkan terima kasih kepada seluruh pihak yang telah
mendukung penyusunan modul ini, khususnya kepada Kepala LAN yang telah
memberikan arahan serta dukungan moril, serta para pejabat struktural dan pejabat
fungsional serta pelaksana di Pusat Pebinaan Program dan Kebijakan Pengembangan
Kompetensi ASN (P3K Bangkom ASN) yang telah bekerja keras menyelesaikan modul
ini serta kepada seluruh penulis, editor dan reviewer baik di instansi kementerian
sektor, serta para akademisi.
vii
Semoga modul ini dapat memberikan manfaat terhadap upaya kita semua
untuk bersama mengoptimalkan birokrasi menjadi lebih sinergis dan sesuai tujuan
pembangunan nasional.
viii
DAFTAR ISI
ix
C. LATIHAN................................................................................................ 25
D. RANGKUMAN ........................................................................................ 25
E. EVALUASI MATERI ................................................................................. 26
F. UMPAN BALIK DAN TINDAK LANJUT....................................................... 26
BAB IV .............................................................................................................. 28
TAHAPAN ANALISIS DATA ................................................................................. 28
A. TINGKATAN ANALISIS ............................................................................ 28
B. TEKNIK PENGUMPULAN DATA ............................................................... 29
C. DATA PRE-PROCESSING ......................................................................... 29
D. EXPLORATORY DATA ANALYSIS (EDA) .................................................... 30
E. DATA MODELING ................................................................................... 30
F. DATA VISUALIZATION ............................................................................ 31
G. LATIHAN................................................................................................ 31
H. RANGKUMAN ........................................................................................ 32
I. EVALUASI MATERI ................................................................................. 33
J. UMPAN BALIK DAN TINDAK LANJUT....................................................... 34
BAB V ............................................................................................................... 35
PEMANFAATAN BIG DATA DALAM PEMERINTAHAN .......................................... 35
A. URGENSI BIG DATA DALAM PEMERINTAHAN.......................................... 35
B. PENERAPAN BIG DATA DALAM PEMERINTAHAN .................................... 38
C. LATIHAN................................................................................................ 46
D. RANGKUMAN ........................................................................................ 47
E. EVALUASI MATERI ................................................................................. 47
F. UMPAN BALIK DAN TINDAK LANJUT....................................................... 48
BAB VI .............................................................................................................. 49
PENUTUP ......................................................................................................... 49
A. EVALUASI KEGIATAN BELAJAR................................................................ 49
B. UMPAN BALIK DAN TINDAK LANJUT....................................................... 49
KUNCI JAWABAN .............................................................................................. 50
DAFTAR REFERENSI ........................................................................................... 51
x
DAFTAR INFORMASI VISUAL
Gambar 6. Social Network Analyisis (SNA), Salah satu Metode Menggunakan Big
Data ........................................................................................................................... 35
Gambar 8. Hasil Potret Citra Satelit (Daerah Lebih Terang, Lebih Berkembang).
Sumber: Youtube....................................................................................................... 39
xi
PETUNJUK PENGGUNAAN MODUL
xii
Big Data Analytics
BAB I
PENDAHULUAN
A. LATAR BELAKANG
Big data analytics memeriksa sejumlah besar data untuk mengungkap pola
tersembunyi, korelasi dan insight lainnya. Dengan kemajuan teknologi, sangat
memungkinkan menganalisis data dalam jumlah yang besar dan cepat. Usaha yang
diperlukan lebih sedikit dan lebih efisien dibandingkan dengan cara-cara yang
tradisional.
Konsep big data telah ada selama bertahun-tahun. Saat ini, banyak organisasi
paham bahwa mereka dapat memotret data yang masuk ke dalam bisnis mereka dan
menerapkan analisis untuk mendapatkan nilai dari data tersebut. Pada decade tahun
1950-an, banyak organisasi sesungguhnya sudah melakukan analisis dasar terhadap
data yang ada di organisasinya, misalnya menggunakan lembar kerja angka yang
diperiksa/analisis secara manual. Hal ini
terjadi sebelum kata “big data” banyak
disebut oleh orang banyak.
Kecepatan dan efisiensi adalah manfaat
baru yang didapat dari big data
analytics. Walaupun di masa lalu, data
juga sudah dijadikan acuan untuk
membuat keputusan, namun dengan
adanya big data analytics membuat
Gambar [Link] Data Analytics. Sumber keputusan menjadi lebih cepat
gambar: diperoleh. Kecepatan dan kelincahan
[Link] suatu organisasi menjadi seuatu
tics/[Link]#industries keharusan di era disrupsi saat ini untuk
tetap mampu bertahan.
1
Big Data Analytics
Big data analytics dapat membantu organisasi memanfaatkan dan menggunakan
datanya untuk mendapatkan peluang-peluang baru yang pada akhirnya dapat
menjadikan organisasi bekerja lebih cerdas, operasional yang lebih efisien dan
mendapatkan keuntungan yang lebih tinggi dan tentunya kebahagian stakeholder.
Dalam laporannya Big Data ini Big Companies, Direktur Riset IIA, Tom
Davenport menginterview terhadap lebih kurang 50 organisasi untuk mengetahui
bagaimana penggunaan big data dalam organisasi tersebut, dan ditemukan bahwa
keuntungan dari big data adalah sebagai berikut:
1
Hadoop adalah software atau piranti lunak buatan Apache Software Foundation
yang sifatnya open source dan umum digunakan untuk menyimpan dan menangani
big data yang jumlahnya sangat besar. Link lebih lanjut tentang Hadoop:
[Link]
data
2
Big Data Analytics
Link berikut adalah testimoni dari perusahaan ternama dan unggul yang
bergerak di bidang media dan telekomunikasi, Rogers Communication, yang
berpusat di Canada dan telah menggunakan kemampuan analytics untuk
meningkatkan kepuasan pelanggannya atau menjadikannya lebih berpusat kepada
pelanggan (customer-centric). Dengan data-driven approach, keluhan customer
turun 53%: [Link]
Dengan adanya testimoni di atas, kita melihat kenapa big data itu begitu penting.
B. DESKRIPSI SINGKAT
Modul Big Data Analytics ini membekali peserta dengan wawasan dan
pemahaman tentang Konsep Big Data; Big Data dalam Keseharian dan Tahapan
Analisis Data, serta Pemanfaatan Big Data dalam Pemerintahan.
Pada setiap akhir bab terdapat sub bab evaluasi, umpan balik dan tindak
lanjut. Diharapkan kepada peserta pelatihan untuk menyelesaikan evaluasi sebelum
meneruskan ke bab berikutnya. Begitu juga untuk umpan balik dan tindak lanjut
diharapkan dipatuhi sebelum meneruskan ke bab berikutnya.
C. TUJUAN PEMBELAJARAN
1. HASIL BELAJAR
3
Big Data Analytics
1. MATERI POKOK
4
Big Data Analytics
m. Data Modeling
n. Data Visualization
o. Urgensi Big Data dalam Pemerintahan
p. Penerapan Big Data dalam Pemerintahan
5
Big Data Analytics
BAB II
Data berasal dari kata: “dare”, bahasa latin yang artinya memberikan. Kata
“data” merupakan bentuk kata singular, sedangkan “datum” merupakan bentuk
jamak. Data dapat berbentuk: angka, karakter, teks, simbol, gambar, suara, video,
gelombang elektromagentik dll. Lalu apa itu big data? Tidak ada definisi tunggal
mengenai big data. Secara umum, big data merujuk kepada data yang jumlahnya
terus meningkat secara eskponensial. Kumpulan datanya besar dan terus
membesar.
Besarnya data menimbulkan beberapa tantangan bagi organisasi untuk
mengambil dan mengolah data tersebut menjadi hasil analisa. Karena datanya yang
sangat besar, sehingga data tersebut tidak dapat dimasukkan atau diolah oleh
software yang biasa seperti excel, tetapi butuh infrastruktur pengolah data.
Karena datanya bertambah terus menerus dan cepat sekali berubah, maka
analisis big data harus cepat dilakukan, jangan sampai kehilangan momentum,
sehingga data tersebut menjadi tidak berguna lagi. Trend teknologi saat ini yaitu
melakukan pendekatan baru dalam mengolah data yang ada untuk membuat
keputusan. Keputusan-keputusan dibuat berdasarkan data dalam volume yang
sangat besar baik tersturktur maupun tak berstruktur. Nanti pada sub bab
berikutnya kita akan masuk ke jenis data terstruktur dan tidak terstruktur.
6
Big Data Analytics
Big data menjadi Buzzwords di tahun 2013 di sektor bisnis dan media. Ini
menandakan bahwa begitu pentingnya big data sehingga menjadi buzzword. Namun
tanpa ilmu yang benar, maka big data yang ada di sekitar kita, tidak akan
termanfaatkan secara optimal. Ilmu bagaimana mengambil manfaat dari big data
disebut data sains. Dengan adanya aplikasi-aplikasi pengolah data yang sangat cepat
memberikan insight, seorang data scientist tidak perlu lagi belajar programming.
Hanya perlu menganalisis hasil analisis dari aplikasi-aplikasi pengolah data.
7
Big Data Analytics
“ Data adalah jenis kekayaan baru bangsa kita. Kini data lebih
berharga dari minyak. Oleh karena itu, kedaulatan data harus
diwujudkan. Hak warga negara atas data pribadi harus dilindungi.
Regulasinya harus segera disiapkan, tidak boleh ada kompromi”
B. SUMBER DATA
Sadar tidak sadar, kita dikelilingi oleh data, data yang diproduksi baik oleh diri
kita sendiri, atau dari sekitar kita. semua sektor kehidupan menghasilkan data:
astronomi, bisnis, kedokteran, ekonomi, cuaca, finansial, bahkan olahraga. Di bawah
ini adalah sumber data:
Mobile Sensors.
Mobile sensor adalah sensor yang ada di perangkat mobile Anda.
Dapat berasal dari smartphone, laptop dan perangkat lainnya.
Banyak sekali sensor yang ada di dalam smartphone Anda.
Contohnya, pernah kah Anda menonaktifkan fitur layar
orientation Anda di smartphone? Ketika Anda menonaktifkan, maka orientasi layar
smartphone akan mengikuti bentuk smartphone Anda, apakah tegak (portrait) atau
mendatar (landscape). Untuk laptop, sudah ada saat ini yang ketika Anda dekatkan
wajah Anda ke layar laptop, semula, dari mode idle (istirahat) menjadi hidup. Ini
semua menghasilkan data. Contoh pertama berapa banyak Anda mengakses hp
smartphone dengan cara tegak atau mendatar, begitu juga pada contoh laptop,
berapa sering Anda mengakses laptop dalam sehari mulai dari mode istirahat. Itu
semua menjadi data.
8
Big Data Analytics
Social Media.
Berapa sering Anda menulis status di facebook dalam sebulan?
berapa sering Anda mengetag lokasi keberadaan Anda di
Instagram? Itu semua menghasilkan data. Dan masih banyak
sekali perilaku Anda di media sosial yang menghasilkan data.
Video Surveillance.
Pernahkah Anda melewati jalan tertentu di Jakarta dan membaca
pengumuman “Anda memasuki kawasan pemberlakuan tilang
elektronik. Patuhi peraturan berlalu lintas” ? ya, di jalan ini
perilaku Anda akan di-capture CCTV dan menjadi sumber data
bagi penegak hukum. Peranan polisi tilang tergantikan oleh video
surveillance.
Video Rendering.
Pernahkah Anda melakukan rendering video? Ketika Anda
mengedit video menggunakan suatu aplikasi, kemudian ingin
menyimpan hasil video editing tersebut, maka Anda melakukan
rendering. Video-video yang dihasilkan dari hasil editing video
juga menghasilkan data. Namun video-video tersebut merupakan data tidak
terstruktur.
Smart Grids.
Smart grids atau jaringan cerdas dipakai untuk pendistribusian
tenaga listrik. Dengan adanya sensor pada smart grids ini dapat
dipantau aliran listirk sehingga pasokan listrik menjadi lebih efisien,
berkualitas, andal dan ekonomis2
2
[Link]
operasi-sistem-tenaga-listrik/
9
Big Data Analytics
Geophysical Exploration
Di masa lalu, para ilmuwan menggunakan kata-kata dan gambar
untuk merekam rincian fenomena fisik alam seperti gempa
bumi, aurora, meteor, komet, dan gerhana.
Sekarang, para ilmuwan merekam peristiwa ini dengan
mengambil foto dan video.
Singkatnya, dengan perkembangan teknik informasi yang pesat, semakin banyak tipe
baru data geofisika telah tersedia, dan jumlah total data geofisika telah meningkat
secara eksplosif.3
Medical Imaging
Medical imaging atau pencitraan medis adalah beberapa teknologi
berbeda yang digunakan untuk mencitrakan tubuh manusia dalam
rangka menegakkan diagnosis, memonitor perkembangan
penyakit dan pengobatan atau untuk pengobatan penyakit
tertentu, 4 . Hasil capture-an tubuh Anda menjadi data. Bisa
dibayangkan bila di suatu rumah sakit, banyak yang menggunakan
teknologi ini, berapa besar data yang harus disimpan dalam sehari ?
Gene Sequencing
Pemetaan dan analisis genome menghasilkan dan
membutuhkan data yang sangat besar. Data hasil sequencing
dapat mencapai 130 GB lebih per genome. Dengan semakin
banyaknya genome yang dipetakan dan dianalisis, terjadilah
ledakan di sisi data yang dihasilkan.
3
[Link]
4
[Link]
manfaat-perangkat-pencitraan-pada-dunia-kesehatan
10
Big Data Analytics
5
[Link]
6
[Link]
where-it-comes-from/
11
Big Data Analytics
Doug Laney, Chief Data Officer di Gartner, mencetuskan konsep 3Vs: volume,
variety dan velocity – sebagai komponen big data. Namun kemudian, konsep 3Vs ini
berkembang menjadi 5Vs dengan perlunya veracity dan value.
12
Big Data Analytics
1. Volume
Dengan adanya perkembangan teknologi IT,
membuat jumlah data meningkat secara pesat, baik
data yang dibuat oleh user maupun
perusahaan/organisasi.
Google memproses data 100 PB per hari dengan 3
juta server
Facebook memiliki 300 PB data pengguna per hari.
Youtube memiliki 1000 PB video storage.
Pernahkan Anda melakukan rapat dengan aplikasi video conference zoom
meeting kemudian merekannya? Untuk satu jam rapat sekitar 200 MB. Bisa Anda
bayangkan berapa jika dalam satu hari, berapa jumlah orang yang menggunakan
zoom untuk rapat, pelatihan, kuliah, webinar dan acara lainnya dan
merekamnya. Berapa banyak data yang dihasilkan hanya oleh satu aplikasi zoom
meeting.
2. Velocity
Data diproduksi secara real-time dan harus
dianalisa dengan cepat supaya tidak
kehilangan momentum. Misal Anda
mempunyai perusahaan e-commerce yang
menjual berbagai macam produk barang.
Anda dapat menganalisa per hari, barang apa
yang lagi high-in-demand (dibutuhkan) pada
hari tersebut. Dan ini dapat membuat Anda
untuk mengambil keputusan untuk menstock
barang tersebut. Namun jika data yang Anda
miliki tadi misalnya di analisa tidak langsung,
misal, menunggu beberapa hari, maka akan menjadi sia-sia.
13
Big Data Analytics
14
Big Data Analytics
D. JENIS DATA
1. TERSTRUKTUR
Adalah ketika data-data sudah terdefinisi dengan baik. Data dengan struktur
yang terorganisir dan tetap. Contohnya adalah:
− Tabel pegawai di kantor kita yang memuat, nama, NIP, pangkat, jabatan dll
− Nomor Induk Mahasiswa, dimana sudah ditentukan berapa digit dan digit-digit
tertentu menunjukkan sesuatu.
− Tabel penjualan sebuah produk, data statistic wilayah dll
2. TIDAK TERSTRUKTUR
Adalah data yang tidak didefinisikan sejak awal, tidak memiliki bentuk dan
struktur khusus. Contohnya adalah dokumen teks, status narasi di media sosial,
email, video, rekaman suara. Sebagian besar data merupakan data tidak terstruktur.
Data-data ini dapat diolah menggunakan machine learning.
15
Big Data Analytics
16
Big Data Analytics
E. KUALITAS DATA
7
[Link]
17
Big Data Analytics
3. Kesesuaian berarti data mengikuti serangkaian definisi data standar seperti tipe
data, ukuran data, dan format data. Misalnya, tanggal lahir pegawai dalam
format ”dd/mm/yyyy”.
4. Akurasi adalah sejauh mana data benar-benar mencerminkan objek nyata di
dunia atau peristiwa yang sedang dijelaskan.
5. Integritas berarti validitas data lintas hubungan yang menjamin seluruh data di
dalam basis data dapat dilacak dan dihubungkan dengan data lainnya.
6. Ketepatan waktu mengacu pada ketersediaan informasi saat diharapkan dan
dibutuhkan. Ketepatan waktu data sangatlah penting.
18
Big Data Analytics
Kepemilikan Data: Apa maksudnya bahwa kita-lah yang memiliki data tentang diri
kita sendiri?
Saat ini, tahun 2021, RUU Pelindungan Data Pribadi (RUU PDP) belum
disahkan, masih dalam pembahasan dengan DPR RI. RUU ini sangat penting karena
di era big data di mana “data is the new oil”, termasuk data pribadi pun menjadi
asset atau komoditas bernilai tinggi. Konsekuensinya, data pribadi merupakan hak
yang harus dilindungi, sebagai bagian dari Hak Asasi Manusia (HAM) dan amanat
yang disampaikan oleh konstitusi Negara Republik Indonesia serta Undang-Undang
Dasar 1945.
G. LATIHAN
H. RANGKUMAN
Secara umum, big data merujuk kepada data yang jumlahnya terus meningkat
secara eskponensial. kumpulan datanya besar dan terus membesar. Karena datanya
yang sangat besar, sehingga data tersebut tidak dapat dimasukkan atau diolah oleh
software yang biasa seperti excel, butuh infrastruktur pengolah data.
Sumber data adalah mobile sensors, social media, video surveillance, video
rendering, smart grids, geophysical exploration, medical imaging, gene sequencing,
Secara umum, sumber data dapat dibagi dalam social data, machine data,
transactional data
Karakteristik big data adalah volume, velocity, variety, veracity, value
Jenis data yaitu data tersturktur dan tidak terstruktur.
19
Big Data Analytics
I. LATIHAN
J. EVALUASI MATERI
Pilihlah salah satu jawaban yang tepat untuk pertanyaan di bawah ini:
20
Big Data Analytics
3. video surveillance merupakan salah satu sumber data yang masuk dalam
kategori:
a. Social data
b. Machine data
c. Transaksional Data
d. Digital Imaging
Sejauh mana Anda dapat menyelesaikan Latihan dan Evaluasi Materi yang ada
pada bab ini? Apabila Anda telah mampu menjawab Latihan dan Evaluasi Materi
pada Bab ini, berarti Anda telah menguasai topik ini dengan baik. Akan tetapi, jika
Anda masih merasa ragu dengan pemahaman Anda mengenai materi yang terdapat
dalam Bab ini serta adanya keraguan dan kesalahan dalam menjawab Latihan dan
Evaluasi Materi, maka disarankan Anda melakukan pembelajaran kembali secara
lebih intensif dengan membaca ulang materi, membaca bahan referensi, berdiskusi
dengan pengajar/fasilitator dan juga dengan sesama peserta pelatihan lainnya.
21
Big Data Analytics
BAB III
22
Big Data Analytics
dimasukkan ke data base aplikasi medsos, tapi semua data pribadi atau identitas kita
juga sudah direkam, dan tentunya perilaku kita juga sudah direkam. Misalnya: Anda
suka mengupload foto ketika bersepeda, dan ditambah lagi, Anda memasukkan
informasi hobi Anda bersepeda di biodata diri, maka jangan heran kalau iklan-iklan
sepeda akan muncul di timeline medsos Anda.
Contoh aktivitas lain yang suka kita lakukan adalah menandai lokasi di mana
kita berada, itu juga akan direkam oleh aplikasi, dan ini dapat memberikan informasi
kepada mereka pola berpergian, melacak keberadaan dll.
Pernahkah Anda memesan makanan ketika hujan turun ? saat Anda ingin
memesan menggunakan aplikasi delivery makanan online, anda direkomendasikan
makanan- makanan hangat yang berkuah ? kenapa bisa demikian. Karena aplikasi
sudah merekam perilaku konsumen memasan makanan pada saat hujan tiba.
Artinya di sini dengan teknologi, aplikasi tersebut dapat info bahwa cuaca sedang
turun hujan dan melalui perilaku konsumen-konsumen sebelumnya telah direkam
bahwa pada saat turun hujan, makanan yang lebih laku adalah makanan yang
berkuah hangat.
Begitu juga, pernah kah ketika Anda ingin pergi ke suatu tempat dan memesan
kendaraan menggunakan aplikasi, misalnya ojol (ojek online), Anda
direkomendasikan titik tujuan, misal ingin ke stasiun Gambir, maka aplikasi akan
merekomendasikan Anda apakah di lobby Utara, Timur, Selatan dsb. Itu semua
karena ada data dari penumpang sebelumnya yang sering berhenti di titik tersebut
dan dijadikan informasi oleh pemilik aplikasi untuk meningkatkan layanan
penggunaan ojol tadi. Jadi perilaku-perliaku apapun yang Anda lakukan selama
terhubung dengan internet dan Anda melakukan log in dengan identitas Anda, maka
semua itu akan terekam.
Jadi ketika Anda ber-media sosial dan meletakkan informasi tentang diri Anda,
maka Anda harus sudah merelakan bahwa aktivitas diri Anda akan terekam.
23
Big Data Analytics
Di bawah ini meta data (data tentang data) dari aktivitas keseharian kita:
Dari materi sebelumnya, kita melihat adanya revolusi data. Kenapa revolusi
data ini bisa terjadi? Dengan adanya kemajuan teknologi, di sekitar Anda banyak
sekali sistem digital. Sistem digital tersebut menghasilkan data dan lokasinya pun di
mana-mana: rumah, kantor, ruang publik dll.
Media sosial, media daring, telephone pintar, komputasi awan dan internet of
things, membuat terjadinya terjadi revolusi data, di mana semua aspek terdigitalisasi
dan data nya terscale-up. Hal ini juga diikuti adanya keterbukaan data publik atau
transparansi. Di pemerintahan misalnya, memberikan informasi kepada publik, dll.
Data menjadi komoditas yang sangat mahal saat ini karena data juga dapat
mendorong terjadinya inovasi. Begitu banyak data sehingga disebut revolusi data.
Lantas apa yang membuat data tumbu ? tentunya seperti yang telah disampaikan di
sub bab sebelumnya, bahkan kita menghasilkan data, jadi perilaku kita lah yang
membuat data itu tumbuh. Juga ditambah dengan perkembangan teknologi. Web
2.0, dengan adanya media sosial, di mana Anda sebagai konsumer juga dapat sebagai
produser, karena interaktivitas yang disediakan oleh web 2.0. Selain itu, pandemi
24
Big Data Analytics
Covid-19 juga membuat data tumbuh menjadi lebih cepat. Di mana aktivitas fisik
dikurangi, bergeser ke ruang virtual dan semuanya menghasilkan data.
C. LATIHAN
1. Jelaskan apa yang dimaksud dengan meta data? Dan berikan contoh meta data
yang pernah anda buat ?
2. Carilah di internet kasus pertama
kali yang terkait dengan big data
pada tahun 2012. Kasus ini bukan
saja ramai di Amerika Serikat
tetapi juga di dunia. Kasus ini
terkait dengan supermarket yang
bernama “Target” yang
mengetahui lebih dahulu kehamilan seorang Remaja daripada ayah remaja
tersebut lewat big data. Silahkan diskusikan bagaimana supermarket tersebut
dapat mengetahui kehamilan remaja tersebut.
D. RANGKUMAN
Banyak sekali data berseliweran di sekitar Anda setiap hari. Anda bukan hanya
sebagai konsumen data tetapi produsen data. Data-data yang dihasilkan akan
menghasilkan data. Inilah yang disebut tentang meta data.
Revolusi data memang terjadi karena perilaku kita sebagai konsumen dan
produsen data, tetapi teknologi menjadi enabler untuk hal tersebut. Perkembangan
teknologi khususnya web 2.0 menjadi semua orang dapat memproduksi data. Selain
itu, ternyata pandemi Covid-19 juga membuat revolusi data menjadi lebih cepat lagi.
Semua Instansi mau tidak mau harus bertransformasi digital dan tentunya ini juga
salah satu penyebab revolusi data.
25
Big Data Analytics
E. EVALUASI MATERI
1. Meta data apa yang dihasilkan ketika Anda menonton film lewat Netflix ?
a. Face detection
b. Preferensi makanan
c. Durasi
d. Pola tidur
e. Pola olahraga
2. Di bawah ini data yang dapat dideteksi sebuah smart watch, kecuali:
a. Lokasi
b. Detak jantung
c. Jumlah langkah kaki setiap hari
d. Penghasilan
e. Suhu tubuh
3. Di bawah ini yang menyebabkan terjadinya revolusi data, kecuali:
a. Transformasi digital
b. Perkembangan teknologi
c. Perilaku media sosial
d. Perilaku manusia
e. Perkembangan IOT
Sejauh mana Anda dapat menyelesaikan Latihan dan Evaluasi Materi yang ada
pada bab ini? Apabila Anda telah mampu menjawab Latihan dan Evaluasi Materi
pada Bab ini, berarti Anda telah menguasai topik ini dengan baik. Akan tetapi, jika
Anda masih merasa ragu dengan pemahaman Anda mengenai materi yang terdapat
dalam Bab ini serta adanya keraguan dan kesalahan dalam menjawab Latihan dan
26
Big Data Analytics
27
Big Data Analytics
BAB IV
A. TINGKATAN ANALISIS
Deskriptif
− Untuk memberikan gambaran fenomena/karakteristik populasi yang
menjadi perhatian
− Memberikan gambaran besar kecilnya suatu permasalahan
− biasanya berupa ringkasan statistik seperti persentase, ukuran pemusatan
(mean, median, modus) dan penyebaran (deviasi standar, range, IQR) atau
berupa grafik seperti diagram batang, histogram; dan tabel statistik
Kausal
− Untuk melihat hubungan kausalitas dalam fenomena yang menjadi
perhatian
− Hubungan kausal biasanya ditunjukkan atau dibuktikan melalui analisis
data eksperimental atau analisis data yang diperoleh berdasarkan desain
studi yang mendukung hubungan kausal
Prediktif
Prediksi fenomena yang akan datang dengan diketahui keadaan atau asumsi
tertentu, misalnya prediksi kondisi sosial ekonomi ke depan
28
Big Data Analytics
Pengumpulan data sangat penting dan secara praktis cukup menantang atau
(hampir tidak mungkin) untuk membangun model yang baik tanpa adanya data yang
berkualitas. Banyak organisasi mengumpulkan data yang tidak lengkap dan tidak
valid yang sama sekali tidak bisa digunakan untuk analisa lebih jauh.
Pengumpulan data adalah proses mengumpulkan, mengukur, dan
menganalisis berbagai jenis informasi menggunakan seperangkat teknik terstandar
dan tervalidasi. Tujuan utama pengumpulan data adalah untuk mengumpulkan data
yang kaya dengan informasi dan dapat diandalkan dalam analisa untuk pengambilan
keputusan bisnis. Setelah data dikumpulkan, maka selanjutknya adalah proses
pembersihan data dan pemrosesan data yang ketat untuk membuat data benar-
benar berguna bagi bisnis dan organisasi.
Ada dua metode utama dalam pengumpulan data penelitian berdasarkan
informasi yang dibutuhkan, yaitu:
1. Pengumpulan Data Primer
a. Interview
b. Observasi
c. Survei dan Kuisioner
d. FGD
2. Pengumpulan Data Sekunder
a. Internet
b. Arsip Pemerintah
c. Perpustakaan
C. DATA PRE-PROCESSING
29
Big Data Analytics
Kualitas data harus diperiksa sebelum penerapan machine leraning atau algoritma
data mining (data modelling).
Pra-pemrosesan data terdiri beberapa tugas utama:
1. Pembersihan data
2. Integrasi data
3. reduksi data
4. Transformasi data
E. DATA MODELING
Tergantung pada jenis pertanyaan atau masalah yang akan coba dijawab
dengan data. Ada banyak algoritma pemodelan yang tersedia dapat digunakan.
Proses pelatihan model meliputi langkah-langkah berikut:
1. Pisahkan data input secara acak untuk pemodelan menjadi data training dan
data testing.
2. Bangun model dengan menggunakan kumpulan data training.
3. Mengevaluasi dataset training dan dataset testing. Gunakan serangkaian
algoritma machine learning yang dibandingkan satu sama lain dengan
menggunakan berbagai parameter terkait yang diarahkan untuk menjawab
pertanyaan dari data yang dianalisis.
30
Big Data Analytics
F. DATA VISUALIZATION
1. Exploratory data analysis: Ini digunakan oleh analis data, ahli statistik, dan
ilmuwan data untuk lebih memahami data. Seperti yang sudah dijelaskan
sebelumnya, ini digunakan untuk mengeksplorasi tren tersembunyi dan pola
dalam data.
2. Explanatory data analysis: Setelah analis memahami data dan menemukan
hasilnya, cara terbaik untuk menyampaikan ide dan temuan mereka adalah
melalui visual. Ini digunakan untuk menyusun cerita yang akan menarik bagi
pemirsa yang menawarkan wawasan yang lebih dalam.
Dasbor adalah alat visualisasi informasi. Ini membantu kita memantau acara
atau aktivitas secara sekilas dengan memberikan wawasan tentang satu atau
beberapa halaman atau layar. Tidak seperti infografis, yang menyajikan representasi
grafis statis, dasbor menyampaikan informasi waktu nyata dengan menarik titik data
yang kompleks langsung dari kumpulan data besar. Dasbor interaktif memudahkan
untuk menyortir, memfilter, atau menelusuri berbagai jenis data sesuai kebutuhan.
G. LATIHAN
1. Carilah di internet, dua tools yang dapat memproses big data, kemudian
jabarkan bagaimana cara kerja alat tersebut !
31
Big Data Analytics
2. Bukalah situs Instansi Anda, apakah ada hasil data visualization di situs
tersebut? Jelaskan!
H. RANGKUMAN
32
Big Data Analytics
I. EVALUASI MATERI
33
Big Data Analytics
d. Reduksi data
e. Transformasi data
5. Proses menerjemahkan data besar ke dalam konteks visual, seperti bagan,
grafik atau peta, termasuk bagian dari:
a. Pengumpulan data
b. Modelling data
c. Exploratory Data Analysis
d. Pemprosesan Data
e. Data Visualization
Sejauh mana Anda dapat menyelesaikan Latihan dan Evaluasi Materi yang ada
pada bab ini? Apabila Anda telah mampu menjawab Latihan dan Evaluasi Materi
pada Bab ini, berarti Anda telah menguasai topik ini dengan baik. Akan tetapi, jika
Anda masih merasa ragu dengan pemahaman Anda mengenai materi yang terdapat
dalam Bab ini serta adanya keraguan dan kesalahan dalam menjawab Latihan dan
Evaluasi Materi, maka disarankan Anda melakukan pembelajaran kembali secara
lebih intensif dengan membaca ulang materi, membaca bahan referensi, berdiskusi
dengan pengajar/fasilitator dan juga dengan sesama peserta pelatihan lainnya.
34
Big Data Analytics
BAB V
35
Big Data Analytics
transparansi pada data-data yang disajikan. Hal ini untuk mewujudkan open
government dalam negara demokratis.
Tantangan pemerintahan saat ini jauh berbeda dengan era sebelumnya.
Lingkungan strategis pemerintahan penuh dengan perubahan cepat dan dinamis
serta menghadapi berbagai macam disrupsi. VUCA (Volatility, Uncertainty,
Complexity dan Ambiquity) kata yang sering kita dengar saat ini, menggambarkan
betapa pentingnya untuk memilki mindset yang adaptif dan bertindak agile karena
dunia yang serba tak menentu dan perubahan yang cepat. Kebijakan-kebijakan yang
diambil tidak lagi riil dengan kebutuhan di lapangan karena saking cepatnya
perubahan yang terjadi, selain itu berbagai kemajuan di bidang teknologi juga vegitu
pesat, sehingga menimbulkan disrupsi, jika dimanfaatkan dengan baik akan menjadi
peluang meningkatkan kualitas pelayanan publik. Namun jika pemerintah gagal
memanfaatkan peluang tersebut maka justru kemajuan tersebut akan menjadi
permasalahan. Pemerintah dituntut untuk menguasai teknologi, bertransformasi
digital dan mendorong perubahan.
Tingkat interaksi masyarakat dengan menggunakan media sosial, sebagai
platform komunikai digital, menyebabkan komunikasi semakin intens antara
msnyarakat dan pemerintah. Kemudahan komunikasi ini juga menyebabkan
masyakarat semakin kritis terhadap isu-isu publik, masyarakat semakin kritis
terhadap pelaksanaan kebijakan pemerintah. Masyarakat semakin terbiasa
menyampaikan kritik, saran. Hal ini bagus untuk mendorong demokrasi, di mana
pertanyaaan pertanyaan terbuka, tuntuan akuntabilitas dan pemerintah. Ini lah
partisipasi publik dalam pemerintahan.
Big data bermanfaat untuk mendorong transformasi sektor publik, melalui
peningkatan kualitas pelayanan publik, pengambilan kebijakan, dan partisipasi
masyarakat.
Pemanfaatan big data dalam mewujudkan open government dalam jangka
menengah, akan menghasilkan kebijakan berguna untuk meningkatkan kualitas
36
Big Data Analytics
37
Big Data Analytics
masyarakat untuk menggunakan data secara bijak, hal ini akan membuat
masyarakat kita lebih engange. Dengan menerapkan machine learning ke media
online dan media sosial, pemerintah dapat lebih responsif terhadap pendapat
masyarakat dan memperkuat keterlibatan masyarakat. Warga bukan lagi
sebagai yang perlu dilayani tapi warga diajak untuk sama-sama melayani warga
lainnya. keterlibatan masyarakat bukan lagi sebagai “customer”, tetapi sebagai
“partner”. Kita akan bahas tentang kebijakan satu data pada sub bab
berikutnya.
[Link]
38
Big Data Analytics
“No poverty” (tidak ada kemiskinan) adalah satu dari 17 target SDGs pada
tahun 2030. Untuk melihat progress dalam mencapai target “no poverty” ini
diperlukan suatu cara yang cepat dan riil time serta reliabel. Sebelum penggunaan
teknologi citra satelit, metode yang digunakan adalah survey dari rumah ke rumah.
Namun, sekarang data yang diambil menggunakan citra satelit. Citra satelit
digabungkan dengan machine learning untuk memprediksi kemiskinan pada daerah
tertentu. Dengan menggunakan citra satelit pada siang hari untuk mempredikasi
seberapa terang suatu daerah pada malam hari. Semakin terang, maka daerah
tersebut semakin
berkembang. Hal ini
menyebabkan distribusi
dana lebih efisien dan dapat
menetapkan serta
mengevaluasi kebijakan
lebih efektif.
Selanjutnya, kita akan mengeksplore penerapan big data pada Smart City.
Pernahkah Anda mendengar kata “Smart City” ? ya, arti harfiahnya, Smart city adalah
kota cerdas. Tapi apa itu sebenarnya smart city? Kita bahas sedikit tentang smart city
baru kemudian mengeksplore penggunaan big data. Smart city adalah kota cerdas
yang tidak meninggalkan jatidiri/identitas dan ciri khasnya. Smart city bukanlah kota
ditambah teknologi, atau sekedar adopsi teknologi, tapi bagaimana transformasi
terjadi pada people, proses dan teknologi untuk membentuk quality of life yang lebih
baik. Quality of life yang lebih baik, artinya permasalahan-permasalahan kota dapat
teratasi dengan baik dan pelayanan untuk masyarakatnya menjadi lebih baik. Singkat
kata, smart city adalah apabila kehidupan hari ini adalah lebih baik dari kemarin, dan
39
Big Data Analytics
kehidupan hari esok lebih baik dari hari ini. Tujuan smart city adalah mencerdaskan
dan mensejahterakan masyakaratnya, sama seperti tujuan para founding fathers
bangsa ini, seperti yang termaktub dalam UUD NRI 1945. Smart city menuju smart
nation.
Peran teknologi dalam smartcity adalah sebagai salah satu enabler. Hanya
sebagai salah satu, karena untuk membentuk smart city atau dalam proses
smartization, diperlukan teknik-teknik yang smart dan bukan hanya teknologi yang
berperan di situ. Lantas bagaimana penerapan big data pada smart city ? big data
digunakan untuk meningkatkan layanan dan program-program suatu kota. Sebagai
contoh, kita ambil kota Jakarta. Tim Jakarta Smart City, dapat menganalisis keluhan
warga, analisis data trans Jakarta, analisis penggunaan Kartu Jakarta Pintar (KJP) dll.
Data tersebut dapat berasal dari interaksi pengguna, misalnya menggunakan gadget
(mengakses aplikasi Qlue kemudian melaporkan pelayanan yang dirasa masih kurang
baik di Jakarta), menggunakan kartu elektronik ketika akan masuk halte Trans Jakarta
(mengetap kartu), ini akan memberi informasi berapa jumlah pengguna trans Jakarta
setiap hari di suatu halte. Sehingga dapat mengetahui halte mana yang paling padat
setiap harinya dan mana yang tidak. Mendeteksi penggunaan/pola konsumsi KJP
(barang apa saja yang paling banyak dibeli dengan menggunakan KJP).
Untuk memperoleh data mengenai kota Jakarta, Anda dapat mengaksesnya di:
[Link]
Namun untuk data Indonesia dalam satu portal, Anda dapat mengaksesnya di:
[Link] . Kebijakan open data adalah kebijakan di mana pemerintah
menyediakan data untuk dapat digunakan oleh masyarakat. Tentunya yang dapat
digunakan oleh masyarakat adalah data umum, bukan data rahasia, apalagi sangat
rahasia. Contoh data umum misalnya: cuaca, demografi, hujan, status kekeringan,
jumlah penderita covid-19, dan masih banyak lainnya. Kalau merujuk kepada
Undang-undang Keterbukaan Informasi Publik (UU KIP), semua informasi adalah
terbuka, kecuali yang dikecualikan. Yang dikecualikan ini ada dalam pasal 17 UU KIP.
40
Big Data Analytics
41
Big Data Analytics
Contoh ketiga adalah big data terkait untuk kebaikan sosial. Big data juga
dapat membantu menyelesaikan beberapa masalah sosial dan lingkungan yang
paling sulit di masyarkat. Contoh berikut ini dari negara Australia, Amerika dan Mesir
yang dapat menjadi best practice untuk kita. Ada lima proyek yang akan diulas:9
9
[Link]
kebaikan-sosial-107205
42
Big Data Analytics
Dengan menggunakan
data media sosial,
memasukkan keyword
(kata kunci): #volunteer
dan #charity ke dalam
alat analisis, diperoleh
peta sebaran lokasi
orang-orang yang
Gambar 10. Distribusi Aksi-Aksi Kemanusiaan di
menggunakan hastag
Melbourne
tersebut. Anda sudah
belajar meta data di bab sebelumnya, di mana ketika Anda mengakses media sosial
dan mengaktifkan lokasi/keberadaan Anda, maka lokasi Anda terekam. Sehingga
ketika petugas kemanusiaan Australia melakukan aksi charity kemudian
mengaktikfkan lokasi keberadaanya dan menggunakan hastag #volunteer dan
#charity dalam setiap postingan terkait aksinya menjadi suatu big data yang dapat
dianalisis. Dari gambar terlihat titik biru (#volunteer actions) dan titik merah
(#charity actions) mengumpul pada suatu daerah tertentu. Artinya aksi kemanusiaan
tidak merata. Ke depan dapat diambil kebijakan, bahwa distribusi aksi kemanusiaan
harus lebih merata atau bahkan disesuaikan dengan daerah yang terkena bencana,
misal kekeringan dan kesulitan lainnya.
43
Big Data Analytics
44
Big Data Analytics
Intinya adalah mendapatkan dari banyak orang. Beda nya, pada proyek ini yang
digalang atau dikumpulkan adalah bukan dana, melainkan data dari warga, maka
dapat disebut crowdsource. Proyek mapping police violence dapat Anda klik pada
tautan berikut: [Link] . Proyek di AS ini memonitor,
memahami, dan memvisualisasikan kekerasan polisi. Hal ini mengacu pada tiga
database crowdsourced, selain itu juga menggunakan gabungan data dari media
sosial, berita kematian, database catatan kriminal, laporan polisi dan sumber
informasi lainnya. Dengan menggabungkan semua sumber data, didapat insight yang
sangat berharga untuk pengambilan keputusan. Misalnya, untuk memperbaiki
kinerja Polisi apakah harus ada perbaikan SOP dalam menangani kejahatan ? atau
kebijakan lainnya.
4. Kotak sampah pintar.
Gambar di samping adalah
keranjang sampah “BigBelly”. Tempat
sampah pintar ini menggunakan
teknologi IOT untuk menggumpulkan
data. Tempat sampah pintar ini dapat
memadatkan sampah untuk sampah-
sampah yang dapat didaur ulang.
Tempat sampah tersebut khusus untuk Gambar 13. Keranjang Sampah "BigBelly"
sampah-sampah yang berupa botol,
kaleng, dan kertas yang dapat dipadatkan. Ketika dimasukkan ke tempat sampah
tersebut, akan ada data digitalnya. Jadi dapat diketahui pola masyarakat Melbourne
ketika membuang sampah. Di tempat sampah atau titik mana yang paling banyak
sampah botolnya, mana yang paling banyak kalengnya dan sebagainya. Data ini
berguna untuk dapat memetakan daur ulang sampah. Sejauh mana penggunaan
botol, kaleng dsb. digunakan oleh masyarakat Melbourne, kebutuhan pengeloaan
nya dan pemanfaatan sampahnya yang dibuang di tempat sampah pintar tersebut.
45
Big Data Analytics
C. LATIHAN
1. Carilah di internet satu best practice penggunaan big data untuk menyelesaikan
permasalahan yang ada di sekitar kita. Elaborasikan bagaimana insight yang
didapat dari hasil analisis big data tersebut.
2. Di latihan sebelumnya, Anda telah diminta membuka situs instansi Anda dan
mencari data visualization. Jika ada, jelaskan value dari data yang ditampilkan
tersebut!
46
Big Data Analytics
D. RANGKUMAN
E. EVALUASI MATERI
47
Big Data Analytics
Sejauh mana Anda dapat menyelesaikan Latihan dan Evaluasi Materi yang ada
pada bab ini? Apabila Anda telah mampu menjawab Latihan dan Evaluasi Materi
pada Bab ini, berarti Anda telah menguasai topik ini dengan baik. Akan tetapi, jika
Anda masih merasa ragu dengan pemahaman Anda mengenai materi yang terdapat
dalam Bab ini serta adanya keraguan dan kesalahan dalam menjawab Latihan dan
Evaluasi Materi, maka disarankan Anda melakukan pembelajaran kembali secara
lebih intensif dengan membaca ulang materi, membaca bahan referensi, berdiskusi
dengan pengajar/fasilitator dan juga dengan sesama peserta pelatihan lainnya.
48
Big Data Analytics
BAB VI
PENUTUP
Materi yang diberikan dalam modul ini merupakan konsep dan implementasi
tentang big data. Untuk dapat memahami big data analytics dalam pelaksanaan
tugas, fungsi dan perannya maka peserta perlu mengikuti keseluruhan materi dalam
program pelatihan dan belajar partisipasi aktif. Selain itu, diharapkan peserta selalu
mengembangkan diri dengan membaca bahan-bahan referensi terkait lainnya untuk
memperkaya pengetahuan.
49
Big Data Analytics
KUNCI JAWABAN
BAB II
1. D
2. C
3. B
4. C
BAB III
1. C
2. D
3. C
BAB IV
1. B
2. B
3. B
4. C
5. E
BAB V
1. C
2. B
3. C
50
Big Data Analytics
DAFTAR REFERENSI
1. Kitchin, Rob. 2014. The Data Revolution: Big Data, Open Data, Data
Infrastructures and Their Consequences. 2nd Edition. Sage Publisher: London
2. [Link]
pengelolaan-big-data
3. [Link]
operasi-sistem-tenaga-listrik/
4. [Link]
5. [Link]
manfaat-perangkat-pencitraan-pada-dunia-kesehatan
6. [Link]
7. [Link]
where-it-comes-from/
8. [Link]
9. [Link]
[Link]#industries
10. [Link]
11. [Link]
[Link]
12. [Link]
13. [Link]
untuk-kebaikan-sosial-107205
51