Tutorial Apache NiFi
David Carter
Ringkasan Tutorial Apache NiFi
Tutorial apache NiFi ini mencakup semua topik dasar hingga lanjutan dari awal. Anda akan mempelajari konsep-konsep seperti definisi, sejarah, arsitektur, fitur, proses instalasi, dan kasus penggunaan NiFi. Anda juga akan mempelajari mengapa Anda perlu menggunakan apache NiFi dan praktik terbaik dalam menjalankan apache NiFi.
Apa itu Apache NiFi?
Apache NiFi adalah perangkat lunak sumber terbuka untuk mengotomatisasi dan mengelola aliran data antar sistem. Ini adalah sistem yang kuat dan andal untuk memproses dan mendistribusikan data. Ini menyediakan Antarmuka Pengguna berbasis web untuk membuat, memantau, dan mengontrol aliran data. Ini memiliki proses aliran data yang sangat dapat dikonfigurasi dan dimodifikasi untuk mengubah data saat runtime.
Apache NiFi mudah diperluas melalui pengembangan komponen khusus.
Mengapa Menggunakan Apache NIfi?
Berikut alasan menggunakan Apache Nifi:
- Memungkinkan Anda melakukan penyerapan data untuk menarik data ke NiFi, dari berbagai sumber data dan membuat file aliran
- Ini menawarkan kontrol waktu nyata yang membantu Anda mengelola pergerakan data antara sumber & tujuan mana pun
- Visualisasikan DataFlow di tingkat perusahaan
- Menyediakan perkakas dan ekstensi umum
- Memungkinkan Anda memanfaatkan perpustakaan yang ada dan Java fungsionalitas ekosistem
- Membantu organisasi untuk mengintegrasikan Nifi dengan infrastruktur yang ada
- NiFi dirancang untuk skalabilitas dalam cluster yang menawarkan pengiriman data yang terjamin
- Visualisasikan dan Pantau kinerja, perilaku dalam buletin alur yang menawarkan wawasan dan dokumentasi sebaris
- Membantu Anda memulai dan menghentikan komponen secara terpisah atau di tingkat grup
- Ini membantu Anda mendengarkan, mengambil, membagi, menggabungkan, merutekan, mengubah, dan menarik & melepas Aliran Data
Sejarah Apache NiFi
- Dikembangkan di NSA selama lebih dari delapan tahun
- 2014- Itu disumbangkan ke Perangkat Lunak Apache Foundation
- 2015- NiFi menjadi bagian resmi dari Apache Project Suite
- Sejak itu setiap 6-8 minggu, Apache NiFi merilis pembaruan baru
NiFi Architekstur
Apache NiFi memiliki arsitektur yang dipikirkan dengan matang. Setelah data diambil dari sumber eksternal, data tersebut direpresentasikan sebagai FlowFile di dalam arsitektur Apache NiFi.
Berikut adalah komponen utama arsitektur NiFi
| Komponen Nifi | Uraian Teknis |
|---|---|
| File Aliran | FlowFile adalah data asli dengan informasi meta yang dilampirkan padanya. Ini memungkinkan Anda memproses tidak hanya CSV atau data berbasis rekaman lainnya, tetapi juga gambar, video, audio, atau data biner lainnya. |
| Prosesor file aliran | Melakukan pekerjaan yang bertindak sebagai blok penyusun aliran data di NiFi. |
| Pengontrol aliran | Menyimpan catatan bagaimana proses terhubung. Ia mengelola thread dan alokasinya yang digunakan oleh semua proses. |
| web Server | Server web menghosting perintah dan API berbasis HTTP NiFi. |
| Perpanjangan | Ada banyak jenis ekstensi NiFi yang beroperasi dan dijalankan dalam JVM. |
| Koneksi | Bertindak sebagai penghubung antara prosesor yang berisi antrian dan hubungan yang mempengaruhi ke mana data dirutekan. |
| Tekanan balik | Hentikan sistem agar tidak dibanjiri dengan mengontrol kuantitas atau ukuran data file aliran yang dapat disimpan dalam antrean. |
| Grup Proses | Grup proses adalah sekumpulan proses dan koneksinya, yang menerima dan mengirim data dengan bantuan port. |
| Repositori Flowfile | Dalam Repositori FlowFile, NiFi melacak status detail yang dimilikinya tentang FlowFile tertentu yang aktif dalam aliran. |
| Gudang Konten | Repositori Konten adalah area tempat byte konten sebenarnya dari FlowFile tertentu berada. |
| Repositori Asal | Repositori Provenance adalah area tempat semua data kejadian asal dikumpulkan. |
Fitur Apache NiFi
- NiFi mendukung buffering semua data yang diantrekan dan menawarkan kemampuan tekanan balik karena antrean tersebut mungkin mencapai batas yang ditentukan
- NiFi memungkinkan pengaturan satu atau lebih skema prioritas
- Menyediakan prosesor koneksi untuk banyak sumber data
- Mendukung perangkat apa pun yang berjalan Java
- Ideal untuk tempat konektivitas terbatas
- Dukungan untuk pemecahan masalah dan optimalisasi aliran
- Menawarkan otentikasi/otorisasi berbasis peran
- Memungkinkan pengunduhan, pemulihan, dan memutar ulang file individual
- Bangun prosesor Anda, layanan pengontrol, dan banyak lagi
- Menyediakan enkripsi konten, komunikasi melalui protokol aman
- Memungkinkan pengembangan cepat dan pengujian yang efektif
- Memungkinkan pengembangan komponen fungsi tunggal sederhana yang dapat digunakan kembali dan digabungkan untuk membuat aliran yang lebih kompleks
- Memungkinkan isolasi classloader untuk pengelolaan dependensi yang lebih mudah
Cara Install Apache NiFi
Di bawah ini adalah proses langkah demi langkah untuk instalasi Apache NiFi
Langkah 1) Pergi ke link,
dan klik “Lanjutkan Berlangganan”
Langkah 2) Di halaman selanjutnya,
Klik “Terima Persyaratan”
Langkah 3) Anda akan melihat halaman ini,
Terima kasih telah berlangganan produk ini! Kami sedang memproses permintaan Anda.
Langkah 4) Segarkan halaman setelah 5 menit.
Klik pada “Lanjutkan ke Konfigurasi”
Langkah 5) Di halaman selanjutnya,
Pertahankan pengaturan default dan klik "Lanjutkan ke Peluncuran"
Langkah 6) Di halaman selanjutnya,
Klik Luncurkan. Anda mungkin perlu membuat kunci
Langkah 7) Anda akan melihat pesan sukses ini.
Selamat! Contoh perangkat lunak ini berhasil diterapkan di EC2!
Langkah 8) Catatan,
Id instans dan DNS publik instans EC2
Langkah 9) Di grup keamanan,
Tambahkan semua peraturan lalu lintas ke masuk dan keluar
Langkah 10) Untuk mengakses Nifi,
cukup gunakan URL-nya
http://publicdns:8080/nifi
Dalam kasus kami, itu menjadi
http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/
Pengguna:admin
Kata Sandi: Id Instans
Langkah 11) Kamu akan lihat,
Layar beranda NiFi
Kasus Penggunaan Nifi
Di bawah ini adalah daftar kasus penggunaan Apache NiFi:
| Industri | penggunaan |
|---|---|
| Asuransi |
|
| HealthCare |
|
| Telekomunikasi |
|
| Manufaktur |
|
| Minyak & Gas- Industri |
|
| Jasa Keuangan |
|
Praktik terbaik Menjalankan Apache NiFi
- Ideal untuk memisahkan lingkungan pengujian/pengembangan/produksi di NiFi
- Anda harus membagi aliran Anda ke dalam kelompok proses
- Gunakan konvensi penamaan, gunakan komentar dan label
- Atur proyek Anda menjadi tiga bagian penyerapan, pengujian & pemantauan
- Gunakan nama unik untuk variabel
Kekurangan Nifi
- Membutuhkan kontrol keamanan dan kepatuhan yang tepat
- Anda perlu mengetahui sistem yang mendasarinya dengan baik saat bekerja dengan Apache NiFi
- Harus menjaga lacak balak untuk data
- Transportasi / Pesan mungkin tidak cukup
- Kebutuhan akses data melebihi sumber daya yang tersedia untuk transportasi
- Tidak semua data dibuat sama
- SSL dan otorisasi tingkat topik mungkin tidak cukup
Ringkasan
- Apache NiFi adalah perangkat lunak sumber terbuka untuk mengotomatisasi dan mengelola aliran data antar sistem
- NiFi dirancang untuk skalabilitas dalam cluster yang menawarkan pengiriman data yang terjamin
- Nifi dikembangkan di NSA selama lebih dari delapan tahun
- Setelah data diambil dari sumber eksternal, data tersebut direpresentasikan sebagai FlowFile di dalam arsitektur Apache NiFi.
- FlowFile, prosesor, pengontrol, server web, koneksi, tekanan balik, repositori adalah komponen penting dari arsitektur NiFi
- Bahasa ekspresi NiFi mendukung perangkat apa pun yang berjalan Java
- Anda dapat dengan mudah menginstal NiFi di AWS
- NiFi digunakan di berbagai industri seperti perawatan kesehatan, asuransi, telekomunikasi, manufaktur, keuangan, minyak dan gas
- Sebagai praktik terbaik, atur proyek Anda menjadi tiga bagian penyerapan, pengujian & pemantauan
