Tutorial Apache NiFi

Rezumatul tutorialului Apache NiFi

Acest tutorial apache NiFi acoperă toate subiectele de la bază până la cele avansate de la zero. Veți învăța concepte precum definiția NiFi, istorie, arhitectură, caracteristici, procesul de instalare, cazuri de utilizare. Veți afla, de asemenea, de ce trebuie să utilizați apache NiFi și cele mai bune practici de rulare a apache NiFi.

Ce este Apache NiFi?

Apache NiFi este un software open source pentru automatizarea și gestionarea fluxului de date între sisteme. Este un sistem puternic și de încredere pentru procesarea și distribuirea datelor. Oferă o interfață de utilizator bazată pe web pentru a crea, monitoriza și controla fluxurile de date. Are un proces de flux de date extrem de configurabil și modificabil pentru a modifica datele în timpul execuției.

Apache NiFi este ușor de extensibil prin dezvoltarea de componente personalizate.

De ce să folosiți Apache NIfi?

Iată motivele pentru a utiliza Apache Nifi:

• Vă permite să introduceți date pentru a extrage date în NiFi, din numeroase surse de date și pentru a crea fișiere de flux
• Oferă control în timp real, care vă ajută să gestionați mișcarea datelor între orice sursă și destinație
• Vizualizați DataFlow la nivel de întreprindere
• Furnizați unelte și extensii comune
• Vă permite să profitați de bibliotecile existente și Java funcționalitatea ecosistemului
• Ajută organizațiile să integreze Nifi cu infrastructura lor existentă
• NiFi este proiectat să se extindă în clustere care oferă livrarea garantată a datelor
• Vizualizați și monitorizați performanța, comportamentul într-un buletin de flux care oferă informații și documentație inline
• Vă ajută să porniți și să opriți componentele separat sau la nivel de grup
• Vă ajută să ascultați, să preluați, să împărțiți, să agregați, să rutați, să transformați și să glisați și să plasați Dataflow

Istoria Apache NiFi

• Dezvoltat la NSA de peste opt ani
• 2014 - A fost donat software-ului Apache Foundation
• 2015 - NiFi a devenit parte oficială a Apache Project Suite
• De atunci, la fiecare 6-8 săptămâni, Apache NiFi lansează o nouă actualizare

NiFi Architectură

Apache NiFi are o arhitectură bine gândită. Odată ce datele sunt preluate din surse externe, acestea sunt reprezentate ca FlowFile în arhitectura Apache NiFi.

Iată componentele cheie ale arhitecturii NiFi

Componenta Nifi	Descriere
FlowFile	FlowFile este date originale cu meta-informații atașate. Vă permite să procesați nu numai CSV sau alte date bazate pe înregistrare, ci și imagini, videoclipuri, audio sau orice alte date binare.
Procesor Flowfile	Efectuează activitatea care acționează ca un bloc de construcție a fluxului de date în NiFi.
Controler de debit	Păstrează o evidență a modului în care procesele sunt conectate. Gestionează firele și alocările acestora pe care le folosesc toate procesele.
Web Server	Serverul web găzduiește comenzile și API-ul NiFi bazate pe HTTP.
Extensie	Există multe tipuri de extensii NiFi care funcționează și se execută în JVM.
Conexiune	Acționează ca o legătură între procesoarele care conțin o coadă și relații care afectează locul unde sunt direcționate datele.
Contrapresiune	Opriți depășirea sistemului prin controlul cantității sau mărimii datelor ale fișierelor de flux care pot fi stocate în coadă.
Grupul de procese	Un grup de procese este un set de procese și conexiunile acestora, care primește și trimite date cu ajutorul porturilor.
Depozitul Flowfile	În depozitul FlowFile, NiFi ține evidența stării detaliilor pe care le are despre un anumit FlowFile care este activ în flux.
Depozitul de conținut	Depozitul de conținut este o zonă în care există octeții de conținut actuali ai unui anumit FlowFile.
Depozitul de proveniență	Depozitul de proveniență este o zonă în care sunt adunate toate datele despre evenimentele de proveniență.

Caracteristici Apache NiFi

• NiFi acceptă stocarea în tampon a tuturor datelor din coadă și oferă o capacitate de contra-presiune, deoarece acele cozi pot atinge limitele specificate
• NiFi permite setarea uneia sau mai multor scheme de prioritizare
• Oferă procesoare de conexiune pentru multe surse de date
• Suportă orice dispozitiv care rulează Java
• Ideal pentru locuri cu conectivitate limitată
• Suport pentru depanarea și optimizarea fluxului
• Oferă autentificare/autorizare bazată pe roluri
• Permite descărcarea, recuperarea și reluarea fișierelor individuale
• Construiți-vă procesoarele, serviciile de controlor și multe altele
• Oferiți criptare a conținutului, comunicare prin protocoale securizate
• Permite o dezvoltare rapidă și testare eficientă
• Permite dezvoltarea de componente simple cu o singură funcție care pot fi reutilizate și combinate pentru a face fluxuri mai complexe
• Permite izolarea classloader-ului pentru o gestionare mai ușoară a dependențelor

Cum se instalează Apache NiFi

Mai jos este un proces pas cu pas pentru instalarea Apache NiFi

Pas 1) Accesează link-ul,

și faceți clic pe „Continuați să vă abonați”

Pas 2) Pe pagina următoare,

Faceți clic pe „Acceptați termenii”

Pas 3) Veți vedea această pagină,

Vă mulțumim că v-ați abonat la acest produs! Procesăm solicitarea dvs.

Pas 4) Reîmprospătați pagina după 5 minute.

Faceți clic pe „Continuați la configurare”

Pas 5) Pe pagina următoare,

Păstrați setările implicite și faceți clic pe „Continuați pentru a lansa”

Pas 6) Pe pagina următoare,

Faceți clic pe Lansare. Poate fi necesar să creați o cheie

Pas 7) Veți vedea acest mesaj de succes.

Felicitări! O instanță a acestui software este implementată cu succes pe EC2!

Pas 8) Notă,

ID-ul instanței și DNS-ul public al instanței EC2

Pas 9) În grupul de securitate,

Adăugați toate regulile de trafic la intrare și la ieșire

Pas 10) Pentru a accesa Nifi,

pur și simplu utilizați adresa URL

http://publicdns:8080/nifi

În cazul nostru devine

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

Utilizator:admin

Parolă: ID instanță

Pas 11) Vei vedea,

Ecranul de pornire NiFi

Cazuri de utilizare Nifi

Mai jos este o listă de cazuri de utilizare Apache NiFi:

Industrie	Folosire
Asigurări	Analiză de risc și subscriere Analiza revendicărilor Asigurare bazată pe utilizare Dezvoltarea de produse noi
Sănătate	Vedere unică a pacientului Monitorizare în timp real a semnelor vitale Optimizarea EMR Optimizarea lanțului de aprovizionare
Telecomunicaţie	Vizualizare unică a clientului Analiza CDR Alocarea dinamică a lățimii de bandă
Producție	Intretinere preventiva Optimizarea lanțului de aprovizionare Controlul calității
Industria petrolului și gazelor	Monitorizarea în timp real Vedere unică a OperaTION Întreținere predictivă Archive & Analytics Clasificarea datelor nestructurate
Servicii financiare	Împotriva spălării de bani Frauda- Detectare Risc- gestionarea datelor

Cele mai bune practici Rularea Apache NiFi

• Ideal pentru a separa mediile de testare/dezvoltare/producție în NiFi
• Ar trebui să vă împărțiți fluxul în grupuri de procese
• Utilizați o convenție de denumire, utilizați comentarii și etichete
• Organizați-vă proiectele în trei părți asimilare, testare și monitorizare
• Utilizați nume unice pentru variabilă

Dezavantajul Nifi

• Aveți nevoie de controale precise de securitate și conformitate
• Trebuie să cunoașteți foarte bine sistemul de bază în timp ce lucrați cu Apache NiFi
• Trebuie să mențină lanțul de custodie pentru date
• Transportul/Meseria poate să nu fie suficient
• Nevoile de acces la date depășesc resursele disponibile pentru transport
• Nu toate datele sunt create în mod egal
• SSL și autorizarea la nivel de subiect ar putea să nu fie suficiente

Rezumat

• Apache NiFi este un software open source pentru automatizarea și gestionarea fluxului de date între sisteme
• NiFi este proiectat să se extindă în clustere care oferă livrarea garantată a datelor
• Nifi a fost dezvoltat la NSA timp de peste opt ani
• Odată ce datele sunt preluate din surse externe, acestea sunt reprezentate ca FlowFile în arhitectura Apache NiFi.
• FlowFile, procesor, controler, server web, conexiune, contra-presiune, depozit sunt componente importante ale arhitecturii NiFi
• Limbajul de expresie NiFi acceptă orice dispozitiv care rulează Java
• Puteți instala cu ușurință NiFi pe AWS
• NiFi este utilizat în diverse industrii, cum ar fi asistența medicală, asigurări, telecomunicații, producție, finanțe, petrol și gaze, printre altele
• Ca cea mai bună practică, organizați-vă proiectele în trei părți asimilare, testare și monitorizare