Apache NiFi-vejledning

Apache NiFi Tutorial Resumé

Denne apache NiFi-tutorial dækker alle de grundlæggende til avancerede emner fra bunden. Du vil lære begreber som NiFi-definition, historie, arkitektur, funktioner, installationsproces, use cases. Du vil også lære, hvorfor du skal bruge apache NiFi og de bedste fremgangsmåder for at køre apache NiFi.

Hvad er Apache NiFi?

Apache NiFi er en open source software til automatisering og styring af dataflowet mellem systemer. Det er et kraftfuldt og pålideligt system til at behandle og distribuere data. Det giver webbaseret brugergrænseflade til at oprette, overvåge og kontrollere datastrømme. Det har en meget konfigurerbar og modificerbar dataflowproces til at ændre data under kørsel.

Apache NiFi kan nemt udvides gennem udvikling af brugerdefinerede komponenter.

Hvorfor bruge Apache NIfi?

Her er grunde til at bruge Apache Nifi:

• Giver dig mulighed for at foretage dataindtagelse for at trække data ind i NiFi fra adskillige datakilder og oprette flowfiler
• Det tilbyder kontrol i realtid, som hjælper dig med at styre bevægelsen af ​​data mellem enhver kilde og destination
• Visualiser DataFlow på virksomhedsniveau
• Sørg for fælles værktøj og udvidelser
• Giver dig mulighed for at drage fordel af eksisterende biblioteker og Java økosystems funktionalitet
• Hjælper organisationer med at integrere Nifi med deres eksisterende infrastruktur
• NiFi er designet til at skalere ud i klynger, som tilbyder garanteret levering af data
• Visualiser og overvåg ydeevne, adfærd i en flowbulletin, der tilbyder indsigt og inline-dokumentation
• Hjælper dig med at starte og stoppe komponenter separat eller på gruppeniveau
• Det hjælper dig med at lytte, hente, opdele, samle, rute, transformere og trække og slippe Dataflow

Historien om Apache NiFi

• Udviklet hos NSA i over otte år
• 2014- Det blev doneret til Apache-softwaren Foundation
• 2015- NiFi blev en officiel del af Apache Project Suite
• Siden da hver 6.-8. uge udgiver Apache NiFi en ny opdatering

NiFi Architecture

Apache NiFi har en gennemtænkt arkitektur. Når data er hentet fra eksterne kilder, er det repræsenteret som FlowFile inde i Apache NiFi-arkitekturen.

Her er nøglekomponenterne i NiFi-arkitekturen

Nifi komponent	Beskrivelse
FlowFile	FlowFile er originale data med metainformation knyttet til det. Det giver dig mulighed for at behandle ikke kun CSV eller andre optagelsesbaserede data, men også billeder, videoer, lyd eller andre binære data.
Flowfil processor	Udfører arbejdet, der fungerer som en byggesten af ​​dataflow i NiFi.
Flow controller	Registrerer, hvordan processer er forbundet. Den administrerer trådene og allokeringerne deraf, som alle processer bruger.
web-server	Webserveren er vært for NiFis HTTP-baserede kommandoer og API.
Extension	Der er mange typer af NiFi-udvidelser, som fungerer og udføres i JVM.
Forbindelse	Fungerer som en forbindelse mellem processorer, der indeholder en kø og relation(er), som påvirker, hvor data rutes.
Rygpres	Stop systemet med at blive overrendt ved at kontrollere mængden eller datastørrelsen af ​​flowfiler, der kan gemmes i køen.
Procesgruppe	En procesgruppe er et sæt af processer og deres forbindelser, som modtager og sender data ved hjælp af porte.
Flowfile Repository	I FlowFile Repository holder NiFi styr på tilstanden af, hvilke detaljer den har om en given FlowFile, som er aktiv i flowet.
Indholdsarkiv	Indholdslagret er et område, hvor de faktiske indholdsbytes for en given FlowFile findes.
Herkomstdepot	Herkomstdepotet er et område, hvor alle herkomsthændelsesdata er indsamlet.

Apache NiFi-funktioner

• NiFi understøtter buffering af alle data i kø og giver mulighed for modtryk, da disse køer kan nå specificerede grænser
• NiFi tillader indstilling af en eller flere prioriteringsordninger
• Giver forbindelsesprocessorer til mange datakilder
• Understøtte enhver enhed, der kører Java
• Ideel til steder med begrænset tilslutning
• Support til fejlfinding og flowoptimering
• Tilbyder rollebaseret godkendelse/autorisation
• Tillader download, gendannelse og genafspilning af individuelle filer
• Byg dine processorer, controllertjenester og mere
• Giv indholdskryptering, kommunikation over sikre protokoller
• Muliggør hurtig udvikling og effektiv test
• Giver mulighed for udvikling af simple enkeltfunktionskomponenter, der kan genbruges og kombineres for at lave mere komplekse flows
• Tillader isolering af klasseindlæser for lettere styring af afhængigheder

Sådan installeres Apache NiFi

Nedenfor er en trinvis proces til Apache NiFi-installation

Trin 1) Gå til forbindelsen,

og klik på "Fortsæt med at abonnere"

Trin 2) På næste side,

Klik på "Accepter vilkår"

Trin 3) Du vil se denne side,

Tak, fordi du abonnerer på dette produkt! Vi behandler din anmodning.

Trin 4) Opdater siden efter 5 minutter.

Klik på "Fortsæt til konfiguration"

Trin 5) På næste side,

Behold standardindstillingerne, og klik på "Fortsæt til start"

Trin 6) På næste side,

Klik på Start. Du skal muligvis oprette en nøgle

Trin 7) Du vil se denne succesmeddelelse.

Tillykke! En forekomst af denne software er implementeret med succes på EC2!

Trin 8) Bemærk,

Forekomst-id'et og den offentlige DNS for EC2-forekomsten

Trin 9) I sikkerhedsgruppen,

Føj al trafikregel til indgående og udgående

Trin 10) For at få adgang til Nifi,

brug blot URL'en

http://publicdns:8080/nifi

I vores tilfælde bliver det

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

Bruger:admin

Adgangskode: Forekomst-id

Trin 11) Du vil se,

NiFi-hjemmeskærm

Nifi Use Cases

Nedenfor er en liste over Apache NiFi-brugstilfælde:

Industri	Brug
Forsikring	Risiko- og forsikringsanalyse Skadeanalyse Brugsbaseret forsikring Udvikling af nyt produkt
HealthCare	Enkeltbillede af patienten Overvågning af vitale tegn i realtid EMR optimering Supply Chain Optimering
Telekommunikation	Enkelt billede af kunden CDR-analyse Dynamisk båndbreddetildeling
Manufacturing	Forebyggende vedligeholdelse Supply Chain Optimering Kvalitetskontrol
Olie & Gas- Industri	overvågning i realtid Enkeltvisning af Operation Predictive Maintenance Archive & Analytics Ustruktureret dataklassificering
Financial Services	Anti-hvidvaskning af penge Svig- Opdagelse Risiko- datastyring

Bedste øver sig i at køre Apache NiFi

• Ideel til at adskille test/dev/produktionsmiljøer i NiFi
• Du bør opdele dit flow i procesgrupper
• Brug en navnekonvention, brug kommentarer og etiketter
• Organiser dine projekter i tre dele indtagelse, test og overvågning
• Brug unikke navne til variable

Ulempen ved Nifi

• Har brug for præcise sikkerheds- og overholdelseskontroller
• Du skal kende det underliggende system meget godt, mens du arbejder med Apache NiFi
• Skal opretholde chain of custody for data
• Transport/beskeder er muligvis ikke nok
• Behovet for dataadgang overstiger de tilgængelige ressourcer til transport
• Ikke alle data er skabt lige
• SSL- og emneniveau-autorisation er muligvis ikke tilstrækkelig

Resumé

• Apache NiFi er en open source-software til automatisering og styring af datastrømmen mellem systemer
• NiFi er designet til at skalere ud i klynger, som tilbyder garanteret levering af data
• Nifi blev udviklet hos NSA i over otte år
• Når data er hentet fra eksterne kilder, er det repræsenteret som FlowFile inde i Apache NiFi-arkitekturen.
• FlowFile, processor, controller, webserver, forbindelse, modtryk, repository er vigtige komponenter i NiFi-arkitekturen
• NiFi-udtrykssprog understøtter enhver enhed, der kører Java
• Du kan nemt installere NiFi på AWS
• NiFi bruges i forskellige industrier såsom sundhedspleje, forsikring, telekom, fremstilling, finans, olie og gas blandt andre
• Som en bedste praksis skal du organisere dine projekter i tre dele indtagelse, test og overvågning