Mis on andmeteadus? Sissejuhatus, põhi Concepts & Protsess

Mis on andmeteadus?

andmed Science on uurimisvaldkond, mis hõlmab arusaamade hankimist tohututest andmetest, kasutades erinevaid teaduslikke meetodeid, algoritme ja protsesse. See aitab avastada algandmetest peidetud mustreid. Mõiste andmeteadus on tekkinud matemaatilise statistika, andmeanalüüsi ja evolutsiooni tõttu suur andmed.

Andmeteadus on interdistsiplinaarne valdkond, mis võimaldab ammutada teadmisi struktureeritud või struktureerimata andmetest. Andmeteadus võimaldab teil muuta äriprobleemi uurimisprojektiks ja seejärel tõlkida selle tagasi praktiliseks lahenduseks.

Miks andmeteadus?

Siin on andmeanalüüsi tehnoloogia kasutamise olulised eelised:

• Andmed on tänapäeva maailma õli. Õigete tööriistade, tehnoloogiate ja algoritmidega saame andmeid kasutada ja muuta need selgeks ärieeliseks
• Andmeteadus aitab teil täiustatud masinõppe algoritme kasutades pettusi tuvastada
• See aitab teil vältida olulisi rahalisi kahjusid
• Võimaldab arendada masinates luurevõimet
• Kliendi brändilojaalsuse mõõtmiseks saate läbi viia sentimentanalüüsi
• See võimaldab teil teha paremaid ja kiiremaid otsuseid
• See aitab teil soovitada õigele kliendile õiget toodet, et oma äri edendada

Andmeteaduse komponendid

Statistika

Statistika on andmeteaduse aluste kõige kriitilisem üksus ning see on meetod või teadus, mille abil kogutakse ja analüüsitakse arvulisi andmeid suurtes kogustes, et saada kasulikke teadmisi.

Visualiseerimine

Visualiseerimistehnika aitab teil hõlpsasti arusaadava ja seeditava visuaalina juurde pääseda tohututele andmetele.

Masinõpe

Masinõpe uurib selliste algoritmide loomist ja uurimist, mis õpivad ennustama ettenägematute/tulevikuandmete kohta.

Sügav õppimine

Sügav õppimine meetod on uus masinõppeuuring, kus algoritm valib järgitava analüüsimudeli.

Andmeteaduse protsess

Nüüd selles Andmeteaduse õpetus, õpime andmeteaduse protsessi:

1. Avastus

Avastamisetapp hõlmab andmete hankimist kõigist tuvastatud sise- ja välisallikatest, mis aitab teil äriküsimusele vastata.

Andmed võivad olla:

• Logid veebiserveritest
• Sotsiaalmeediast kogutud andmed
• Loenduse andmestikud
• Andmed voogesitatakse Interneti-allikatest API-de abil

2. Ettevalmistus

Andmed võivad sisaldada palju ebakõlasid, nagu puuduvad väärtused, tühjad veerud, vale andmevorming, mis tuleb puhastada. Enne modelleerimist peate andmeid töötlema, uurima ja konditsioneerima. Mida puhtamad on teie andmed, seda paremad on teie ennustused.

3. Mudelplaneerimine

Selles etapis peate määrama meetodi ja tehnika sisendmuutujate vahelise seose loomiseks. Mudeli planeerimine toimub erinevate statistiliste valemite ja visualiseerimisvahendid. SQL-i analüüsiteenused, R ja SAS/access on mõned sellel eesmärgil kasutatavad tööriistad.

4. Mudeli ehitamine

Selles etapis algab tegelik mudeli loomise protsess. Siin levitab andmeteadlane koolituse ja testimise jaoks andmekogumeid. Treeningandmete kogumile rakendatakse selliseid meetodeid nagu seostamine, klassifitseerimine ja rühmitamine. Pärast ettevalmistamist testitakse mudelit testimisandmestiku suhtes.

5. Operanatsionaliseerida

Selles etapis esitate lõpliku baasmudeli koos aruannete, koodi ja tehniliste dokumentidega. Mudel juurutatakse pärast põhjalikku testimist reaalajas tootmiskeskkonda.

6. Tulemustest teavitamine

Selles etapis edastatakse peamised tulemused kõigile sidusrühmadele. See aitab teil mudelist saadud sisendite põhjal otsustada, kas projekti tulemused on edukad või ebaõnnestunud.

Andmeteaduse töörollid

Kõige silmapaistvamad Data Scientisti ametinimetused on:

• Andmete teadlane
• Andmete insener
• Andmed Analüütik
• Statistik
• kuupäev Architect
• Andmeadministraator
• Business Analyst
• Andme-/analüütikahaldur

Vaatame üksikasjalikult, mida iga roll endast kujutab:

Andmete teadlane

Roll: Andmeteadlane on professionaal, kes haldab tohutul hulgal andmeid, et tulla välja mõjuvate ärivisioonidega, kasutades erinevaid tööriistu, tehnikaid, metoodikaid, algoritme jne.

Keeled: R, SAS, Python, SQL, taru, Matlab, siga, Spark

Andmete insener

Roll: Roll a andmeinsener töötab suurte andmemahtudega. Ta arendab, konstrueerib, testib ja hooldab selliseid arhitektuure nagu suuremahulised töötlemissüsteemid ja andmebaasid.

Keeled: SQL, Hive, R, SAS, Matlab, Python, Java, Ruby, C ++ ja Perl

Andmed Analüütik

Roll: Andmeanalüütik vastutab tohutute andmemahtude kaevandamise eest. Nad otsivad andmetest seoseid, mustreid ja suundumusi. Later ta esitab mõjuva aruandluse ja visualiseerimise andmete analüüsimiseks, et teha kõige elujõulisemaid äriotsuseid.

Keeled: R, Python, HTML, JS, C, C++, SQL

Statistik

Roll: Statistik kogub, analüüsib ja mõistab kvalitatiivseid ja kvantitatiivseid andmeid statistiliste teooriate ja meetodite abil.

Keeled: SQL, R, Matlab, Tableau, Python, Perl, Sparkja Taru

Andmehaldur

Roll: Andmeadministraator peaks tagama, et andmebaas on kättesaadav kõigile asjakohastele kasutajatele. Ta tagab ka selle korrektse toimimise ja hoiab seda kaitstuna häkkimine.

Keeled: Ruby on Rails, SQL, Java, C# ja Python

Business Analyst

Roll: see professionaal peab äriprotsesse täiustama. Ta on vahendaja ettevõtte juhtkonna ja IT-osakonna vahel.

Keeled: SQL, Tableau, Power BI ja Python

Lugege ka andmeteaduse intervjuu küsimusi ja vastuseid: Kliki siia

Andmeteaduse tööriistad

Andmete analüüs	Andmete ladustamine	Andmete visualiseerimine	Masinõpe
R, Spark, Python ja SAS	hadoop, SQL, Mesilaspere	R, Elav pilt, Toores	Spark, Azure ML stuudio, Mahout

Erinevus andmeteaduse ja BI (äriteabe) vahel

parameetrid	Ärianalüüs	andmed Science
Taju	tagasi vaatama	Ootan
Andmeallikad	Struktureeritud andmed. Enamasti SQL, kuid mõnda aega andmeladu)	Struktureeritud ja struktureerimata andmed. Nagu logid, SQL, NoSQL või tekst
Lähenemine	Statistika ja visualiseerimine	Statistika, masinõpe ja graafik
Rõhk	Minevik ja olevik	Analüüs ja neurolingvistiline programmeerimine
TÖÖRIISTAD	Pentaho. Microsoft Bl, QlikView,	R, TensorFlow

Lugege ka erinevust andmeteaduse ja masina vahel: Kliki siia

Andmeteaduse rakendused

Mõned andmeteaduse rakendused on järgmised:

Interneti-otsing

Google'i otsing kasutab andmeteaduse tehnoloogiat, et otsida konkreetset tulemust sekundi murdosa jooksul

Soovitussüsteemid

Soovitussüsteemi loomiseks. Näiteks „soovitatud sõbrad” Facebookis või soovitatud videod YouTube, kõik tehakse Data Science’i abiga.

Kujutise ja kõnetuvastus

Kõne tunneb ära sellised süsteemid nagu Siri, Google Assistant ja Alexa, mis töötavad andmeteaduse tehnikal. Lisaks tunneb Facebook Data Science’i abil ära teie sõbra, kui laadite temaga foto üles.

Mängumaailm

EA Sports, Sony ja Nintendo kasutavad andmeteaduse tehnoloogiat. See parandab teie mängukogemust. Mänge arendatakse nüüd masinõppe tehnikaid kasutades ja need saavad end värskendada, kui liigute kõrgemale tasemele.

Interneti-hindade võrdlus

PriceRunner, Junglee, Shopzilla töötavad andmeteaduse mehhanismi kallal. Siin hangitakse andmed asjakohastelt veebisaitidelt API-de abil.

Andmeteaduse tehnoloogia väljakutsed

• Täpse analüüsi jaoks on vaja suurt hulka teavet ja andmeid
• Andmeteaduse talentide kogum pole piisav
• Juhtkond ei toeta andmeteaduse meeskonda rahaliselt
• Andmete kättesaamatus / raske juurdepääs neile
• Äriotsuste langetajad ei kasuta andmeteaduse tulemusi tõhusalt
• Andmeteaduse teistele selgitamine on keeruline
• Privaatsus probleemid
• Märkimisväärse domeenieksperdi puudumine
• Kui organisatsioon on väga väike, ei saa sellel olla andmeteaduse meeskonda

kokkuvõte

• Andmeteadus on uurimisvaldkond, mis hõlmab erinevate teaduslike meetodite, algoritmide ja protsesside abil teadmiste hankimist tohututest andmehulkadest.
• Statistika, visualiseerimine, süvaõpe, masinõpe on olulised andmeteaduse mõisted.
• Andmeteaduse protsess läbib avastamise, andmete ettevalmistamise, mudelite kavandamise, mudelite loomise, Operanatsionaliseerida, edastada tulemusi.
• Olulised andmeteadlase töörollid on: 1) andmeteadlane 2) andmeinsener 3) andmeanalüütik 4) statistik 5) andmestik Architect 6) andmeadministraator 7) ärianalüütik 8) andme-/analüütikajuht.
• R, SQL, Python, SaS on olulised andmeteaduse tööriistad.
• Business Intelligence'i ennustused vaatavad tagasi, andmeteaduse puhul aga tulevikku.
• Andmeteaduse olulised rakendused on 1) Interneti-otsing 2) soovitussüsteemid 3) pildi- ja kõnetuvastus 4) mängumaailm 5) veebipõhine hinnavõrdlus.
• Teabe ja andmete suur mitmekesisus on andmeteaduse tehnoloogia suurim väljakutse.