Duomenų gavybos apibrėžimas

Seniai girdėjau, kad duomenys yra naujoji nafta, tačiau jei turime spręsti pagal vienos iš disciplinų, nagrinėjančių jos naudojimą ir naudojimą, pavadinimą, vadinamąjį kasyba duomenųAš juos labiau pavadinčiau „naująja anglimi“ pagal jų formų analogiją gavyba.

Duomenų gavyba yra disciplina, kurią sudaro didelių duomenų rinkinio automatizuotos statistinės analizės išvadų darymas.

Šie duomenys gali būti gaunami iš daugelio šaltinių, gali turėti skirtingą struktūrą arba net negali būti struktūrizuoti. Dėl šios priežasties duomenų gavyba apima dirbtinis intelektas ir mašininis mokymasis sugeba prisitaikyti prie nestruktūrizuotų duomenų ir perduoda juos per filtrus, leidžiančius juos analizuoti.

Galų gale esmė ta, kad išvados padeda sprendimų priėmimas tam tikroje sistemoje, kuri gali būti labai įvairi: pradedant miesto ar regiono kelių eismu, baigiant nuostata ugniagesių ir kitų viešųjų tarnybų pajėgų, kad būtų galima įveikti galimas ekstremalias situacijas.

Taip pat kalbama apie duomenų pavyzdžių atskleidimą, kurie iki šiol buvo paslėpti arba mes negalėjome jų aiškiai pamatyti, tarp visų kankinimų, didelio esamų duomenų kiekio.

Kas skiria duomenų gavybą nuo dideli duomenys? Na, kasyba užsiima tik analize, o kasyba dideli duomenys Tai yra disciplina, atsakinga už duomenų surinkimą ir saugojimą bei jų administravimą.

Į analizuoti teisingai, pirmiausia turime nustatyti kai kuriuos tikslus, kurių siekiame analizė, klausimų serija, į kurią turime rasti atsakymą, nes kur tai bus turime ieškoti.

Pradėdami nuo šių klausimų patalpų pavidalu, mes pasirenkame apdorojamus duomenis (gali būti, kad mums reikia tik dalies duomenų bazėir ne visi).

Apdorojimo etapas kiekvienu atveju skiriasi ir jame naudojamos dirbtinio intelekto priemonės ir mašininis mokymasis, kad jie galėtų dinamiškai prisitaikyti prie įvestų duomenų, prireikus pakeisdami savo operacijas.

Galutinis šio apdorojimo produktas turėtų būti išvadų serija, tačiau nepainiokime jų su tais, kuriuos turi padaryti atsakingi už sistemą ar tie, kurie priima galutinius sprendimus. Šios išvados yra apie analizuojamų duomenų apimtį.

Jei vėl paimsime kelių eismo mieste pavyzdį, galime gauti išvada kad tam tikroje gatvėje yra per didelis transporto priemonių srautas, tačiau sistema nepateiks mums stebuklingų receptų, kaip išspręsti minėtą perteklių.

Nors sistema turi intelektas dirbtinis, galintis pasiūlyti sprendimus, paskutinis žodis visada bus žmonių personalo užduotis.

Duomenų gavyba praktiškai taikoma daugybėje disciplinų, tarp kurių išsiskiria finansinės.

Taigi, galime rasti pritaikymą tokiose sekcijose kaip vertybinių popierių rinka (prognozuoti akcijų elgseną), bet ir sektoriai, kurie nėra griežtai finansiniai, tačiau yra glaudžiai susiję su šiuo sektoriumi, kaip yra draudimas.

Natūralios kalbos apdorojimas, paieškos internete ar išmanieji automobiliai yra kitos disciplinos, kuriose taikoma duomenų gavyba.

„Fotolia“ nuotraukos: „Moartist“ / „Thinglass“

Duomenų gavybos temos