Q:
Dėl kokių aplinkybių kilo didžiųjų duomenų ekosistema?
A:Yra daugybė veiksnių, prisidėjusių prie šių dienų didžiųjų duomenų ekosistemos atsiradimo, tačiau egzistuoja bendras sutarimas, kad dideli duomenys atsirado dėl daugybės aparatinės ir programinės įrangos konstrukcijų, kurios tiesiog leido egzistuoti dideliems duomenims.
| Internetinis seminaras: „Didelis lygintuvas“, sutikite „Big Data“: Pagrindinių kompiuterių duomenų išlaisvinimas naudojant „Hadoop & Spark“ Registruotis čia |
Įprastinis stambių duomenų apibrėžimas yra toks: Duomenų rinkiniai, kurie yra pakankamai dideli ir sudėtingi, kad atremia lengvą iteracinį valdymą arba valdymą ranka. Dideli duomenų rinkiniai dažnai yra identifikuojami kaip duomenų rinkiniai, kurie negali tilpti į paprastą duomenų bazių tinklą, nes jų analizė reikalauja per daug duomenų tvarkančių serverių darbo.
Turint tai omenyje, didžioji dalis to, kas sukūrė didelius duomenis, yra idėja, kurią mes žinome kaip Mūro įstatymą, arba tranzistorių padvigubinimas grandinėje kas dveji metai, sukuriant vis mažesnius aparatūros ir duomenų saugojimo įrenginius (taip pat galingesnius mikroprocesorius). . Kartu su Moore'io įstatymu ir tikriausiai dėl jo prieinamų programinės įrangos sistemų skaičiavimo galimybės vis didėjo iki to laiko, kad net asmeniniai kompiuteriai galėjo tvarkyti daug didesnį duomenų kiekį, o verslo ir avangardinės sistemos pradėjo tvarkyti duomenų dydžius. neįsivaizduojamas tik prieš kelerius metus. Asmeninės sistemos perėjo nuo kilobaitų į megabaitus, o paskui į gigabaitus vartotojams skaidriai suplanuotame procese. „Vanguard“ sistemos perėjo iš gigabaitų į terabaitus ir petabaitus, o pagal dydį kaip zetabitai - būdais, kurie paprastam piliečiui buvo daug mažiau skaidrūs.
Kitas didelis duomenų pritaikymas buvo duomenų tvarkytojų apdorojimo būdų pokyčiai. Vietoj įprasto reliacinių duomenų bazių projektavimo, tvarkytojai, siekdami pašalinti duomenų procesų kliūtis, pradėjo naudoti įrankius, tokius kaip „Apache Hadoop“ ir susijusius aparatūros valdymo elementus.
Rezultatas yra didelis duomenų pasaulis, kuriame gyvename, kur dideli duomenų rinkiniai yra saugomi ir prižiūrimi duomenų centruose ir vis plačiau prieinami įvairiomis technologijomis, skirtomis įvairiausiems tikslams. Nuo komercijos iki ekologijos, nuo visuomenės planavimo iki medicinos, didieji duomenys tampa vis prieinamesni. Tuo tarpu vyriausybinės agentūros ir kitos didesnės organizacijos vis dar stumia didelių duomenų dydžius ir diegia dar tobulesnius sprendimus.
