Didžiųjų duomenų raida

2000-ųjų pradžioje buvo akivaizdu, kad duomenų srityje labai reikia naujovių. Apribojimai, ką įmonės gali padaryti su savo duomenimis, nusivylė vadovus ir labai sumažino efektyvumą. Daugelis kompanijų kaupė didžiulį informacijos kiekį, tačiau tiesiog nesugebėjo jos valdyti, analizuoti ar manipuliuoti savo naudai. Būtent šis didėjantis spaudimas užleido vietą didžiųjų duomenų perdavimui.

2003 m. „Google“ sukūrė „MapReduce“ - duomenų programą, leidžiančią įmonei per trumpą laiką apdoroti ir analizuoti informaciją apie jos paieškos užklausas tūkstančiuose serverių. Programa leido „Google“ pakeisti ir pritaikyti, todėl „Google“ per kelias minutes galėjo atlikti tūkstančius duomenų užduočių, kurios padidino produktyvumą ir iš naujo apibrėžė suvokimo ribas apie tai, ką galima padaryti su duomenimis. Beveik po 10 metų dideli duomenys tapo pagrindine informacinių technologijų strategija. Jo plati taikymo sritis ir galimybės iš esmės pakeitė duomenų valdymą darbo vietoje. Bet kas paskatino šią raidą ir kaip būtent didieji duomenys paveiks ateitį? Manėme, kad niekada neprašausite. (Jei norite susipažinti su dideliais duomenimis, skaitykite šiuos duomenis: Kaip jie užfiksuoti, sutraiškyti ir naudojami priimant verslo sprendimus.)

Ieškoma atsakymų į „Big Data“ klausimus

„MapReduce“ grožis buvo būdas supaprastinti labai sudėtingas užduotis. Ryšį būtų galima valdyti įvairiose mašinose, būtų galima pašalinti sistemos gedimus ir įvestus duomenis būtų galima organizuoti automatiškai - procesą, kurį galėtų prižiūrėti asmenys, kuriems nebereikalingi labai techniniai įgūdžiai. Padarę duomenų tvarkymą ne tik įmanomą, bet ir prieinamą, „Google“ įkvėpė kultūrinį duomenų valdymo pokyčius. Neilgai trukus tūkstančiai pagrindinių firmų savo duomenims naudojo „MapReduce“.

Tačiau buvo viena problema: „MapReduce“ buvo tiesiog programavimo modelis. Nors tai palengvino duomenų tvarkymo pagrindus, jis pats nebuvo atsakas į esamus duomenų trūkumus; tai buvo tik labai reikalingas žingsnis teisinga linkme. Korporacijoms vis dar reikėjo sistemos, kuri galėtų patenkinti jų unikalius duomenų poreikius ir peržengti paprastus duomenų tvarkymo pagrindus. Trumpai tariant, technologija, reikalinga evoliucijai.

Įveskite „Hadoop“

Įveskite „Hadoop“, atvirojo kodo programinę įrangą, kurią sukūrė keli programuotojai, įskaitant „Doug Cutting“. Kur „MapReduce“ buvo pagrindinis ir platus, „Hadoop“ pateikė gaivinančią specifiką. Įmonės galėjo kurti savo pritaikytas programas, tenkinančias duomenų poreikius tokiu būdu, kokio negalėjo jokia kita programinė įranga, ir paprastai jos buvo suderinamos su kitomis failų sistemomis. Firma, turinti talentingų programuotojų, galėtų suprojektuoti failų sistemą, kuri atliktų unikalias užduotis su duomenimis, kurie anksčiau atrodė nepasiekiami. Turbūt geriausia tai buvo ta, kad kūrėjai dalinsis programomis ir programomis tarpusavyje, kurias būtų galima paaiškinti ir patobulinti.

Demokratizavęs tokį svarbų šaltinį, Hadoopas tapo tendencija. Galų gale, daugelis didelių korporacijų, ypač paieškos sistemų firmos, jautė, kad to reikia dešimtmečiams! Neilgai trukus paieškos sistemos milžinai, tokie kaip „Yahoo“, paskelbė diegiant dideles „Hadoop“ programas, kurios generuoja duomenis, naudojamus žiniatinklio paieškos užklausose. Atrodė kaip banga, kelios garsios kompanijos paskelbė šios technologijos pritaikymą savo didžiulėms duomenų bazėms, įskaitant „Facebook“, „Amazon“, „Fox“, „Apple“, „eBay“ ir „FourSquare“. „Hadoop“ nustatė naują duomenų tvarkymo standartą.

Dideli duomenys, didelės problemos

Duomenų technologijos patobulinimai pakeitė būdą, kaip įmonės elgiasi su duomenimis, daugelis vadovų vis tiek mano, kad jie nėra pasirengę atlikti visas reikiamas užduotis. 2012 m. Liepos mėn. „Oracle“ paskelbė daugiau nei 300 C lygio vadovų apklausą, kuri atskleidė, kad nors 36 procentai įmonių pasitiki IT valdydami ir analizuodami duomenis, 29 procentai jų mano, kad jų sistemose trūksta pakankamų galimybių patenkinti savo įmonių poreikius. poreikiai. Galbūt įspūdingiausias tyrimo rezultatas buvo tas, kad 93 procentai respondentų manė, kad jų įmonė praranda iki 14 procentų savo pajamų, nes negali naudoti surinktų duomenų. Tos pajamos galėtų būti išleistos geresniems gaminiams gaminti ir samdyti daugiau darbuotojų. Laiku, kai įmonės stengiasi išlikti pelningos, būtina tobulinti duomenis, kad įmonės galėtų tapti pelningesnės. Tyrimas rodo, kad nepaisant tų, kurie mano, kad didžioji duomenų įtaka komercijai jau yra praėjusi, jos turimos augimo ir pažangos galimybės dar nėra pilnai išnaudotos.

Tai, ką „Big Data“ turi ateitis

Geros žinios yra tai, kad „Hadoop“ ir „MapReduce“ įkvėpė daugybę kitų duomenų tvarkymo įrankių. Daugelis naujų kompanijų kuria plačias duomenų platformas, veikiančias „Hadoop“, tačiau siūlo platų analizės funkcijų spektrą ir lengvesnę sistemos integraciją. Atrodo, kad korporacijos investavo labai daug išteklių, kad išspręstų susirūpinimą keliančius duomenis, o duomenų firmų finansinė sėkmė tai įrodė. Apskaičiuota, kad 2010 m. Duomenų firmos mažmeninės prekybos pajamos sudarė 3, 2 mlrd. Daugelis ekspertų apskaičiavo, kad vien 2015 m. Šis skaičius išaugs iki 17 milijardų JAV dolerių. Tai faktas, kurio neprarado kai kurios didžiausios technologijų bendrovės. Tiek IBM, tiek „Oracle“ per pastaruosius kelis mėnesius išleido milijardus duomenų firmų įsigijimui. Daugelis kitų firmų ateinančiais metais imsis panašių žingsnių, nes ir toliau sieks konkurencingos rinkos dalies.

„Big Data Frontier“

Surinktų duomenų kiekis ir toliau auga eksponentiškai, o tai vieniems kelia nerimą, o kitiems kelia nerimą. Viršutinė pusė yra ta, kad žmonės ir toliau taps produktyvesni bei prisitaikantys, kai analizuodami duomenis sužinosime naujų dalykų apie mūsų pasaulį. Neigiama pusė yra ta, kad yra tiek daug duomenų, kad daugelis bijo, kad mes nesugebame viso to tinkamai saugoti, dar mažiau tinkamai tvarkome, kad ja galėtų naudotis visi, kuriems to reikia.

Nepaisant to, pažangūs didžiųjų duomenų kiekiai gali suteikti precedento neturinčias galimybes išspręsti skubius su duomenimis susijusius klausimus. Pavyzdžiui, ekspertai pasiūlė, kad jei dideli duomenys būtų tinkamai įgyvendinti, pabrėžiant efektyvumą ir kokybę, vien tik sveikatos priežiūros išlaidoms būtų galima sutaupyti apie 300 milijardų JAV dolerių per metus; mažmenininkai galėtų pagerinti savo veiklos maržas, viešasis sektorius galėtų teikti geresnes paslaugas, o didelės įmonės sutaupytų milijardus. Taigi atrodo, kad mūsų duomenų klausimų reikia ne tik įmonės posėdžių salėse, bet ir visur. Tai sako gerų dalykų apie didžiųjų duomenų ateitį - galbūt ir mūsų.