Kas tiksliai yra hadoopas? ciniko teorija

Viskas, kas atrodo per daug gerai, kad būtų tiesa, yra. Tai gali nutikti su „Apache Hadoop“ - daug žinomo atvirojo kodo projektu, apie kurį visi nuolat kalba. Taigi, kas tiksliai yra šis dalykas? Geras klausimas!

Ekspertai abejoja

Trečiosios prigimties analitikas Markas Madsenas, laikydamasis InsideAnalysis.com, šiek tiek prikalė prie sienos: „Kas yra Hadoopas. Kas nėra Hadoopas“. Jo, kuris žino, kaip kurti realaus pasaulio sprendimus, tada iš tikrųjų juos diegti, jo patarimų nereikėtų ignoruoti.

Bet čia teka gilesnė srovė, ir jau yra laikas atrasti šios žavios floros šaknis, kad pamatytume, ar negalime įgyti kažkokios perspektyvos to, kas vyksta labiau makro lygmeniu. Galų gale pardavėjai nuolat sako, kad tai didelis dalykas, o dalyvių yra tiek daug.

Įdarbinkite komitetus! (?)

Šiuo metu trims bendrovėms priklauso didėjančios „Hadoop“ rinkos dalis: „Cloudera“, „Hortonworks“ ir „MapR“. Neseniai gana ginčytinoje „Boulder BI Brain Trust“ (#BBBT) instruktaže Jimas Walkeris iš „Hortonworks“ pateikė šį keistą komentarą:

"Jūs negalite pasistūmėti į priekį, jei neįdarbinsite įvykdytojų!"

Ateikite dar kartą?

Ar tai neatrodo taip, kaip senatorius Palpatine'as galėtų pasakyti filme „Žvaigždžių karai“?

Senjoras Palpatine'as: "Įdarbinkite vykdytojus!"

Netoliese esantis Minionas: "Bet, bet, pone! Pagalvok apie vaikus!"

Jei pasaulietis bando viską susitvarkyti, vykdytojai yra žmonės, atsidavę tam tikram atvirojo kodo projektui. „Apache“ fondas turi griežtus protokolus, kuriais jų projektai juda į priekį, o tai dažnai yra geras dalykas.

Nepaisant to, Walkerio komentarą reikia išnagrinėti. Vienas ryškus klausimas (rizikuojant sužavėti žaidimų aikštelių dienas) būtų toks: ar tai pažadas, ar grėsmė? Ar jis sako, kad Hortonworks gali tiesiog pasiimti kamuolį ir grįžti namo?

Bendradarbiavimas ar konkurencija?

Įdomus, jei paradoksalus, kampas yra tas, kad, kaip pranešama, dauguma Hadoop komandos kaltininkų (iš viso maždaug 30) yra iš Hortonworks ir Cloudera, kurie yra konkurentai. Tai labai keistas konkurencijos atvejis.

Taigi, koks susitarimas? Štai pagrįstas spėjimas: „Hadoop“ didžiąja dalimi yra dėkingas sumaniam planui, kurį sugalvojo Silicio slėnio rizikos kapitalistai ir inžinieriai, kurie iš esmės bando apsidrausti nuo „Oracle“.

Bendra idėja yra paskatinti rinką su kodo pagrindu, kurį gali patobulinti ir sustiprinti plėšikų parkas, kuris, laikui bėgant, idealiai sukurs įvairius duomenų valdymo įrankius, įskaitant duomenų bazių produktus. Rizikos fondai tam tikrą dieną gali investuoti ir išgryninti pinigus. Tačiau žaidime yra keletas rimtų iššūkių.

Kaip ir visos monolitinės įmonės, „Oracle“ dažnai atsiduria daugelio mažesnių žaidėjų kryžiuose. Ir kas gi nenorėtų, kad tik dalis jų numanytų įplaukų būtų maža? Vien per pastarąjį ketvirtį „Oracle“ rezervavo ~ 9 milijardus dolerių. Tačiau iššūkis „Big Red“ ir jų mušimas yra dvi labai skirtingos realybės.

Nemokama internetinė transliacija: kas yra „Hadoop“ ir kur ji vyksta? Prisijunkite prie Erico Kavanagho, Robino Blooro ir „Techopedia“ diskusijos apie tai, kaip „Hadoop“ smarkiai skiriasi nuo „Linux“ ar „SOA“ ir kodėl jos ateitis iš esmės liko nerašyta.

Pakuotės problemos

„Hadoop“ dalykas per se yra tas, kad tai jokiu būdu nėra supakuotas sprendimas. Atvirkščiai, tai sudėtinga modulių kolekcija, leidžianti aukštos kokybės programuotojams panaudoti didžiulius lygiagretaus apdorojimo algoritmus labai specifiniams darbams atlikti. Tačiau nėra įmanomos vartotojo sąsajos, o vadovai yra žiaurūs.

Pridėkite prie šio iššūkio šią kritinę kliūtį: jums taip pat reikia verslo žmonių, kurie turėtų bent jau bendrą supratimą, ką tai gali padaryti. Tie žmonės turi sugebėti sugalvoti idėjas, kaip ja naudotis, tada pranešti kūrėjams, kurie vėliau turi gaminti, išbandyti, įdiegti ir palaikyti programas.

Organizuodami šį šokį Cloudera ir Hortonworks uždirba daug pinigų. Problema yra ta, kad dauguma šiuo metodu sukurtų sprendimų yra unikalūs ir dažniausiai orientuojami į operacines sistemas, o ne į analitines. Vertimas? Tokie dalykai tikrai nėra tinkami supakuoti programinės įrangos produktai.

Pakuotės pelningumas!

Kuris mus sugrąžina į „Oracle“. Larry Elisonas ir berniukai sukuria savo šieno pardavimo duomenų bazių technologijas, techninę įrangą, paslaugas ir (palaukite, kol …) supakuotą programinę įrangą. Cloudera, matyt, tai išsiaiškino, taigi, jų dėmesys buvo nukreiptas į Impala. Bet Hortonworks?

Panašu, kad jų modelis labiau pamėgdžioja „RedHat“ - žmones, kurie „Linux“ operacinės sistemos viršuje pastatė milijardo dolerių vertės verslą. Nary, pagrindinis programinės įrangos pramonės pardavėjas, nerašo „Linux“, OS, kuria IBM vadovavo „Microsoft“. Tačiau „Hadoop“ nėra jokia „Linux“, net ne iš toli.

Geoffrey Malafsky, buvęs JAV karinio jūrų laivyno nanotechnologas, dabar „Phasic Systems“ ir PSIKORS instituto duomenų mokslininkas, distiliuoja Hadoop vertės pasiūlymą taip:

„Hadoop yra puikus paieškai, labai didelėms tendencijų analizėms, norint gauti stochastinius rezultatus, ir greičiausiai labai pigus protingas lygiagretus dalykų, tokių kaip mano buvusi žmona, apdorojimas: kvantinių mechaninių bangų funkcijos kietosios būsenos skaičiavimas ir cheminės reakcijos. Šis tikrasis mokslas remiasi superkompiuteriuose ir šiek tiek pakeitė į lygiagretųjį apdorojimą, tačiau tai labai pakeitė programavimo metodą. Tai padarys jauni, protingi, energingi antrosios pakopos studentai. Įtariu, kad mokslinių tyrimų stipendijos pradeda eiti šia linkme kai kuriems galingiems kompiuteriams. programos."

Pastebėsite, kad tai neskamba kaip duomenų saugojimas, verslo žvalgyba, duomenų integracija ar net dideli duomenys. Tai skamba kaip superkompiuteris. Dėl tam tikrų įdomių priežasčių didelio našumo skaičiavimo ir verslo intelekto pasauliai iš tikrųjų niekada nebuvo prasmingai susidūrę ar susilieję.

Ilgas kelias priešais Hortonworks ir Cloudera

Ir čia yra tikrai blogos naujienos „Hortonworks“ ir galbūt „Cloudera“. Didieji pardavėjai, tokie kaip IBM ir SAP, „Oracle“ ir „Teradata“ - švelniai tariant ir cituojant „Dire Straits“: „Jie, vaikinai, nėra kvaili!“ Prieš trejus ir daugiau metų visi jie sukūrė rimtas „Hadoop“ strategijas.

Šiuose planuose svarbiausia yra tai, ko verslo vartotojai tikisi: grafinės vartotojo sąsajos, nuvilkimo funkcija, modeliavimo ir atradimo įrankiai, darbo eiga, valdymas, saugumas; Trumpai tariant, visi bitai ir dalys, dėl kurių įmonės programinė įranga yra tinkama naudoti. Ir, žinoma, šie dideli pardavėjai turi didžiulę įdiegimo bazę.

Be abejo, tiek Cloudera, tiek Hortonworks turi gerą verslą, tačiau tik maža dalis to, ką šie pagrindiniai žaidėjai gauna kiekvienais metais. Atlikite matematikos vertinimą, kiek iššūkių dalyviai apmokestina savo klientus, palyginti su tuo, kiek tikėtina, kad jų pridėtinės išlaidos, ir vaizdas nėra toks rožinis. Žinoma, tai lygu kursui, susijusiam su ankstyvosios stadijos programinės įrangos problemomis, tačiau vis tiek …

„Hadoop“ ateitis?

Taigi, ar mes galime išvysti klasikinę įsigijimų bangą, tokią, kokią turėjome per sunkumus, kai IBM nusipirko „Cognos“, „Oracle“ įsigijo „Hyperion“ ir „SAP“ apiplėšė „BusinessObjects“? Galbūt, bet naujieji vaikai šiame bloke neturi „Hadoop“; jie tiesiog skolinasi. Ir kiek žadantys YARN ir „Tez“, atrodo, kad išleidimo ciklai atsilieka nuo to, ką sukuria sunkūs hitteriai.

Tik kitą dieną pramonės atstovas pakomentavo, kad „Apache“ politika gali būti rimta kliūtis. Tai nenuostabu, ypač kai atsižvelgiama į susijusius dolerius - novatoriai turi didelę motyvaciją stengtis, kad jie būtų turtingi. Ir ar kas pastebėjo, kaip atrodo, kad „Chrome“ pastaruoju metu savo funkcionalumu ir operatyvumu pranoko „Firefox“? Ar kas nors yra uždaras šaltinis?

Aišku viena: šis žaidimas bus įdomus. Taip, žinduoliai (skaitykite: maži pardavėjai) dažnai gali aplenkti dinozaurus; tačiau visame pasaulyje vis dar yra aligatorių ir krokodilų; ir jei suklupi ant vieno netikėtai, gali tiesiog atrasti, kokie aštrūs gali būti tie dantys. Keletas vikšrelių kartu galėtų nuimti dramblį ar du.