Autorius „Techopedia“ darbuotojai, 2016 m. Vasario 24 d
„Takeaway“: Priimančioji Rebecca Jozwiak aptaria srautinės analizės srautus su geriausiais pramonės ekspertais.
Šiuo metu nesate prisijungęs. Jei norite pamatyti vaizdo įrašą, prisijunkite arba prisiregistruokite.
Rebecca Jozwiak: Ponios ir ponai, sveiki ir Sveiki atvykę į 2016 metų „Hot Technologies“! Šios dienos pavadinimas yra „„ Firehose “panaudojimas: Verslo vertės įgijimas iš„ Streaming Analytics “.“ Tai Rebecca Jozwiak. Aš esu antrasis interneto transliacijos komandos vadovas, kai mūsų mielasis Ericas Kavanaghas negali būti čia, todėl malonu matyti tiek daug jūsų šiandien.
Šis epizodas šiek tiek skiriasi nuo mūsų kitų. Mes tarsi kalbėjome apie tai, kas karšta, ir, žinoma, šiais metais yra karšta. Paskutiniai keleri metai buvo karšti. Visada atsiranda naujų dalykų. Šiandien mes kalbame apie srautinę analizę. Srauto analizė yra savaime nauja. Žinoma, srautiniai perdavimai, centro duomenys, RFID duomenys nebūtinai yra nauji dalykai. Bet duomenų architektūros kontekste mes dešimtmečius buvome taip susikoncentravę į duomenis ramybėje. Duomenų bazės, failų sistemos, duomenų saugyklos - visa tai dažniausiai naudojama paketiniam apdorojimui. Bet dabar, kai keičiamasi tuo, kad sukuriama vertė iš srautinių duomenų perdavimo, duomenų emocijų, kai kurie tai vadina tiesioginiais srautais, jiems iš tikrųjų reikalinga srautais pagrįsta architektūra, o ne poilsio architektūros duomenys, prie kurių esame įpratę ir kuriuos jis turi turėti. tvarkymas greitu nurijimu, apdorojimas realiu laiku arba beveik realiu laiku. Jis turi sugebėti patenkinti ne tik daiktų, bet ir visko internetą.
Žinoma, idealu, jei būtų malonu, jei abi architektūros gyventų viena šalia kitos, viena ranka plaunant kitą, taip sakant. Nors dienų duomenys, savaičių ir metų duomenys, be abejo, vis dar turi vertę, istorinė analizė, tendencijų analizė, šiais laikais tai yra tiesioginiai duomenys, kurie skatina tiesioginį intelektą, ir todėl srautinių analizių analizė tapo tokia svarbi.
Aš šiandien apie tai kalbu plačiau. Turime savo duomenų žinovą Dezą Blanchfieldą, skambinantį iš Australijos. Šiuo metu jam anksti ryte. Turime vyriausiąjį analitiką dr. Robiną Bloorą. Prie mūsų prisijungia Anandas Venugopalis, „Impetus Technologies“ „StreamAnalytix“ produkto vadovas. Jie iš tikrųjų yra sutelkę dėmesį į šios erdvės srautinės analizės aspektą.
Turėdamas tai, aš eisiu į priekį ir perduosiu Dezui.
Dez Blanchfield: Ačiū. Turiu čia patraukti ekrano valdymą ir iššokti į priekį.
Rebecca Jozwiak: Štai jūs.
Dezas Blanchfieldas: Kol mes griebiamės skaidrių aukštyn, leiskite man tiesiog apžvelgti pagrindinę temą.
Aš išlaikysiu tai gana aukštą lygį ir išlaikysiu maždaug 10 minučių. Tai labai didelė tema. Dalyvavau renginyje, kuriame dvi ar tris dienas praleidome gilindamiesi į tai, kas yra srauto apdorojimas ir dabartinės mūsų kuriamos sistemos bei ką turėtų reikšti analizė tuose didelės apimties srautuose.
Mes tiesiog išsiaiškinsime, ką turime omenyje srautinės analizės metodais, ir paskui nuspręsime, ar galima išgauti verslo vertę, nes būtent to ir siekia įmonės. Jie nori, kad žmonės labai greitai ir glaustai paaiškintų jiems, kur aš galiu sužinoti vertę, naudodamas tam tikrą analizės formą mūsų srauto duomenims?
Kas yra srautinė analizė?
Srautinės analizės metodai suteikia organizacijoms galimybę gauti vertę iš didelės apimties ir didelio greičio duomenų, kuriuos jos gauna versle, įvairiomis formomis. Reikšmingas skirtumas yra tas, kad mes ilgą laiką kūrėme analizę ir objektyvą bei duomenų vaizdus, kuriuos ilgus dešimtmečius apdorojome ramybės būsenoje, nes buvo išrastas pagrindinis kompiuteris. Masinis paradigmos pokytis, kurį mes matėme per pastaruosius trejus – penkerius metus, vadinamą „interneto mastu“, yra duomenų srautų, patenkančių į mus realiu laiku arba beveik realiu laiku, srautas, o ne tik apdorojimas ir įvykių koreliacijos ieškojimas ar įvykių aktyvikliai, tačiau atliekant tikrai išsamią ir išsamią tų srautų analizę. Tai reikšmingas perėjimas prie to, ką mes darėme anksčiau, tai yra duomenų rinkimas, įdėjimas į kažkokias saugyklas, dabar tradiciškai dideles duomenų bazes, dideles dideles duomenų sistemas, tokias kaip „Hadoop“ platforma, ir duomenų apdorojimas paketiniu režimu ir gavimas tam tikra įžvalga.
Mes labai gerai tai padarėme labai greitai ir išbandėme daug sunkios geležies, bet vis tiek tikrai kaupiame duomenis, saugome ir žiūrime į juos bei gauname tam tikrų įžvalgų ar analizės duomenų. Perėjimas prie tų analizių, kai srautiniai duomenys perduodami, buvo labai nauja ir įdomi sritis, vykstanti su dideliais duomenimis. Tam reikia visiškai kitokio požiūrio, kaip tiesiog fiksuoti, saugoti ir apdoroti bei atlikti analizę.
Vienas pagrindinių veiksnių, nukreipiančių į srauto analizę ir sutelkimą dėmesį, yra tai, kad gavę šias įžvalgas greičiau ir lengviau, kai duomenys bus jums, galite įgyti didelę verslo vertę, nes informacija tampa prieinama verslui. Kai kurių pramonės šakų idėja atlikti apdorojimą dienos pabaigoje yra nebeaktuali. Mes norime, kad analizę būtų galima atlikti iškart. Dienos pabaigoje mes jau žinome, kas atsitiko, kaip atsitiko, o ne gauti dienos pabaigą ir atlikti 24 valandų paketinį darbą ir gauti tas įžvalgas.
Srautinės analizės tikslas - įsitraukti tiesiai į tą srautą, o duomenų srautai paprastai yra keli labai didelių duomenų srautų ir duomenų srautai, kurie labai greitai, labai greitai perduodami mums, ir gaunami įžvalgos ar analizė apie tuos srautus, kai jie ateina pas mus, o ne leisti tai išeiti ramybėje ir atlikti analizę.
Kaip jau minėjau, mes dešimtmečiais vykdome tai, ką vadinu paketine analitika. Aš čia įdėjau tikrai šaunų paveikslėlį. Tai priešais pasityčiojusį kompiuterį stovinčio džentelmeno, kurį prieš visą laiką sukūrė „RAND Corporation“, vaizdas. Štai jie atrodė kaip namie esantis kompiuteris. Įdomu tai, kad net tada jie turėjo šią visų šių mažų skambučių idėją ir šie skambučiai reprezentavo informaciją, ateinančią iš namo, apdorojamą realiu laiku ir pasakojančią, kas vyksta. Paprastas pavyzdys yra barometrinio slėgio ir temperatūros rinkinys, kurį galime pamatyti ten, kur matome, kas vyksta realiu laiku. Bet aš įsivaizduoju, kad dar tada, kai „RAND Corporation“ sudėjo tą mažą maketą, jie iš tikrųjų jau galvojo apie duomenų tvarkymą ir analitikos atlikimą, nes jis pateikiamas srauto formatu. Nesu tikras, kodėl jie įdeda vairą į kompiuterį, bet tai gana šaunu.
Nuo pat spausdintuvo išradimo turėjome tikslą fiksuoti duomenis ir atlikti serijos analizę. Kaip jau sakiau, kai pasikeitė didelis pokytis ir mes tai matėme iš mėgstamų žiniatinklio žaidėjų, kuriuos visi žinome, jie visi yra buitiniai prekės ženklai, tokie kaip „Twitter“, „Facebook“ ir „LinkedIn“, tas interaktyvus elgesys, kurį turime su tais socialiniais tinklais. platformoms reikia ne tik fiksuoti, saugoti ir apdoroti paketiniu režimu, bet jos iš tikrųjų kaupia ir skatina analizę srautiniu būdu iš perduodamų duomenų srautų. Kai ką nors čiulbu, jiems ne tik reikia juos užfiksuoti, išsaugoti ir padaryti vėliau, bet jie taip pat turi sugebėti nedelsdami įkelti juos į mano srautą ir pasidalyti jais su kitais man sekančiais žmonėmis. Tai yra paketinio apdorojimo modelis.
Kodėl mes turėtume eiti šiuo keliu? Kodėl organizacijos turėtų investuoti laiką, jėgas ir pinigus net apsvarstydamos iššūkį pasukti srautinės analizės keliu? Organizacijos labai nori gauti daugiau naudos nei konkurentai pramonės šakose, kuriose jos dirba, ir kad našumo padidėjimą galima greitai įgyvendinti naudojant paprastą srauto analizę, ir tai gali prasidėti paprastu tiesiog stebėjimo realiojo laiko duomenimis, kuriuos mes jau turime. pažįstamas su. Ten gavau nedidelę „Google Analytics“ ekrano kopiją. Tai turbūt vienas iš pirmųjų kartų, kai iš tikrųjų gavome praktinę analizę vartotojui. Taigi, kai žmonės lankėsi jūsų svetainėje ir jūs gaunate tuos paspaudimų skaičius su maža „JavaScript“ versija jūsų tinklalapio apačioje HTML įterptu į jūsų svetainę, šie maži kodai buvo sukurti realiu laiku atgal į „Google“ ir jie buvo analizuoti duomenų srautus, gaunamus iš kiekvieno jūsų svetainės puslapio, kiekvieno jūsų svetainės objekto realiu laiku, ir jie jums tai atsiųs atgal į šį tikrai mielą mažą tinklalapį realaus laiko grafiko informacijos suvestinėje, mielas mažas histogramas ir eilučių diagrama, rodanti X žmonių skaičių, kurie istoriškai pateko į jūsų puslapį, bet štai dabar yra keli.
Kaip matote ekrano kopijoje, dabar parašyta 25. Tuo metu ekrano kopijos darymo metu šiame puslapyje buvo 25 žmonės. Tai yra pirmas tikras šansas, kurį mes suvaidinome naudodamiesi vartotojo analitikos įrankiu. Manau, kad nemažai žmonių tai iš tikrųjų gavo. Jie tiesiog suprato galią žinoti, kas vyksta ir kaip jie gali į tai reaguoti. Kai galvojame apie aviacijos skraidymo aparatus, skraidančius orlaiviais, vien JAV per dieną vyksta 18 700 vietinių skrydžių. Aš prieš kurį laiką perskaičiau popierių - tai buvo maždaug prieš šešerius ar septynerius metus -, kad senojo inžinerinio modelio duomenų, kuriuos gamino tie orlaiviai, kiekis buvo nuo 200 iki 300 megabaitų. Šiuolaikiniuose orlaivių projektuose šie orlaiviai sukuria apie 500 gigabaitų duomenų arba apie pusę terabaito duomenų per vieną skrydį.
Kai labai greitai atlikote matematiką, neskaičiuojate, kad 18 700 vietinių skrydžių kas 24 valandas vien tik JAV oro erdvėje, jei visi šiuolaikiniai orlaiviai sukuria maždaug pusę terabaito, tai yra nuo 43 iki 44 duomenų petatų. tai vyksta, kol lėktuvai yra ore. Tai nutinka, kai jie nusileidžia ir daro duomenis. Štai tada jie eina į parduotuvę ir gauna visą duomenų bazę iš inžinierių grupių, norėdami pasižiūrėti, kas vyksta guoliuose, ratuose ir variklių viduje. Kai kurie iš šių duomenų turi būti apdoroti realiuoju laiku, kad jie galėtų priimti sprendimus, jei kiltų realių problemų, kai lėktuvas buvo ore ar jis buvo ant žemės. Jūs tiesiog negalite to padaryti paketiniu režimu. Kitose pramonės šakose, kurias matome finansų, sveikatos, gamybos ir inžinerijos srityse, jie taip pat svarsto, kaip jie gali įgyti šią naują įžvalgą apie tai, kas vyksta realiu laiku, o ne ką tik saugomą duomenų bazėse. terminas.
Taip pat yra ši duomenų tvarkymo, kaip tai, ką aš vadinu greitai gendančia preke ar greitai gendančia preke, samprata - laikui bėgant daug duomenų praranda vertę. Vis daugiau tai nutinka mobilumo programoms ir socialinės žiniasklaidos priemonėms, nes tai, ką žmonės sako, ir tai, kas dabar madinga, yra tai, į ką norite reaguoti. Kai galvojate apie kitus gyvenimo dalykus, susijusius su logistika ir maisto gabenimu, suprantame greitai gendančios prekės sąvoką ta prasme. Tačiau pagalvokite apie duomenis, kuriuos išgyvena jūsų organizacija, ir apie jų turimą vertę. Jei kažkas šiuo metu užsiima su jumis verslu ir jūs galite su jais bendrauti realiu laiku, nenorite laukti valandos, kad duomenis būtų galima užfiksuoti ir sudėti į tokią sistemą kaip „Hadoop“, tada paspausti šį mygtuką, jūs negalėsite su tuo susitvarkyti dabar ir norite tai padaryti nedelsdami kliento pageidavimu. Dabar yra terminas, kurį pamatysite labai išpopuliarėjęs, kai žmonės kalba apie tai, kad šis realaus laiko duomenų srautas suteikia jums suasmeninimo galimybę, o pritaikymas sistemoje, kurią naudojate, priklauso nuo jūsų asmeninės patirties. Taigi, kai paspausite įrankį, pvz., „Google“ paieškos įrankį, jei darau užklausą, o jūs darote tą pačią užklausą, visada negauname tų pačių duomenų. Iš esmės mes gauname tai, ką aš vadinu garsenybių patirtimi. Aš elgiuosi su vienkartine. Gaunu savo asmeninę versiją apie tai, kas vyksta šiose sistemose, remdamasis profiliais ir duomenimis, kuriuos jie surinko apie mane, ir galėjau atlikti analizę realiu laiku sraute.
Ši idėja, kad duomenys yra greitai gendanti prekė, yra realus dalykas, ir duomenų, kurių laikui bėgant mažėja, vertė yra tai, su kuo turime susidurti. Tai nėra vakarykštis dalykas. Man patinka šis paveikslėlis, kuriame meška sugriebia iš upės iššokusią lašišą, nes ji tikrai piešia būtent tai, ką matau srautinės analizės duomenis. Tai yra ši didžiulė duomenų upė, pasiekianti mus, jei norite, ugnies žarna, o lokys sėdi viduryje upelio. Tai atliks realiojo laiko analizę apie tai, kas vyksta aplinkui, kad galėtų iš tikrųjų suprojektuoti savo galimybes gaudyti tą žuvį ore. Tai ne tik panardinimas į upelį ir jo gaudymas. Šis dalykas šokinėja ore ir, norėdamas sugauti tą žuvį, turi būti tinkamoje vietoje tinkamu laiku. Priešingu atveju jis negauna nei pusryčių, nei priešpiečių.
Organizacija nori tą patį padaryti su savo duomenimis. Jie nori išgauti vertę iš to, kas dabar yra didžiulė duomenų apyvarta. Jie nori analizuoti tuos duomenis ir didelės spartos duomenis, todėl svarbu ne tik duomenų kiekis, bet ir greitis. Pavyzdžiui, saugumo sumetimais - visi jūsų maršrutizatoriai, komutatoriai, serveriai, ugniasienės ir visi įvykiai, kurie ateina iš tų ir dešimtys tūkstančių, jei ne šimtai tūkstančių įrenginių, kai kuriais atvejais - greitai gendantys duomenys. Kai galvojame apie tai daiktų internete ir pramoniniame internete, mes kalbame apie milijonus, jei ne milijardus jutiklių, o galiausiai ateina duomenys, per kuriuos atliekama analizė, todėl mes norime atlikti sudėtingus įvykius. tokiu mastu ir greičiu, kokio mes dar niekada nematėme, ir šiandien turime tai spręsti. Mes turime kurti įrankius ir sistemas aplink tai. Tai tikras iššūkis organizacijoms, nes, viena vertus, mes turime labai didelius prekės ženklus, kurie daro pasidaryk pats, kepa patys, kai turi galimybių tai padaryti, turi įgūdžių rinkinį ir inžineriją. Tačiau vidutinės organizacijos atveju taip nėra. Jie neturi įgūdžių rinkinių. Jie neturi nei galimybių, nei laiko ar net pinigų investuoti į tai išsiaiškinti. Jie visi siekia šios beveik realiu laiku priimtų sprendimų idėjos.
Naudokite atvejus, su kuriais susidūriau, ir jie yra visame plačiame kiekvieno sektoriaus spektre, kokį tik galite įsivaizduoti. Žmonės sėdi ir kreipia dėmesį ir sako: kaip mes pritaikome kai kuriuos analitinius duomenis mūsų srauto duomenims? Mes kalbame apie interneto masto internetines paslaugas. Čia yra tradicinės socialinės žiniasklaidos platformos ir internetinė el. Parduotuvė bei mažmeninė prekyba, pvz., Programos. Jie visi bando mums suteikti realiojo laiko įžymybių patirtį. Bet kai mes įsigiliname į daugiau technologijų kamino paslaugų, telefono paslaugų, balso ir vaizdo įrašų, matau žmones, vaikščiojančius aplink, atliekančius „FaceTime“ telefonus. Tai tiesiog sprogo. Man kelia mintį, kad žmonės laiko telefoną priešais save ir kalbasi su draugo vaizdo įrašu, o ne laiko jį prie ausies. Bet jie žino, kad gali tai padaryti, ir prisitaikė, ir jiems tai patiko. Tobulinant šias programas ir jas teikiančias platformas, reikia atlikti realaus laiko analizę tame sraute ir srauto profiliuose, kad jie galėtų atlikti paprastus veiksmus, pavyzdžiui, to paties vaizdo nukreipimą, kad būtų užtikrinta balso kokybė gautas vaizdo įrašas yra tinkamas norint gauti geros patirties. Tokio tipo duomenų apdoroti negalite. Tai nepadarytų realaus laiko vaizdo transliacijos funkcine paslauga.
Finansinėms operacijoms kyla valdymo iššūkis. Nederėtų eiti į dienos pabaigą ir sužinoti, kad pažeidėte įstatymus, perkeldami privačius duomenis visur. Australijoje turime labai įdomų iššūkį, kai su privatumu susijusių duomenų perkėlimas į jūrą yra „ne“. Jūs negalite paimti mano PID, mano asmeninių asmens tapatybės duomenų užsienyje. Australijoje yra įstatymai, kurie neleidžia to daryti. Visų pirma finansinių paslaugų teikėjai, vyriausybės tarnybos ir agentūros, turi vykdyti realiojo laiko analizę duomenų sraute ir instrukcijose kartu su manimi, kad įsitikintų, jog tai, ką jie teikia man, nepalieka krantų. Visi daiktai turi likti vietoje. Jie turi tai padaryti realiuoju laiku. Jie negali pažeisti įstatymų ir vėliau paprašyti atleidimo. Sukčiavimo aptikimas - tai gana akivaizdus dalykas, apie kurį girdime atlikdami operacijas kreditinėmis kortelėmis. Bet kadangi labai greitai keičiasi operacijų, kurias atliekame su finansinėmis paslaugomis, rūšys, kad „PayPal“ pirmiausia daro įvairius dalykus, kad realiuoju laiku aptiktų sukčiavimą, kai pinigai nejuda nuo vieno dalyko prie kito, bet tai yra finansinis sandoris tarp sistemų. Ebay kainų siūlymo platformos, sukčiavimo aptikimas turi būti atliekamas realiu laiku srautinio perdavimo biure.
Dabar pastebima tendencija, kad srautuose išgaunama ir keičiama apkrovos veikla, todėl nenorime užfiksuoti nieko, kas vyksta sraute. Mes to tikrai negalime padaryti. Žmonės sužinojo, kad duomenys mėgsta būti greitai sugadinti, jei viską užfiksuojame. Dabar sudėtinga atlikti tų srautų analizę, atlikti ETL ir tiesiog užfiksuoti tai, ko jums reikia, potencialius metaduomenis, tada nukreipti numatomąją analizę ten, kur mes iš tikrųjų galime, tada papasakoti, kas nutiks, truputį toliau, tuo, ką mes ką tik matėme sraute, remiantis analize, kurią mes atlikome.
Energijos ir komunalinių paslaugų teikėjai patiria šį didžiulį vartotojų norą, kad kainos būtų nustatomos paklausa. Aš galiu nuspręsti, kad noriu pirkti ekologišką energiją tam tikru dienos metu, nes aš tiesiog esu vienas namuose ir nenaudoju daug prietaisų. Bet jei turiu vakarienę, galbūt norėčiau, kad visi mano prietaisai būtų įjungti, nenorėčiau pirkti pigią energiją ir laukti, kol ji bus pristatyta, tačiau norėčiau susimokėti už daugiau išlaidų, kad gaučiau šią energiją. Ši paklausos kainodara, ypač komunalinių paslaugų ir energijos srityje, jau įvyko. Pavyzdžiui, „Uber“ yra klasikinis dalykų, kuriuos galite atlikti kiekvieną dieną, pavyzdys. Visa tai lemia paklausos kainodara. Yra keletas klasikinių pavyzdžių, kai Australijoje žmonės gauna 10 000 USD tarifus dėl didžiulės paklausos Naujųjų metų išvakarėse. Esu tikras, kad jie išsprendė šią problemą, tačiau srauto analizė buvo atliekama realiu laiku, automobilyje, nurodant, kiek turėčiau sumokėti.
Daiktų internetas ir jutiklių srautai - mes tik ką tik subraižėme paviršių ir iš tikrųjų ką tik turėjome pagrindinį pokalbį, tačiau pamatysime įdomų poslinkį, kaip technologijos susidoroja su tuo, nes kai jūs kalbate ne beveik tūkstančiai ar dešimtys tūkstančių, bet šimtai tūkstančių ir potencialiai milijardai prietaisų, srautiniu būdu perduodamų jums, beveik nė viena iš dabar turimų technologijų kaminų nėra pritaikyta tam.
Yra keletas tikrai karštų temų, kurias matysime visur, pavyzdžiui, saugumas ir kibernetinė rizika. Jie mums yra labai tikri iššūkiai. Žiniatinklyje yra tikrai tvarkingas įrankis, vadinamas šiaurine, kur galite sėdėti ir žiūrėti tinklalapyje įvairias kibernetines atakas, vykstančias realiu laiku. Kai pažvelgi į jį, galvoji „oi, tai gražus, mielas, mažas internetinis puslapis“, bet po maždaug penkių minučių jame suvoksite duomenų kiekį, kurį sistema analizuoja visais skirtingais srautais iš visų skirtingų įrenginių visame pasaulyje. kurie jiems yra dedami. Tai pradeda gluminti mintis, kaip jie tą įrašo kraštą iš esmės vykdo, ir pateikia jums tą paprastą mažą ekraną, kuriame nurodoma, kas į ką ar kas kitas puola jį realiuoju laiku ir kokios išpuolių rūšys. Bet tai tikrai tvarkingas mažas būdas tiesiog gerai išmėginti tai, ką srauto analizė gali padaryti jums realiu laiku, tiesiog žiūrint šį puslapį ir suvokiant srautų tūrį bei iššūkį, apdorojant analizės užklausas juos ir atspindinčius tai realiu laiku.
Aš manau, kad pokalbis, kurį turiu likusią sesijos dalį, bus skirtas visiems tiems dalykams, turint omenyje vieną įdomų požiūrį, ir tai yra „pasidaryk pats“ iššūkis - iškepk pats, jis tinka kai kuriems klasikiniai vienaragiai, kurie gali sau leisti kurti tokio tipo daiktus. Jie uždirbo milijardus dolerių, kad galėtų pastatyti šias inžinerijos komandas ir sukurti jų duomenų centrus. Tačiau 99, 9% ten dirbančių organizacijų, norinčių padidinti srauto analizės verslo vertę, turi gauti nemokamą paslaugą. Jie turi nusipirkti gaminį be pakuotės, ir jiems paprastai reikia tam tikrų konsultavimo tarnybų ir profesionalių paslaugų, kurie padėtų juos įgyvendinti, ir jie įgyja tą vertę versle bei parduoda ją verslui kaip veikiantį sprendimą.
Su tuo aš grįšiu atgal į jus, Rebeka, nes aš tikiu, kad tai yra tai, ką mes dabar ketiname išsamiai aptarti.
Rebecca Jozwiak: Puikiai. Labai ačiū, Dez. Tai puikus pristatymas.
Dabar aš perleisiu kamuolį Robinui. Pašalink.
Robinas Blooras: Gerai. Kadangi Dezas įsitraukė į niekingą srautų apdorojimo srautą, man atrodė, kad nėra prasmės jį vėl nagrinėti. Taigi aš tiesiog imsiuosi visiškai strateginės nuomonės. Beveik labai aukštai žvelgdamas į tai, kas vyksta, ir pozicionuodamas tai, nes manau, kad tai gali padėti žmonėms, ypač mums, žmonėms, kurie anksčiau nėra įsisteigę srautų apdorojimui dideliame gylyje.
Srautai buvo apdorojami ilgą laiką. Mes tai vadinome CEP. Prieš tai buvo realaus laiko sistemos. Originalios proceso valdymo sistemos iš tikrųjų apdorojo informacijos srautus - žinoma, nieko tokio, kaip yra šiais laikais. Ši grafika, kurią matote čia esančioje skaidrėje; tai iš tikrųjų nurodo daugybę dalykų, bet atkreipia dėmesį ne tik į kitus dalykus, bet ir į faktus, kad čia yra įvairių spalvų latentinis spektras. Tai, kas iš tikrųjų nutiko nuo kompiuterių ar komercinių kompiuterių išradimo, atsiradusio maždaug 1960 m., Yra tai, kad viskas tiesiog paspartėjo. Mes kada nors galėjome priklausyti nuo to, kaip tai iš tikrųjų atsirado, jei jums patinka bangomis, nes būtent taip jis atrodo. Tai iš tikrųjų priklauso nuo to. Kadangi visa tai lėmė Moore'o įstatymai, ir Moore'io įstatymas mums duotų maždaug dešimties kartų didesnį koeficientą per maždaug šešerių metų laikotarpį. Tuomet, kai mes iš tikrųjų pasiekėme maždaug 2013 m., Viskas nutrūko ir staiga ėmėme įsibėgėti tokiu greičiu, kokio dar niekada nebuvome, o tai yra keistai beprecedentis. Kalbant apie greičio padidėjimą, todėl latencijos sumažėjimas maždaug kas šešerius metus buvo gaunamas maždaug dešimtkart. Per šešerius metus nuo maždaug 2010 m. Turime bent kelis tūkstančius. Trys didumo laipsniai, o ne viena.
Štai kas vyko ir todėl pramonė vienaip ar kitaip juda fantastišku greičiu - nes taip yra. Tiesiog perprasdami šio paveikslo prasmę, reagavimo laikai iš tikrųjų yra algoritminėje skalėje žemyn vertikalios ašies. Realusis laikas yra kompiuterio greitis, greitesnis nei žmonių. Interaktyvus laikas yra oranžinis. Kai bendraujate su kompiuteriu, jūs tikrai norite, kad nuo vienos dešimtosios iki maždaug vienos sekundės vėluotumėte. Aukščiau, yra operacijų, kai mes iš tikrųjų galvojame apie tai, ką darote kompiuteryje, bet jei tai praeis maždaug per penkiolika sekundžių, tai taps netoleruotina. Žmonės iš tikrųjų tiesiog nelauks kompiuterio. Viskas buvo daroma partijomis. Daugybė dalykų, kurie buvo padaryti dalimis, dabar patenka tiesiai į operacijų erdvę, tiesiai į interaktyvią erdvę ar net į realaus laiko erdvę. Jei anksčiau mes galėjome tai padaryti banguoti su labai mažais duomenų kiekiais, tai dabar galime padaryti su labai dideliais duomenų kiekiais, naudodamiesi nepaprastai pritaikyta aplinka.
Taigi iš esmės visa tai sako iš tikrųjų operacijų ir interaktyvių žmonių reakcijų laikas. Nepaprastai daug to, kas šiuo metu daroma su srautais, yra informuoti žmones apie dalykus. Kai kurie iš jų vyksta greičiau ir gerai informuoja medžiagą, todėl yra realus laikas. Tada mes imamės licencijos tiesiog mesti kaip akmuo, kad momentinė analizė būtų įmanoma ir, beje, gana prieinama. Ne tik sumažėjo greitis, bet ir viršūnė tiesiog sugriuvo. Tikriausiai didžiausią įtaką visoms šioms programoms galite atlikti visi šie nuspėjantys analitikai. Aš jums pasakysiu, kodėl per minutę.
Tai tik aparatūros parduotuvė. Gavote lygiagrečią programinę įrangą. Mes kalbame apie 2004 m. Scale-out architektūra, daugiagysliai lustai, atminties padidinimas, konfigūruojamas centrinis procesorius. SSD dabar eina daug greičiau nei verpimo diskas. Galite atsisveikinti su bangomis besisukančiu disku. SSD taip pat yra keliuose branduoliuose, taigi vėl greičiau ir greičiau. Netrukus pasirodys, mes turime memristorių iš HP. Mes turime „3D XPoint“ iš „Intel“ ir „Micron“. Tiems žadama, kad vis tiek viskas vyks greičiau ir greičiau. Kai jūs iš tikrųjų galvojate apie dvi naujas atminties technologijas, kurios abi pavers pagrindinę smulkmeną, atskira plokštė eis greičiau, net nematėme jos pabaigos.
Srauto technologija, kuri iš tikrųjų yra kita žinia, yra čia, kad liktų. Turės būti nauja architektūra. Aš turiu galvoje, kad Dezas tai paminėjo keliuose savo pristatymo punktuose. Dešimtmečius į architektūrą žiūrėjome kaip į duomenų krūvų ir duomenų rinkinių derinį. Mes buvome linkę apdoroti krūvas ir buvome linkę perduoti duomenis tarp krūvų. Dabar mes iš esmės judame link to, ką vadiname „Lambda“ duomenų architektūra, kuri sujungia duomenų srautų apdorojimą su duomenų krūvomis. Kai iš tikrųjų apdorojate įvykių srautą, palyginti su istoriniais duomenimis, kaip duomenų srautą ar duomenų krūvą, tai turiu omenyje „Lambda“ architektūrą. Tai yra dar kūdikystėje. Tai tik dalis paveikslo. Jei manote, kad kažkas tokio sudėtingo kaip internetas visko, kurį taip pat paminėjo „Dez“, jūs iš tikrųjų suprasite, kad yra įvairių duomenų vietos nustatymo problemų - sprendimų, ką turėtumėte apdoroti sraute.
Dalykas, kurį aš tikrai sakau, yra tas, kad kai mes apdorojome paketais, mes iš tikrųjų apdorojome srautus. Mes tiesiog negalėjome to padaryti vienu metu. Mes tiesiog laukiame, kol atsiras didelis krūvas daiktų, ir tada viską apdorosime iškart. Mes pereiname prie situacijos, kai iš tikrųjų galime apdoroti sraute esančius dalykus. Jei mes galime apdoroti sraute esančius duomenis, tada mūsų kaupiamos duomenų krūvos bus statiniai duomenys, į kuriuos turime remtis, kad apdorotume sraute esančius duomenis.
Tai mus nukreipia į šį konkretų dalyką. Aš jau minėjau tai anksčiau viename pristatyme su biologine analogija. Šiuo metu mes esame žmonės, apie kuriuos norėčiau, kad jūs galvotumėte. Mes turime tris skirtingus tinklus, skirtus numatomam apdorojimui realiuoju laiku. Jie vadinami somatiniais, autonominiais ir enteriniais. Enterinis yra jūsų skrandis. Autonominė nervų sistema prižiūri kovą ir skrydžius. Tai iš tikrųjų rūpinasi greita reakcija į aplinką. Somatinis, kuris prižiūri kūno judesį. Tai yra realaus laiko sistemos. Įdomus dalykas - arba, manau, yra savotiškai įdomus - yra daug, labiau nuspėjamas, nei jūs kada nors įsivaizduotumėte. Atrodo, kad iš tikrųjų žiūrite į ekraną, esantį maždaug 18 colių atstumu nuo veido. Viskas, ką galite aiškiai pamatyti, viskas, ką jūsų kūnas gali aiškiai matyti, iš tikrųjų yra apie 8 × 10 stačiakampį. Viskas, kas nėra jūsų kūnas, yra neryškus, tačiau jūsų protas iš tikrųjų užpildo spragas ir daro jį neryškų. Visai nematote neryškumo. Jūs tai aiškiai matote. Jūsų protas iš tikrųjų naudoja nuspėjamąjį duomenų srauto metodą, kad galėtumėte pamatyti tą aiškumą. Tai yra keistas dalykas, tačiau iš tikrųjų galite pažvelgti į tai, kaip veikia nervų sistema, ir į tai, kaip mums pavyksta išsisukti ir elgtis protingai - bent jau kai kurie iš mūsų - pagrįstai nuoširdžiai ir nesivaržydami.
Čia viskas atliekama pagal neuroninės analizės skalę. Kas nutiks, tai, kad organizacijos turės tą patį dalyką ir ketins kurti tą patį dalyką, tai bus srautų, įskaitant vidinius organizacijos srautus, apdorojimas - tai, kas vyksta viduje tai, dalykai, kurie vyksta už jo ribų, momentiniai atsakymai, kurie iš tikrųjų turi būti pateikti, žinoma, maitina žmogų, kad jis priimtų sprendimus, kad visa tai įvyktų. Štai kur mes einame, kiek matau.
Vienas iš to padarinių yra tas, kad transliacijos programos lygis vyksta gerai. Bus labai daug, nei mes matome dabar. Šiuo metu mes renkamės žemai kabinamus vaisius darydami tai, kas akivaizdu.
Taigi šiaip ar taip, čia padaryta išvada. Srautinės analizės strategija jau yra niša, tačiau ji tampa pagrindine ir netrukus bus priimta įprasta.
Turėdamas tai atgal, perduosiu Rebekai.
Rebecca Jozwiak: Labai ačiū, Robin. Puikus pristatymas kaip įprasta.
Anandai, tu jau šalia. Jūsų grindys yra jūsų.
Anand Venugopal: Fantastiška. Ačiū.
Mano vardas Anandas Venugopalis ir aš esu „StreamAnalytix“ produkto vadovas. Tai produktas, kurį siūlo „Impetus Technologies“ iš Los Gatos, Kalifornijoje.
„Impulsas“ iš tikrųjų turėjo didelę istoriją, kai buvo didelis duomenų sprendimų teikėjas didelėms įmonėms. Taigi iš tikrųjų atlikome daugybę srautinės analizės diegimų, kaip paslaugų įmonė, ir išmokome daug pamokų. Per pastaruosius kelerius metus mes taip pat ėmėmės pokyčių, kad tapome produktų ir sprendimų bendrovėmis, ir srautų analizė yra atsakinga už impulsų pavertimą daugiausia produktų orientuota įmone. Yra keletas kritinių, labai, labai svarbių turtų, kuriuos impulsas išvalė mūsų verslo dėka, o „StreamAnalytix“ yra vienas iš jų.
Mes dirbame 20 metų versle ir turime puikų produktų ir paslaugų derinį, kuris suteikia mums didžiulį pranašumą. Ir „StreamAnalytix“ gimė iš visų pamokų, išmoktų iš mūsų pirmųjų penkių ar šešių transliacijos įdiegimų.
Paliesiu keletą dalykų, tačiau analitikai Dezas ir Robinas atliko fantastišką darbą uždengdami bendrą erdvę, todėl aš praleisiu daug turinio, kuris sutampa. Greičiausiai eisiu greitai. Be tikrų srautinių transliavimo atvejų, matome ir labai paprastą paketų pagreitį, kai įmonėse yra tiesiog labai, labai svarbūs paketų procesai. Kaip matote, visas šis įvykio jutimo, jo analizės ir veikimo ciklas iš tikrųjų gali užtrukti kelias savaites didelėse įmonėse. Jie visi bando tai sumažinti iki minučių, o kartais ir sekundžių bei milisekundžių. Taigi viskas, kas spartesnė nei visi šie paketiniai procesai, gali būti verslo įsigijimas, ir tai labai gerai, kad duomenų vertė dramatiškai mažėja su amžiumi, taigi kuo didesnė vertė yra pradinėje dalyje per kelias sekundes, kad ji tiesiog įvyko. Idealiu atveju, jei galėtumėte nuspėti, kas nutiks, tai yra didžiausia vertė. Vis dėlto tai priklauso nuo tikslumo. Kita aukščiausia vertė yra tada, kai ji yra ten, kai tai vyksta, galite ją išanalizuoti ir atsakyti. Žinoma, vertė dramatiškai sumažėja po to - pagrindinis ribojantis BI, kuriame mes esame.
Tai įdomu. Galite tikėtis dramatiškai mokslinio atsakymo, kodėl srautinė analizė. Daugeliu atvejų tai, ką mes matome, yra todėl, kad dabar tai įmanoma ir todėl, kad visi žino, kad siunta yra sena, siunta yra nuobodi, o siunta nėra šauni. Turime pakankamai švietimo, kad visi dabar turėtų apie tai, kad srautas yra įmanomas ir visi turi „Hadoop“ dabar. Dabar „Hadoop“ paskirstymuose yra įdiegta srautinio perdavimo technologija, nesvarbu, ar tai „Storm“, ar „Spark“, ir, žinoma, pranešimų eilės, kaip „Kafka“ ir kt.
Įmonės, kurias mes matome, pradeda į ją žiūrėti ir pradeda eksperimentuoti su šiais atvejais ir matome dvi plačias kategorijas. Pirmasis turi ką nors bendra su klientų analize ir klientų patirtimi, o antrasis - operatyvinė žvalgyba. Į kai kurias detales pateksiu šiek tiek vėliau. Visas klientų aptarnavimo ir klientų patyrimo kampas, o mes, „Impetus StreamAnalytix“, tai padarę įvairiais būdais, yra iš tikrųjų viskas iš tikrųjų, iš tikrųjų užfiksuojantys daugiakanalius vartotojo įsitraukimus realiu laiku ir suteikiantys jiems labai, labai kontekstą atspindinčią patirtį. kurie nėra įprasti šiandien. Jei naršote žiniatinklyje, Amerikos banko tinklalapyje ir ieškojote tam tikrų produktų, o jūs tiesiog skambinate į skambučių centrą. Ar jie pasakytų: „Ei, Joe, aš žinau, kad tu tyrinėjai kai kuriuos bankininkystės produktus, ar norėtum, kad aš tave užpildyčiau?“ Jūs nesitikite, kad šiandien, bet tai yra tokia patirtis, kuri tikrai įmanoma naudojant srautinę analizę. Daugeliu atvejų tai daro didžiulį skirtumą, ypač jei klientas pradėjo ieškoti būdų, kaip atsisakyti sutarties su jumis, ieškodamas išankstinio sutarties nutraukimo sąlygų ar išankstinio sutarties nutraukimo sąlygų jūsų svetainėje, tada paskambinęs ir jūs galite ne tiesiogiai su jais susidurti, bet tiesiog netiesiogiai pateikti pasiūlymą apie kažkokį pirmąjį paaukštinimą, nes sistema žino, kad šis asmuo nori nutraukti sutartį anksčiau laiko, o jūs tą pasiūlymą pateikiate tuo metu, jūs labai gerai galėtumėte apsaugoti tą klientą, kuris klesti, ir tą turtą. .
Tai būtų vienas iš pavyzdžių, be to, daugybė klientų aptarnavimo paslaugų yra labai geri pavyzdžiai. Šiandien įgyvendiname sumažindami išlaidas skambučių centre ir teikdami dramatišką puikią klientų patirtį. Dezas padarė puikų darbą apibendrindamas kai kuriuos naudojimo atvejus. Galite žiūrėti į šią diagramą keletą minučių. Aš ją klasifikavau kaip vertikaliąsias, horizontaliąsias ir sudėtines sritis, daiktų internetą, mobiliąsias programas ir skambučių centrą. Jie visi yra vertikalūs ir horizontalūs. Tai priklauso nuo to, kaip į tai žiūrėsite. Bottom line, mes matome daugybę horizontalių naudojimo būdų, kurie yra gana paplitę pramonės vertikalėse, ir yra vertikalių konkrečių naudojimo atvejų, įskaitant finansines paslaugas, sveikatos apsaugą, telekomunikacijas, gamybą ir kt. Jei tikrai užduodate sau klausimą ar sakote sau kad „oi, aš nežinau, kokie yra naudojimo atvejai. Nesu tikras, ar srautinių duomenų analizė mano versle yra vertinga mano ar mūsų įmonei “, - gerai pagalvok, pagalvok du kartus. Kalbėkitės su daugiau žmonių, nes yra atvejų, kurie jūsų įmonėje yra aktualūs šiandien. Įskaičiuosiu, kokia tiksliai yra verslo vertė.
Čia esančioje piramidės apačioje jūs turite numatomą techninę priežiūrą, apsaugą, apsaugą nuo kanapių ir pan. Tokie naudojimo atvejai yra pajamų ir turto apsauga. Jei Target būtų apsaugojęs jų saugumo pažeidimus, kurie įvyko per kelias valandas ir savaites, CIO galėjo išsaugoti jo darbą. Tai galėtų sutaupyti dešimtis ar šimtus milijonų dolerių ir tt Realiojo laiko srautinės analizės priemonės tikrai padeda apsaugoti šį turtą ir apsaugoti nuostolius. Tai yra tiesioginė verslo pridėtinė vertė ten pat.
Kita kategorija tampa pelningesnė, todėl sumažėja išlaidos ir gaunama daugiau pajamų iš dabartinės veiklos. Tai yra dabartinės įmonės efektyvumas. Tai yra visos naudojimo atvejų kategorijos, kurias mes vadiname realaus laiko operatyvine žvalgyba, kai jūs gaunate gilią įžvalgą apie tai, kaip elgiasi tinklas, kaip elgiasi jūsų klientų operacijos, kaip elgiasi jūsų verslo procesas ir kaip jūs galite pataisyti visa tai realiu laiku, nes gaunate atsiliepimų, gaunate įspėjimus. Gaunate nuokrypių, skirtumų realiu laiku ir galite greitai veikti bei atskirti procesą, kuris išeina iš ribų.
Taip pat galite sutaupyti daug pinigų brangių kapitalo atnaujinimų metu ir dalykų, kurie, jūsų manymu, yra būtini, kurie gali būti nereikalingi, jei optimizavote tinklo paslaugą. Girdėjome apie atvejį, kai pagrindinis „telco“ atidėjo 40 milijonų dolerių vertės savo tinklo infrastruktūros patobulinimą, nes jie nustatė, kad jie turi pakankamai pajėgumų dabartiniam srautui valdyti, tai yra optimizuojant ir geriau atliekant intelektualų jų srauto ir panašių maršrutų nukreipimą. Visa tai įmanoma tik naudojant tam tikrą realaus laiko analizę ir veiksmų mechanizmą, kuris veikia tas įžvalgas realiu laiku.
Kitas pridėtinės vertės lygis yra padidėjęs pardavimas, kryžminis pardavimas, kai yra galimybių uždirbti daugiau pajamų ir pelno iš dabartinių pasiūlymų. Tai yra klasikinis pavyzdys, kurį daugelis iš mūsų žino apie tai, ką patyrė, kur jūs pagalvojate apie savo gyvenimą, kuriame šiandien jūs ketinate iš tikrųjų nusipirkti produktą, kuris jums nėra siūlomas. Daugeliu atvejų daugeliu atvejų tai atsitinka. Turite galvoje dalykų, kuriuos mėgstate pirkti, kad žinote, kad norite pirkti, ar turite darbų sąrašą ar ką nors, ką jums pasakė žmona arba jei neturite žmonos, bet tikrai norėjote nusipirkti o jūs apsiperkate svetainėje arba bendraujate mažmeninėje parduotuvėje, parduotuvė tiesiog neturi konteksto, neturi intelekto, kad galėtų apskaičiuoti, ko jums gali prireikti. Taigi, jie nesaugo savo verslo. Jei srautinę analizę būtų galima panaudoti siekiant iš tikrųjų tikslių prognozių ir būtų tikrai įmanoma, atsižvelgiant į tai, kas labiausiai tiktų šiam konkrečiam kontekstui, tai klientui šiuo metu šioje vietoje, yra daug tiek parduodamų, tiek kryžminių pardavimų, o tai vėlgi kyla iš srautinė analizė - galimybė nuspręsti, ką šis klientas gali nusipirkti ar į ką reaguoti tuo tiesos momentu, kai yra galimybė. Štai kodėl man labai patinka tas vaizdas, kurį Dezas parodė su meška kaip tik ruošdamasis valgyti tą žuvį. Tai gana daug.
Mes taip pat manome, kad įmonėje yra didelė dramatiškų, transformacinių pokyčių kategorija, siūlanti visiškai naujus produktus ir paslaugas, pagrįstus tiesiog klientų elgesiu, visa kita - stebint kitos įmonės elgesį. Jei tarkime, „telco“ ar kabelinę bendrovę tikrai stebintys klientų naudojimo įpročiai tame rinkos segmente, kokia programa, kokiu metu ir pan., Jie iš tikrųjų sukuria produktus ir paslaugas, kurių beveik elgiamasi. tam tikru būdu. Taigi visa kelių ekranų elgsenos koncepcija dabar, kai mes beveik laikome savaime suprantamu dalyku, kad savo mobiliosiose programose galime matyti TV ar kabelinį turinį. Kai kurie iš šių pavyzdžių yra iš tų naujų produktų ir paslaugų, kurie mums yra siūlomi.
Aš paklausiu: „Kokie yra srautinės analizės architektūros aspektai?“ Tai galiausiai yra tai, ką mes bandome padaryti. Tai „Lambda“ architektūra, kurioje jūs kaupiate istorinius duomenis ir realiojo laiko įžvalgas ir matote juos tuo pačiu metu. Štai ką įgalina Sigma. Šiandien visi turime paketinę architektūrą ir įmonės vaizdą. Mes renkamės į kažkokį BI krūvą ir panaudojimo krūvą bei pridėtą „Lambda“ architektūrą. Kalbant apie greičio lygmenį ar poreikį ir „Lambda“, reikia sujungti šias dvi įžvalgas ir pamatyti tai kartu, turtingu būdu, apjungiančiu abi įžvalgas.
Siūloma dar viena paradigma, vadinama „Kappa“ architektūra, kur spėliojama, kad greičio sluoksnis yra vienintelis įvesties mechanizmas, kuris išliks ilgesnį laiką. Viskas vyks per šį greičio sluoksnį. Net nebus sukurtas autonominis ETL mechanizmas. Visas ETL įvyks. Valymas, duomenų valymas, kokybiškas ETL - visa tai įvyks ant laido, nes atminkite, kad visi duomenys gimė realiu laiku. Tam tikru metu tai buvo realus laikas. Mes taip įpratome, kad tai padarėme ant ežerų, upių ir vandenynų, atlikdami statinę analizę, kad pamiršome, kad duomenys gimė realiu laiku. Visi duomenys iš tikrųjų gimė kaip realiojo laiko įvykis, kuris nutiko tam tikru metu, ir dauguma šių dienų duomenų apie ežerą buvo tiesiog įtraukti į duomenų bazę vėlesnei analizei. Dabar mes turime „Lambda“ ir „Kappa“ architektūros pranašumą. tai matydamas, analizuodamas, iš anksto apdorodamas ir reaguodamas į jį atvykus. Būtent tai įgalina šios technologijos. Pažvelgus į bendrą vaizdą, atrodo, kad kažkas panašaus yra ten, kur yra „Hadoop“, MPP ir duomenų saugyklos, kurias jau turite.
Mes tai pateikėme, nes svarbu ne tik kalbėti apie naujas technologijas saloje. Jie turi integruotis. Jie turi būti prasmingi dabartiniame įmonių kontekste, ir mes, būdami įmonėms tarnaujančių sprendimų tiekėjai, esame labai jautrūs tam. Mes padedame įmonėms integruoti visa tai. Kairėje pusėje yra duomenų šaltiniai, į kuriuos tiek Hadoop, tiek duomenų saugyklos sluoksniai, tiek viršuje yra realaus laiko sluoksniai, ir kiekvienas iš šių subjektų yra atsargų kompiuteriai, kaip matote, o duomenų sunaudojimo sluoksnis yra dešinėje. pusėje. Nuolat stengiamasi perkelti didžiąją dalį atitikties, valdymo, saugumo, gyvavimo ciklo valdymo ir kt., Kurie šiandien yra prieinami, ir visa tai buvo pasitelkta į šią naują technologiją.
Vienas iš dalykų, kuriuos bando daryti srautinė analizė, jei pažvelgtumėte į kraštovaizdį šiandien, srautinių transliacijų technologijų aplinkoje vyksta daugybė dalykų, o įmonės klientų požiūriu, yra tiek daug, kad suprastumėte. Yra tiek daug, ko reikia suspėti. Kairėje pusėje yra duomenų rinkimo mechanizmai - „NiFi“, „Logstash“, „Flume“, „Sqoop“. Akivaizdu, kad pateikiau atsakomybės atsisakymą, sakydamas, kad tai nėra išsami. Įeina į pranešimų eiles ir patenka į atvirojo kodo transliavimo variklius - „Storm“, „Spark Streaming“, „Samza“, „Flink“, „Apex“, „Heron“. Heronas greičiausiai dar nėra atvirojo kodo. Aš nesu tikras, ar taip yra, iš „Twitter“. Tie srautiniai varikliai tada veda į analitinės programos komponentus, tokius kaip sudėtingas įvykių apdorojimas, mašininis mokymasis, numatomoji analizė, perspėjimo modulis, ETL srautas, sodrinimo statistinių operacijų filtrai arba palaiko juos. Tai viskas, ką mes dabar vadiname operatoriais. Tų operatorių rinkinys, sujungtas kartu, potencialiai taip pat gali sudaryti tam tikrą paprotį, kuris prireikus dažniausiai tampa srautine programa, veikiančia srautiniu varikliu.
Kaip komponentų grandinės dalį taip pat turite saugoti ir indeksuoti duomenis savo mėgstamiausioje duomenų bazėje, savo mėgstamiausiame indekse. Taip pat gali tekti paskirstyti talpyklą ir vėl tai, kuris nukreipia į duomenų vizualizacijos sluoksnį, esantį dešinėje viršutinėje dalyje, į komercinius produktus arba atvirojo kodo produktus, tačiau galiausiai jums reikia kažkokio produkto, kad vizualizuotumėte tuos duomenis realiuoju laiku. Be to, kartais turite suprasti kitas programas. Mes visi matėme, kad vertybės, gautos vien tik atlikus įžvalgą, yra tas veiksmas, kuris iš analitinio krūvio pavirs į kitą programų paketą, kuris galbūt pasikeis, kad kažkas yra IVR pusėje, arba suaktyvina skambučių centrą. išeinantis skambutis ar kažkas panašaus. Turime integruoti tas sistemas ir tam tikrą jūsų srautinių perdavimo grupių mechanizmą, kad suaktyvintume kitas duomenų siuntimo paskesnėms programoms programas.
Tai yra bendras krūvis einant iš kairės į dešinę. Tada jūs turite aptarnavimo sluoksnius, vidurinį stebėjimą, bendrąjį saugos lygį ir tt. Ateina į produktus, kurie yra matomi įmonės erdvėje ir kuriuos klientai mato, pavyzdžiui, „Hadoop“ paskirstymai, kurie visi yra srautiniai, kaip aš sakiau, ir yra komercinis ar vienas -vendor sprendimai, kurie akivaizdžiai yra mūsų konkurentuose. Kraštovaizdyje taip pat yra daugybė kitų dalykų, kurių čia galbūt neminėjome.
Ką jūs matote ten, ką mato įmonės vartotojas. Kaip matote, sudėtingas ir greitai besivystantis srautų apdorojimo technologijų peizažas. Turime supaprastinti pasirinkimą ir jų vartotojo patirtį. Mes manome, kad įmonėms iš tikrųjų reikia viso to funkcinio abstraktavimo „vieno langelio“ principu, lengvai naudojama sąsaja, apjungianti visas tas technologijas, kurios leidžia naudotis išties nesudėtinga ir neatskleidžia visų judančių dalių. ir degradacijos, eksploatacinių savybių ir gyvavimo ciklo išlaikymo įmonėms problemos.
Funkcijų abstrakcija yra viena. Antroji dalis yra srautinio variklio abstrakcija. Srautinio transliavimo varikliai ir atvirojo kodo domenai atsiranda kartą per tris, keturis ar šešis mėnesius. Ilgą laiką tai buvo audra. „Samza“ pasirodė ir dabar tai „Spark Streaming“. Flinkas pakelia galvą, pradeda domėtis. Net „Spark Streaming“ žemėlapis yra būdas potencialiai naudoti kitokį variklį grynam įvykių apdorojimui, nes jie taip pat supranta, kad „Spark“ buvo sukurtas paketui, ir jie daro kelią savo architektūros vizijoje ir savo plane, kad galėtų turėti kitokį. variklis, skirtas srauto apdorojimui, papildant dabartinį „Spark Streaming“ mikropartijų modelį.
Tai realybė, su kuria jūs turite sutikti, kad įvyks daug evoliucijos. Jūs tikrai turite apsisaugoti nuo tos technologijos kaitos. Nes pagal nutylėjimą turėsite pasirinkti vieną ir tada su juo gyventi, o tai nėra optimalu. Jei žiūrite į tai kitu būdu, kovojate tarp „gerai, aš turiu nusipirkti patentuotą platformą, kurioje nėra užrakto, nėra atvirojo kodo sverto, ji gali būti labai brangi ir ribota lankstumas, palyginti su visais šiais atvirojo kodo rinkiniais, kur jūs turite tai padaryti patys. “Vėlgi, kaip jau sakiau, tai yra daug išlaidų ir delsimas patekti į rinką. Ką mes sakome, „StreamAnalytix“ yra vienas puikios platformos, sujungiančios įmonių klasę, patikimą, pardavėją ir palaikomą profesionalų aptarnavimą, pavyzdys - visa tai, ko jums tikrai reikia kaip įmonei, ir atvirojo kodo ekosistemos lankstumo galia. kur juos sujungia viena platforma - „Ingest“, CEP, analizė, vizualizacija ir visa tai.
Tai taip pat daro labai, labai unikalų dalyką, kuris sujungia daugybę skirtingų technologijų variklių, naudodamas vieną vartotojo patirtį. Mes tikrai manome, kad ateitis yra susijusi su galimybe naudoti kelis srautinio perdavimo variklius, nes skirtingiems naudojimo atvejams iš tikrųjų reikalinga skirtinga srautinio perdavimo architektūra. Kaip sakė Robinas, yra visas latencijų spektras. Jei tikrai kalbate apie dešimčių ar net šimtų milisekundžių milisekundžių latentinį lygį, šiuo metu jums tikrai reikia „Storm“, kol bus dar vienas toks pat subrendęs produktas, kurio atlaidumas yra mažesnis ar švelnesnis, o latencijos gal per kelias sekundes, tris, keturias, penkias sekundes, tada galite naudoti „Spark Streaming“. Potencialiai yra ir kitų variklių, kurie galėtų padaryti abu. Esmė didelėje įmonėje bus naudojama visų rūšių atvejais. Jūs tikrai norite, kad prieiga ir bendrumas turėtų kelis variklius, turinčius vieną vartotojo patirtį, ir tai mes bandome sukurti „StreamAnalytix“.
Tiesiog greitas architektūros vaizdas. Šiek tiek pakeisime tai, bet iš esmės kairėje pusėje yra keletas duomenų šaltinių - „Kafka“, „RabbitMQ“, „Kinesis“, „ActiveMQ“, visi šie duomenų šaltiniai ir pranešimų eilės patenka į srauto apdorojimo platformą. turėsite surinkti programą, kur galėsite nuvilkti iš operatorių, tokių kaip ETL, visus dalykus, apie kuriuos mes kalbėjome. Po juo yra keli varikliai. Šiuo metu „Storm“ ir „Spark Streaming“ yra vienintelė pramonės šaka ir pirmoji įmonės klasės srautinio perdavimo platforma, kuri palaiko įvairius variklius. Tai labai unikalus, lankstus, kurį mes siūlome, be visų kitų, realiojo laiko prietaisų skydelių lankstumo. Įterptas CET variklis. Mes besiūlę integraciją į „Hadoop“ ir „NoSQL“ indeksus, „Solr“ ir „Apache“ indeksus. Jūs galite nusileisti į savo mėgstamą duomenų bazę, nesvarbu, kokia ji yra, ir tikrai greitai kurti programas, greitai patekti į rinką ir išlikti įrodytas ateityje. Tai yra visa mūsų mantra „StreamAnalytix“.
Atsižvelgdamas į tai, manau, baigsiu savo pastabas. Maloniai kreipkitės į mus, jei norite gauti daugiau klausimų. Norėčiau palikti žodį klausimams ir atsakymams bei panelinėms diskusijoms.
Rebeka, per tave.
Rebecca Jozwiak: Puiku, gerai. Labai ačiū. Dezai ir Robinui, ar turite klausimų, prieš pateikdami klausimus klausėjams ir atsakymams?
Robinas Blooras: Aš turiu klausimą. Aš vėl įdėsiu ausines, kad galėtum mane išgirsti. Vienas iš įdomių dalykų, jei galėtumėte man tai maloniai pasakyti, daug kas, ką mačiau atvirojo kodo erdvėje, atrodo tai, ką aš sakyčiau nesubrendęs. Tam tikra prasme taip, jūs galite daryti įvairius dalykus. Tačiau panašu, kad mes žiūrime į programinę įrangą pirmame ar antrame jos leidime iš tikrųjų, ir aš tiesiog pagalvojau apie jūsų, kaip organizacijos, patirtį, kiek, jūsų nuomone, „Hadoop“ aplinkos nesubrendimas yra problematiškas ar tai kažkas, kas t nesudaryti per daug problemų?
Anand Venugopal: Tai realybė, Robin. Tu esi visiškai teisus. Nebrandumas nebūtinai susijęs tik su funkciniu stabilumu ir daiktais, bet galbūt ir kai kuriais atvejais. Bet nesubrendimas labiau susijęs su pasirengimu naudoti. Atvirojo kodo produktai, pasirodžius ir net tiek, kiek juos siūlo „Hadoop“ platinimas, jie visi yra daugybė skirtingų galimų produktų, komponentų, tiesiog sudurtų kartu. Jie neveikia sklandžiai ir nėra skirti sklandžiam sklandžiam vartotojo patyrimui, kurį gausime kaip „Bank of America“ ar „Verizon“ ar „AT&T“, kad per kelias savaites įdiegtume srautinės analizės programą. Jie nėra tam tikrai sukurti. Štai kodėl mes atvykstame. Mes sujungiame ir padarome tai tikrai lengvai suprantamą, dislokuojamą ir t. T.
Funkcinis brandumas, manau, didžiąja dalimi, yra. Daugelis didelių įmonių, pavyzdžiui, naudoja „Storm“ šiandien. Daugybė didelių įmonių šiandien naudojasi „Spark Streaming“. Kiekvienas iš šių variklių turi savo galimybių riboti, todėl svarbu žinoti, ką galite ir ko negalite padaryti su kiekvienu varikliu. Nėra prasmės daužyti galvos į sieną ir sakyti: „Pažvelk pasirinko „Spark Streaming“, ir man tai neveikia šioje pramonėje. “Tai neveiks. Bus atvejų, kai „Spark Streaming“ bus geriausias pasirinkimas, ir bus atvejų, kai „Spark Streaming“ gali neveikti visai jums. Štai kodėl jums tikrai reikia kelių variantų.
Robinas Blooras: Norėdami tai padaryti, laive turite turėti ekspertų komandas. Aš turiu galvoje, kad net nežinau, nuo ko pradėti. Protingas kvalifikuotų asmenų bendradarbiavimas. Man įdomu, kaip įsitraukiate į jūsų dalyvavimą ir kaip tai vyksta. Ar todėl, kad tam tikra įmonė vykdo konkrečią programą, ar jūs matote tai, ką aš pavadinčiau strateginiu priėmimu, kai jie nori, kad visa platforma padarytų daugybę dalykų.
Anand Venugopal: Matome abiejų pavyzdžius, Robinas. Kai kurie iš dešimties žinomų prekės ženklų, kuriuos visi žino, eina apie tai labai strategiškai. Jie žino, kad turės įvairių naudojimo atvejų, todėl vertina tas poreikius tenkinančias platformas, tai yra daugybė skirtingų panaudojimo atvejų, susijusių su daugiabučių nuomininkų naudojimu įmonėje. Yra ir vienkartinių atvejų istorijų, kurios taip pat prasideda. Mes dirbame tam tikrame verslo veiklos stebėjimo tipo naudojimo atveju hipotekos įmonėje, kurio jūs neįsivaizduotumėte kaip pirmojo panaudojimo atvejį, tačiau tai yra verslo sprendimas ar naudojimo atvejis, kurį jie sugalvojo, tada sujungėme taškus į srautinį srautą . Mes pasakėme: „Žinai ką? Tai puikus srautas analizės atvejis ir štai kaip mes galime tai įgyvendinti. “Štai nuo ko ji prasidėjo. Tada tame procese jie įgyja žinių ir sako: „Oho, va, jei mes galime tai padaryti ir jei tai yra bendro pobūdžio platforma, tada mes galime atskirti programą, suskirstyti ją į platformą ir sukurti daugybę skirtingų programų platforma."
Robinas Blooras: Dez, ar turite klausimų?
Anand Venugopal: Dezas greičiausiai nutilo.
Dezas Blanchfildas: Atsiprašome, nutildome. Aš tiesiog gerai kalbėjau. Tiesiog stebėdami originalų Robino pastebėjimą, esate visiškai teisus. Manau, kad iššūkis dabar yra tas, kad įmonės turi ekosistemą ir kultūrinę bei elgesio aplinką, kai nemokama ir atvirojo kodo programinė įranga yra kažkas jiems žinomo ir jos gali naudoti tokius įrankius kaip „Firefox“ kaip naršyklę, ir ji turėjo tinkamą tarnavimo laikas, kol jis tampa stabilus ir saugus. Tačiau kai kurios iš tų labai didelių platformų, kuriomis naudojasi, yra įmonės lygio nuosavybės platformos. Taigi priėmimas to, ką laikau atvirojo kodo platformomis, ne visada yra tai, kas jiems yra lengva kultūriniu ar emociniu požiūriu. Aš tai mačiau priimant mažas programas, kurios buvo vietiniai projektai, kad būtų galima žaisti tik su dideliais duomenimis ir analitika kaip pagrindine koncepcija. Aš manau, kad vienas iš pagrindinių iššūkių, aš įsitikinęs, kad jūs juos jau matėte visose organizacijose, yra siekis gauti rezultatą, tačiau tuo pat metu įkišti koją į seną skardinę, kur jie galėtų tik nusipirkti iš „Įterpk didelį prekės ženklą“ „Oracle“, IBM ir Microsoft. Šie nauji ir žinomi prekės ženklai išgyvena su „Hadoop“ platformomis ir dar daugiau. Atsiranda daugiau įdomių prekės ženklų, kuriuose įdiegtos pažangiausios technologijos, tokios kaip srautas.
Kokių rūšių pokalbių esate sulaukę ar supratę? Aš žinau, kad šį rytą lankomės gausiai, ir aš tikiu, kad visiems galvoju apie tai: „Kaip aš galiu perpjauti visą šį iššūkį pradedant nuo lentos iki vadybos lygio, oi, ar tai per daug atviras šaltinis, ir per daug blogai? "Kaip vyksta pokalbiai su klientais ir kaip jūs išsklaidote tas baimes, kurios gali apsvarstyti galimybę pritaikyti„ StreamAnalytix "?
Anand Venugopal: Mums iš tikrųjų yra gana lengva parduoti savo pasiūlymą dėl vertės, nes klientai natūraliai pereina prie atvirojo kodo kaip pageidaujamo varianto. Jie ne tik lengvai pasiduoda ir sako: „Gerai, aš dabar eisiu į atvirąjį kodą.“ Jie iš tikrųjų labai atsidavė pagrindinio produkto vertinimui, tarkime, kad tai yra IBM ar tipinis produktas, nes jie turi šie pardavėjo santykiai. Jie nemanytų, kad mes ar atvirojo kodo varikliai prieš tą produktą. Jie turės išgyventi nuo šešių iki aštuonių iki dvylikos savaičių. Jie įtikins save, kad noriu tam tikro lygio rezultatų ir stabilumo, ir tada jie susimąsto sakydami: „Oho, tu žinai, ką aš iš tikrųjų galiu tai padaryti“.
Pavyzdžiui, šiandien turime pagrindinį pirmojo lygio „telco“ telefoną, kurio srautinė analizė vykdoma gamyboje ant daugybės krūvos, ir jie tai įvertina prieš kitą labai, labai didelį žinomą pardavėją ir įsitikino tik tada, kai viską įrodėme. spektaklį, stabilumą ir visus tuos dalykus. Jie nemano, kad tai savaime suprantama. Jie išsiaiškino, kad atvirasis kodas yra kompetentingas atliekant savo vertinimus, ir supranta, kad blogiausiu atveju: „Galbūt yra tie du naudojimo atvejai, kurių aš galbūt negaliu padaryti, bet dauguma mano verslo įmonių šiuo metu yra pagreitinto naudojimo atvejai, kurie akivaizdžiai įmanomi naudojant atvirąjį kodą. kamino. “Ir mes leidžiame ja naudotis. Taigi, tai yra didžioji vieta ten. Jie norėjo atviro kodo. Jie iš tikrųjų nori išeiti iš pardavėjų uždarymo situacijos, prie kurios buvo įpratę daugelį, daugelį metų. Tada mes ateiname ir sakome: „Žinai ką, mes padarysime jums atvirą kodą daug lengvesnį ir draugiškesnį“.
Dezas Blanchfieldas: Manau, kad kitas iššūkis, kurį randa įmonės, yra tas atvejis, kai jie įveda tradicinius istorinius operatorius, jie dažnai yra karta už kažkokių įspūdingų dalykų, apie kuriuos mes čia kalbame, pranašumo. Aš neturiu omenyje, kad neigiamas menkas. Tiesiog realybė yra ta, kad jie turi kartą ir kelionę, kad išleistų tai, kas, jų manymu, yra stabilios platformos, senųjų mokyklų kūrimo ir UATN integracijos ciklus ir bandymus bei dokumentus ir rinkodarą bei pardavimus. Aš manau, kad pagal tai, ką darai, manau, yra tai, kad žvelgdamas į kai kuriuos paskutinius jūsų leidimus praėjusią naktį atlikdamas tam tikrą tiriamąjį darbą, jūs turite šį derinį dabar, kai gavote kompetencija išankstinio konsultavimo požiūriu ir įgyvendinimas, tačiau jūs taip pat gavote krūvą, į kurią galite įsitraukti. Manau, kad čia esamieji operatoriai kurį laiką kovoja. Mes matėme daugelį jų, kaip aš, turguje. Jie dažnai būna vadinamuose susigaudymo taškuose, tuo tarpu iš to, ką jūs mums sakote, kai jūs ten einate tuos pokalbius ir esate ten, kur įgyvendinate.
Ar galite pateikti keletą pavyzdžių kai kurių sienų vertikalių, kurias matėte priėmę? Pavyzdžiui, yra tikrai nišinė aplinka, pavyzdžiui, raketų mokslas, palydovų išleidimas į kosmosą ir duomenų rinkimas iš Marso. Tik nedaugelis žmonių tai daro planetoje. Tačiau yra didelių vertikalių sričių, pavyzdžiui, sveikatos, pavyzdžiui, aeronautikos, laivybos ir logistikos, gamybos ir inžinerijos srityse. Tai yra keletas pavyzdžių didesnių ir platesnių pramonės sektorių, kuriuose jūs buvote iki šiol, kad matėte tikrai gerai. įvaikinimas?
Anand Venugopal: „ Telco“ yra puikus pavyzdys.
Aš tiesiog ketinu čia greitai sutvarkyti skaidres. Ar čia galite pamatyti skaidrę, 4 atvejo analizė?
Tai yra didelis atvejis, kai „telco“ praranda priedėlio duomenis ir daro su juo kelis veiksmus. Jie žiūri, ką klientai iš tikrųjų veikia realiu laiku. Televizorių priedėliuose jie realiu laiku žvelgia į klaidas. Jie bando informuoti skambučių centrą, jei šis klientas skambina dabar, kodo nuorodos informacija iš šio kliento priedėlio, priežiūros bilieto informacija greitai koreliuoja, ar šio kliento priedėlis turi problemų, ar net ne anksčiau. klientas ištaria žodį. Kiekviena kabelių kompanija ir kiekviena didžiausia „telco“ bando tai padaryti. Jie perima priedėlio duomenis, analizuoja realiu laiku, analizuoja kampanijas, kad galėtų įdėti savo skelbimus. Yra didžiulis panaudojimo atvejis.
Kaip sakiau, čia yra ši hipotekos įmonė, kuri vėlgi yra bendras modelis, kai didelės sistemos yra susijusios su duomenų tvarkymu iš. Duomenys, kurie patenka iš sistemos A į sistemą B į sistemą C, ir tai yra reguliuojamas verslas, kad viskas turi būti suderinta. Dažnai sistemos neveikia viena su kita, viena sistema sako: „Aš tvarkau šimtą paskolų, kurių bendra vertė yra 10 milijonų JAV dolerių“. Sistema sako: „Ne, aš perdirbu 110 kitų paskolų. skirtingas skaičius. “Jie turi tai išspręsti tikrai greitai, nes iš tikrųjų apdoroja tuos pačius duomenis ir aiškina skirtingai.
Nesvarbu, ar tai kreditinė kortelė, paskolų tvarkymas, verslo procesas, ar tai būtų hipotekos verslo procesas, ar kažkas kita, mes padedame jiems atlikti koreliaciją ir suderinti realiuoju laiku, kad šie verslo procesai išliktų sinchroniški. Tai dar vienas įdomus naudojimo atvejis. Yra pagrindinis JAV vyriausybės rangovas, ieškantis DNS srauto, kad būtų galima nustatyti anomalijas. Yra sukurtas neprisijungus treniruočių modelis ir jie remiasi tuo modeliu remdamiesi realiojo laiko srautais. Kai kurie iš tų įdomių naudojimo atvejų. Pagrindinė oro linijų bendrovė žiūri į saugumo eiles ir bando suteikti jums tokią informaciją: „Ei, tai yra jūsų skrydžio lėktuvo vartai. TSA eilė šiandien yra apie 45 minutes, palyginti su dviem valandomis, palyginti su kažkuo kitu. “Jūs gausite tą atnaujinimą iš anksto. Jie vis dar dirba. Įdomus IoT naudojimo atvejis, tačiau puikus analitinės informacijos srautai, nukreipti į klientų patirtį.
Rebecca Jozwiak: Tai yra Rebecca. Kol svarstote naudojimo atvejus, kyla didelis auditorijos nario klausimas, kuris klausia: „Ar tai atvejo analizė, ar šios iniciatyvos kyla iš informacinių sistemų analitinės namo pusės, ar jos labiau varomos? verslas, kuriam kyla konkrečių klausimų ar poreikių? “
Anand Venugopal: Aš manau, kad matome maždaug 60 procentų ar daugiau, nuo 50 iki 55 procentų, iš esmės labai iniciatyvias, entuziastingas technologijų iniciatyvas, kurios žino, kurios yra gana nuovokios ir supranta tam tikrus verslo reikalavimus, ir tikriausiai jie turi vieną rėmėją, kad jie Nustatyta, kad tai yra technologijų komandos, besiruošiančios susidurti su verslo naudojimo atvejais, kurie išgyvena, ir tada, kai jie sukuria galimybes, jie žino, kad tai gali padaryti, tada eina į verslą ir agresyviai tai parduoda. Mes matome, kad 30–40 procentų atvejų verslas turi tam tikrą naudojimo atvejį, kuris reikalauja srautinės analizės galimybių.
Rebecca Jozwiak: Tai turi prasmę. Gavau dar vieną šiek tiek daugiau techninio klausimo iš auditorijos nario. Jam įdomu, ar šios sistemos palaiko ir struktūrizuotus, ir nestruktūrizuotus duomenų srautus, pavyzdžiui, „Twitter“ srautų nuosėdas ar „Facebook“ įrašus realiuoju laiku, ar reikia iš pradžių filtruoti?
Anand Venugopal: Produktai ir technologijos, apie kuriuos mes kalbame, labai neišvengiamai palaiko ir struktūrizuotus, ir nestruktūrizuotus duomenis. Juos galima sukonfigūruoti. Visi duomenys turi tam tikrą struktūrą, nesvarbu, ar tai būtų tekstas, ar XML, ar bet kas. Yra tam tikra struktūra, kalbant apie laiko žymos tiekimą. Galbūt yra dar vienas blobas, kurį reikia išanalizuoti, kad galėtumėte įšvirkšti analizės sraute, kad išanalizuotumėte duomenų struktūras. Jei ji yra struktūrizuota, mes tiesiog sakome sistemai: „Gerai, jei yra kableliais atskirtos reikšmės ir pirmoji yra eilutė, antra yra data“. Taigi galime įvesti tą analizės žvalgybos informaciją į viršutinio ekrano sluoksnius ir lengvai apdorokite tiek struktūrizuotus, tiek nestruktūruotus duomenis.
Rebecca Jozwiak: Aš sulaukiau dar vieno klausytojų klausimo. Aš žinau, kad šiek tiek praėjome valandos viršų. Šis dalyvis nori žinoti, kad panašu, kad srautinio transliavimo programos realiuoju laiku gali sukelti poreikį ir galimybę integruotis atgal į operacijų sistemas, pavyzdžiui, jų pateiktas sukčiavimo prevencijos sistemas. Ar tokiu atveju reikia suderinti operacijų sistemas, kad jos atitiktų?
Anandas Venugopalis: Tai susijungimas, tiesa? Tai sandorių sistemų sujungimas. Jie kartais tampa duomenų šaltiniu, kai analizuojame operacijas realiu laiku, ir daugeliu atvejų, tarkime, kad yra programų srautas, ir čia bandau parodyti statinę duomenų paieškos svetainę, o mūsų atveju - kai srautinį srautą. ir ieškote statinės duomenų bazės, tokios kaip „HBase“ ar RDBMS, kad praturtintumėte srautinius duomenis ir statinius duomenis kartu, kad galėtumėte priimti sprendimą ar analitinę įžvalgą.
Yra dar viena didžiulė pramonės tendencija, kurią mes taip pat matome - OLAP ir OLTP konvergencija. Štai kodėl turite duomenų bazes, tokias kaip „Kudu“, ir atmintyje esančias duomenų bazes, palaikančias tiek operacijas, tiek analitinį apdorojimą tuo pačiu metu. Srauto apdorojimo sluoksnis būtų visiškai atmintyje ir mes žiūrėsime arba sąveikausime su kai kuriomis iš šių operacijų duomenų bazių.
Rebecca Jozwiak: Manau, kad mišrus darbo krūvis buvo viena iš paskutinių kliūčių šokti. Dez, Robin, ar jūs du turite dar klausimų?
Dezas Blanchfildas: Aš eisiu į paskutinį klausimą ir apsvarstysiu klausimą, jei neprieštaraujate. Pirmasis iššūkis, kurį organizacijos, su kuriomis aš susiduriu maždaug per pastarąjį dešimtmetį, veda į šį jaudinantį srauto analizės iššūkį, pirmas dalykas, kurį jos linkusios vėl pateikti ant stalo, kai mes pradėjome pokalbį apie visą šį iššūkį, yra kur mes gauname įgūdžių rinkinį? Kaip perkvalifikuoti įgūdžių rinkinį ir kaip tą sugebėjimą įgyti iš vidaus? Turėdami impulsą ateiti ir ranka sulaikykite mus per kelionę, o tada įgyvendinkite kaip puikų pirmąjį žingsnį, ir tai padaryti yra daug prasmės.
O vidutinės ir didelėms organizacijoms, kokius dalykus šiuo metu matote, kad tam pasiruošiate, kaip sukurti tą gebėjimą viduje, kad gautumėte ką nors iš tik pagrindinio žodyno ir kokią žinią jie gali padaryti su organizacija, perėjusi prie tokio tipo sistemos ir perkeldama esamus techninius darbuotojus iš IT iš generalinio direktoriaus, kad jie galėtų tai vykdyti patys, kai tik sukursite ir įdiegsite? Tik labai trumpai, kokie iššūkiai ir kaip juos išsprendžia, klientai, su kuriais susiduriate, kokių iššūkių jie rado ir kaip jiems sekasi išspręsti tą perkvalifikavimą ir atgauti patirtį bei žinias tam pasiruošti ir būti. geba apeiti operatyviai?
Anand Venugopal: Dažnai nedidelis žmonių, bandančių išeiti ir nusipirkti srautinės analizės platformą, skaičius yra pakankamai protingas tuo, kad jie žino „Hadoop“, jie jau turi „Hadoop MapReduce“ įgūdžius ir todėl, kad glaudžiai bendradarbiauja su „Hadoop“. platintojų, jie yra arba pažįstami. Viskas, pavyzdžiui, „Kafka“. Jie kažką su tuo daro ir „Storm“ arba „Spark“ transliacijos yra jų atvirojo kodo domenas. Be abejo, žmonės su tuo susipažinę ar sugeba kurti aplinkinius įgūdžius. Bet tai prasideda nuo nedidelio pakankamai kvalifikuotų ir protingų žmonių rinkinio. Jie lanko konferencijas. Jie mokosi ir paklausia intelektualių klausimų pardavėjams, o kai kuriais atvejais mokosi kartu su pardavėjais. Kai pardavėjai ateina ir pristato per pirmąjį susitikimą, jie gali nežinoti dalykų, bet jie kartu perskaito ir tada pradeda su juo žaisti.
Ši maža žmonių grupė yra branduolys, tada ji pradeda augti ir visi dabar supranta, kad pirmasis verslo naudojimo atvejis tampa operatyviniu. Prasideda banga ir mes matėme praėjusią savaitę vykusiame „Spark“ viršūnių susitikime, kuriame veikė tokia didelė įmonė kaip „Capital One“ ir visa jėga. Jie pasirinko „Spark“. Jie apie tai kalbėjo. They are educating a lot of their people in Spark because they are contributing to it also in many cases as a user. We see the same with many, many large enterprises. It starts with a few small set of very smart people and then it begins a wave of overall education and people know that once a senior VP or once a senior director is in align and they want to bet on this thing and the word gets around and they all start picking up these skills.
Dez Blanchfield: I'm sure you have a fantastic time building those champions too.
Anand Venugopal: Yes. We do a lot of education as we work with the initial champions and we hold training courses and many, many for our large customers we have gone back and had waves and waves of training to bring a lot of the users into the mainstream usage phase especially in Hadoop MapReduce site. We found that in a large credit card company who is a customer of ours, we have delivered at least maybe five to eight different training programs. We also have free community editions of all these products including ours, sandboxes that people can download, get used to and educate themselves that way also.
Dez Blanchfield: That's all I have this morning for you. Thank you very much. I find it incredibly interesting to see the types of models and use cases you've got for us today. Ačiū.
Anand Venugopal: Great. Thank you very much folks.
Rebecca Jozwiak: Thanks everyone for joining us in these Hot Technologies webcast. It has been fascinating to hear from Dez Blanchfield, Dr. Robin Bloor and from Impetus Technologies, Anand Venugopal. Thank you presenters. Thank you speakers and thank you audience. We have another Hot Technologies next month, so look for that. You can always find our content archived at Insideanalysis.com. We also put lots of content up on SlideShare and some interesting bits on YouTube as well.
That's all folks. Thanks again and have a good day. Bye, bye.
