Turinys:
Apibrėžimas - ką reiškia „MapReduce“?
„MapReduce“ yra programavimo modelis, kurį pristatė „Google“, skirtas apdoroti ir generuoti didelius duomenų rinkinius kompiuterių grupėse.
„Google“ pirmiausia suformulavo sistemą, skirtą aptarnauti „Google“ tinklalapių indeksavimą, o naujoji sistema pakeitė ankstesnius indeksavimo algoritmus. Pradedantiesiems kūrėjams „MapReduce“ sistema atrodo naudinga, nes bibliotekų kasdienybę galima naudoti kuriant lygiagrečias programas, nesijaudinant dėl tarpsluoksnių komunikacijos, užduočių stebėjimo ar gedimų tvarkymo procesų.
„MapReduce“ veikia didelėje prekių mašinų grupėje ir yra labai keičiama. Jis turi keletą diegimo formų, kurias teikia kelios programavimo kalbos, pavyzdžiui, „Java“, C # ir C ++.
„Techopedia“ paaiškina „MapReduce“
„MapReduce“ sistemą sudaro dvi dalys:
- Funkcija, vadinama „Žemėlapiu“, leidžiančia paskirstyti skirtingus klasterio taškus paskirstyti savo darbus
- Funkcija, vadinama „Sumažinti“, skirta sumažinti galutinę klasterių rezultatų formą į vieną išvestį
Pagrindinis „MapReduce“ sistemos pranašumas yra jos tolerancija gedimams, kai tikimasi periodinių ataskaitų iš kiekvieno klasterio mazgo, kai darbas bus baigtas.
Užduotis perkeliama iš vieno mazgo į kitą. Jei pagrindinis mazgas pastebi, kad mazgas nutilo ilgiau nei tikėtasi, pagrindinis mazgas atlieka perskirstymo į užšaldytą / atidėtą užduotį procesą.
„MapReduce“ sistemą įkvėpė funkcijų programavimui naudojamos „Žemėlapio“ ir „Sumažinti“ funkcijos. Kompiuterinis apdorojimas vykdomas duomenims, saugomiems failų sistemoje arba duomenų bazėje, kuri paima įvesties raktų verčių rinkinį ir sukuria išvesties raktų verčių rinkinį.
Kiekvieną dieną „Google“ klasteriuose vykdoma daugybė „MapReduce“ programų ir „MapReduce“ darbų. Programos automatiškai lygiagrečios ir vykdomos didelėje prekių mašinų grupėje. Vykdymo sistema nagrinėja įvesties duomenų skaidymą, programos vykdymo planavimą visose mašinose, mašinų gedimų tvarkymą ir reikalingo tarp mašinų ryšio valdymą. Programuotojai, neturintys jokios patirties su lygiagrečiomis ir paskirstytomis sistemomis, gali lengvai naudoti didelės paskirstytos sistemos išteklius.
„MapReduce“ naudojamas paskirstytame grep, paskirstytame rūšiavime, interneto nuorodų ir grafikų keitime, žiniatinklio prieigos žurnalų statistikoje, dokumentų grupavime, mašininiame mokyme ir statistiniame mašininiame vertime.
