Turinys:
Apibrėžimas - ką reiškia darbo grandinė?
Darbo susiejimas yra terminas „MapReduce“, kuris reiškia kelių žingsnių paleidimą toje pačioje „MapReduce“ užduotyje. Sudarant darbo grandinę, pirmasis darbas siunčia išvestį į vieną užduotį, kuri siunčia išvestį į kitą grandinės darbą ir tt, kol darbas bus baigtas. Tai yra „MapReduce“ darbų vamzdynų forma, kad jie būtų lengviau valdomi.
„Techopedia“ paaiškina darbo grandinę
Darbo susiejimas „MapReduce“ reiškia kelių užduočių vykdymą vienoje „MapReduce“ užduotyje.
Pavyzdžiui, darbo grandinę gali sudaryti:
Map1> Reduce1> Map2> Reduce2
Darbo grandinės pranašumas yra tas, kad jis pašalina tarpinių duomenų poreikį tarp visų dujotiekio etapų. Ta prasme darbo grandinėjimas yra panašus į įvesties / išvesties peradresavimą „Unix“ apvalkale. Išvestis iš vienos grandinės grandies nukreipiama į kitą grandinės darbą. „MapReduce“ leidžia kūrėjams nurodyti priklausomybes arba tai, kurios užduotys turi būti baigtos prieš apdorojant kitas grandinės užduotis naudojant „addDeppingJob ()“ metodo skambutį.
Tai leidžia kūrėjui lengviau parašyti „MapReduce“ programą, kuri gali apdoroti didelius duomenų kiekius.
