Inhoudsopgave:
Definitie - Wat betekent Job Chaining?
Job chaining is een term in MapReduce die verwijst naar het starten van verschillende stappen in dezelfde MapReduce-taak. Bij taakketting stuurt de eerste taak uitvoer naar de ene taak, die de uitvoer naar de volgende taak in de keten stuurt, enzovoort totdat de taak is voltooid. Het is een vorm van pipelining-opdrachten MapReduce om ze beter beheersbaar te maken.
Techopedia legt Job Chaining uit
Taakketting in MapReduce verwijst naar het uitvoeren van meerdere taken in één enkele MapReduce-taak.
Een opdrachtketen kan bijvoorbeeld bestaan uit:
Map1> Reduce1> Map2> Reduce2
Het voordeel van taakketting is dat er geen tussenliggende gegevens meer nodig zijn tussen alle stappen in een pijplijn. In die zin is taakketen vergelijkbaar met invoer / uitvoeromleiding in de Unix-shell. Uitvoer van de ene schakel in de keten stroomt naar de invoer in de volgende taak in de keten. Met MapReduce kunnen ontwikkelaars afhankelijkheden specificeren, of welke taken moeten worden voltooid voordat de volgende taken in de keten worden verwerkt met behulp van de methode-aanroep addDependingJob ().
Dit maakt het voor een ontwikkelaar gemakkelijker om een MapReduce-programma te schrijven dat grote hoeveelheden gegevens kan verwerken.
