Behandler tabeller i parallell bruke Azure data Factory, enkelt rør, enkelt Databricks Notebook?

stemmer
0

Jeg ønsker å forvandle en liste over tabeller i parallell ved hjelp Azure data Factory og en enkelt Databricks Notebook.

Jeg har allerede en Azure data Factory (ADM) rørledning som mottar en liste av tabeller som en parameter, angir hvert bord fra bordlisten som en variabel, deretter kaller en enkelt datamaskin (som utfører enkle transformasjoner) og passerer hvert bord i serie denne bærbare. Problemet er at den forvandler tabellene i serie (en etter den andre), og ikke i parallell (alle tabeller på samme tid). Jeg trenger bordene som skal behandles i parallell.

Så mitt spørsmål er: 1) Er det mulig å utløse de samme Databricks bærbare flere ganger på nøyaktig samme tidspunkt (hver gang med en annen tabell som en parameter) fra Azure data Factory? 2) Hvis ja, så hva trenger jeg å endre på min rørledning eller bærbar PC for å gjøre det?

Jeg tror det er sannsynligvis ikke mulig å utløse samme bærbare flere ganger samtidig, for når jeg utløse denne bærbare direkte fra Databricks (og bestå en tabell som variabel), må jeg vente til den er ferdig å kjøre før jeg utløse det igjen for en annen bord (parameter). Men jeg ønsker å være sikker på om det er mulig eller ikke. Jeg vet også at det er mulig å behandle flere tabeller i parallell med mange bærbare PCer, men i mitt tilfelle, jeg trenger å bruke en enkelt bærbar PC. Takk på forhånd :)

parametere

ADM

variabler

variabler

Sett Tabell variabler og Notebook

skriv

Konfigurer Sekvensiell

Konfigurer

Sekvensiell Ukontrollert med Batch Count = blank

Når konfigurert som sekvensiell og Batch Count = blank, og passerer to bord, rørlednings kjører vellykket, men bare ett bord blir transformert (selv om jeg legge til flere tabeller i tabellen listen). Set variabelen korrekt show to ganger, en gang for hver tabell. Men orkestrere viser to ganger for den samme tabellen.

skriv

Sekvensiell avmerket med satstelling = 2

Når konfigurert som sekvensiell og Batch Count = 2, og passerer to tabeller, mislykkes rørledning på andre iterasjon, men det prøver også trans samme bord to ganger. Set variabelen korrekt show to ganger, en gang for hver tabell. Men orkestrere viser to ganger for den samme tabellen.

Sekvensiell

Sekvensiell kontrollert eller satstelling = 1

Dersom jeg lar Sekvensiell kontrollert eller satstelling = 1, da rørledningen går jevnt og utfører transformasjoner på alle tabeller, men behandlingen foregår i serie (som forventet).

skriv

Publisert på 13/01/2020 klokken 21:55
kilden bruker
På andre språk...                            


1 svar

stemmer
0

Jeg løste det ved hjelp av "Lookup" til en SQL-tabellene i stedet for "Set Variable". Bildet nedenfor viser en serie med 5 bord i parallell ved hjelp av en enkelt bærbar PC.

skriv bildebeskrivelse her

Svarte 14/01/2020 kl. 20:40
kilden bruker

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more