Pyspark job - 1000 gz files with 1m json objs of 6KB each to 1B files in s3

Käynnissä Julkaistu 2 vuotta sitten Maksettu toimituksen yhteydessä

₹600-1500 INR

Maksettu toimituksen yhteydessä

Käynnissä Maksettu toimituksen yhteydessä

Hi,

I need help to execute a pyspark job. I need to process them. I have 1000 gz files with 1m json objs of 6KB each which we need to convert to 1B json files and save in s3

PySpark

Projektin tunnus: #32284277

Tietoa projektista

2 ehdotusta Etäprojekti Aktiivinen 2 vuotta sitten

Haluatko ansaita rahaa?

Freelancerin tarjouskilpailun edut

Aseta budjettisi ja aikataulu
Saa maksu työstäsi
Hahmottele tarjouksesi
Rekisteröinti ja töihin tarjoaminen on ilmaista

Myönnetty käyttäjälle:

Käyttäjän ashishdudeja1994 profiilikuva
ashishdudeja1994

I have done work in pyspark extensively. Alternatively we can use multithreading or multiprocessing also in python to achieve this. Let me know. I am really interested in this job. I am currently working as a Senior D Lisää

₹1300 INR 7 päivässä
(1 arvostelu)
0.3

2 freelanceria on tarjonnut keskimäärin ₹1400 tähän työhön

Käyttäjän AviD95 profiilikuva
AviD95

Hi , I have experiance in pyspark and AWS let me know the details we can work on this to get it done.

₹1500 INR 2 päivässä
(0 arvostelua)
0.0
Ilmoita samanlainen projekti