python script to automize data file upload to existing table appending the data

Kilpailun tehtävänanto

Python developer to automize extracting file from ftp loading into Big Query
Basically looking for an ETL pipeline where you automize the complete ETL on a weekly basis

Extract : Data from FTP server (get data file)(csv,Excel....)

Transform : append Data to existing table in BigQuery. Make sure no duplicates, clean data,do not overwite

Load : Load it to Big Query Table

you can create a small summy sample csv file to use.

Suositellut taidot

Julkinen selvennystaulu

  • ashikmohann
    ashikmohann
    • 3 viikkoa sitten

    hi, the script should be scheduled to run weekly?

    • 3 viikkoa sitten
    1. viral15
      Kilpailun järjestäjä
      • 3 viikkoa sitten

      Yes

      • 3 viikkoa sitten
  • AVKor
    AVKor
    • 3 viikkoa sitten

    Hi, #extended please and upload a samples of your files (what you are going to get from your FTP server and your database schema).

    • 3 viikkoa sitten
    1. AVKor
      AVKor
      • 3 viikkoa sitten

      In this case it will be useless to you since the structure, data types, database schema and so on will be not the same as you have and could not be used for your dataset. But if you are going to rewrite the script yourself for your own needs that's OK.

      • 3 viikkoa sitten
    2. viral15
      Kilpailun järjestäjä
      • 3 viikkoa sitten

      Yes I will edit all the schemas and additional details
      We are looking to see who can provide python script that would extract - load the files to BigQuery
      You can use a very simple csv file with few columns...
      Just looking to see how the logic is created to automize the process

      Thank you

      • 3 viikkoa sitten
  • viral15
    Kilpailun järjestäjä
    • 3 viikkoa sitten

    Please not I am specifically looking for a python script

    • 3 viikkoa sitten
  • samiul92
    samiul92
    • 3 viikkoa sitten

    Hi, I am creating a program for you. So I need to know that from which source of FTP(Any Database like Oracle Database/MS SQL/MySQL or Just like Excel Sheet) to extract data and Load into which Database?

    • 3 viikkoa sitten
    1. viral15
      Kilpailun järjestäjä
      • 3 viikkoa sitten

      Load into Big Query SQL

      • 3 viikkoa sitten
    2. samiul92
      samiul92
      • 3 viikkoa sitten

      Ok, Thanks for answer

      • 3 viikkoa sitten

Näytä lisää kommentteja

Kuinka päästä alkuun kilpailuiden kanssa

  • Ilmoita kilpailusi

    Ilmoita kilpailusi Nopeaa ja helppoa

  • Saat valtavasti töitä

    Vastaanota tonnikaupalla osallistumisia Ympäri maailmaa

  • Myönnä palkinto parhaalle työlle

    Myönnä palkinto parhaalle työlle Lataa tiedostot - Helppoa!

Ilmoita kilpailu nyt tai liity tänään!