Opracowanie i wdrożenie narzędzia do automatycznego pozyskiwania danych z serwisu ogłoszeniowego

@juanjosec63

Cześć, Mogę zrealizować ten projekt w C#/.NET jako kontenerową usługę scrapującą opartą o RabbitMQ, z automatycznym skalowaniem instancji i obsługą dynamicznych filtrów, działającą stabilnie na Selenium Grid. Zadbam o czysty podział na moduły (worker/dispatcher, storage, observability), zapis do PostgreSQL lub MS SQL oraz pełną integrację z OpenTelemetry/Sentry/Grafana, żeby monitoring i alerty były gotowe produkcyjnie. Pracuję w trybie CI/CD z powtarzalnymi buildami Docker i przejrzystym pipeline’em, a całość dostarczę bez “przebudowy” istniejącej infrastruktury, tylko jako rozszerzenie. Po otrzymaniu RFP przygotuję krótką propozycję architektury + harmonogram wdrożenia zgodnie z Waszymi wytycznymi. Mam doświadczenie w skalowalnych workerach, kolejkach i automatyzacji przeglądarkowej w środowiskach produkcyjnych. Pozdrawiam, Juan

@Desmonds9

Ezra Global will lead the development of the scalable, containerized scraping system, ensuring seamless RabbitMQ task management and integration with your monitoring infrastructure, precisely addressing the dynamic filtering and autoscaling requirements. Our internal team, composed of specialists in C#/.NET, Docker orchestration, and database management with PostgreSQL or MS SQL, operates under defined roles with responsibility for each deliverable, coordinating closely through CI/CD pipelines and utilizing OpenTelemetry and Grafana for observability. We maintain strict control over handovers between development, testing, and deployment phases to uphold quality and reliability. To assure alignment and mitigate unforeseen complexities, we propose progressive validation points before advancing to subsequent stages, cementing clarity and mutual understanding. Let's discuss this in further detail, Desmond

@Mobilehead

Hi Patryk M. I am an experienced C#/.NET developer with years of building containerized scraping and distributed systems using RabbitMQ, Selenium Grid and SQL databases. I will deliver a Dockerized .NET scraper that consumes tasks from RabbitMQ, scales via container orchestration, applies dynamic filters, and stores results in PostgreSQL or MS SQL. The solution will integrate Selenium Grid for browsing, use OpenTelemetry and Sentry for observability, expose metrics to Grafana, and include CI/CD pipelines. Why We Work Together: - Proven experience with .NET, Docker and RabbitMQ. - Focus on scalable, fault-tolerant architecture and testable code. - Clear communication, fast delivery and CI/CD-driven deployments. Best Regards, Sherman

@shushmobiweb6

Dzień dobry, Jestem doświadczonym senior full-stack developerem (8+ lat) z praktyką w budowie skalowalnych systemów scrapowania danych oraz aplikacji kontenerowych opartych o kolejki i automatyczne skalowanie. Zrozumienie projektu: • Kontenerowa aplikacja scrapująca oparta o C# / .NET • Pobieranie i obsługa zadań z RabbitMQ • Automatyczne skalowanie instancji scraperów • Scrapowanie dynamicznych filtrów z użyciem Selenium Grid • Persistencja danych w PostgreSQL lub MS SQL • Integracja z monitoringiem: OpenTelemetry, Sentry, Grafana • Pełne wsparcie CI/CD i środowisk testowych Podejście techniczne: • Architektura mikroserwisowa (Docker / Docker Compose) • Odporność na błędy, retry logic, throttling • Czytelny, modularny kod zgodny z best practices .NET • Gotowość do integracji z istniejącą infrastrukturą Zobowiązania: → Nielimitowane poprawki UI/UX → Pełna dokumentacja techniczna → Pełne prawa własności do kodu źródłowego Chętnie zapoznam się ze szczegółowym RFP i złożę ofertę zgodnie z wytycznymi. Pozdrawiam, Sushma

@AlexVydrin

Hello, I’d be glad to apply for this project. I have strong experience designing scalable data‑scraping systems in C#/.NET, containerized with Docker and orchestrated via Docker Compose. My approach would be to build a modular scraper service that consumes tasks from RabbitMQ, scales instances dynamically, and leverages Selenium Grid for robust browser automation. Data will be stored in PostgreSQL or MS SQL with proper indexing, while monitoring and observability will be integrated through OpenTelemetry, Sentry, and Grafana. I can also set up a CI/CD pipeline to ensure smooth deployments and updates. The final solution will be cleanly architected, well‑documented, and aligned with your RFP requirements.

@ircoo

Chętnie pomogę przy projekcie oraz zapewnię wsparcie techniczne po ukończeniu zlecenia. Otwartość do negocjacji ceny. Zapraszam do współpracy.

@rbtech1984

Cześć! ⚜⭐⭐⭐⭐⚜ Celem jest zbudowanie skalowalnego systemu do zbierania danych, opartego na kontenerach, który pobiera zadania z RabbitMQ, stosuje dynamiczne filtry i przechowuje ustrukturyzowane dane w relacyjnej bazie danych. System musi zarządzać wieloma instancjami skrapera z rotacją adresów IP, obsługiwać błędy i ponowne próby oraz integrować się z istniejącymi systemami monitorowania i zarządzania kluczami dostępu. Rozwiązanie powinno zawierać interfejs API do monitorowania statusu, metryk i logów, bez modyfikowania harmonogramowania ani zewnętrznej infrastruktury. ⚜⭐⭐⭐⭐⚜ ZBUDOWAŁEM PODOBNE SYSTEMY W C#/.NET Z KONTENERAMI DOCKER, INTEGRACJĄ Z RABBITMQ, AUTOMATYZACJĄ SELENIUM I SYSTEMAMI MONITOROWANIA, I MOGĘ PODZIELIĆ SIĘ PRZYKŁADAMI NA CZACIE. SKUPIAM SIĘ NA CZYSTEJ ARCHITEKTURZE, SKALOWALNEJ ORKIESTRACJI I SOLIDNEJ OBSŁUDZE BŁĘDÓW, ABY ZAPEWNIĆ WYSOKĄ WYDAJNOŚĆ ZBIERANIA DANYCH. Z PRZYJEMNOŚCIĄ OMÓWIĘ PAŃSTWA WYMAGANIA I SZCZEGÓŁY IMPLEMENTACJI. Z poważaniem, Farhin B.

@daveromano

As an experienced Full-Stack Software Engineer, I have a deep understanding and extensive experience with the technologies central to your project. My command of C#/.NET is sure to meet your project requirements with top-tier skills in using Docker/Docker Compose, RabbitMQ, Selenium Grid, PostgreSQL or MS SQL—skills developed over years of delivering scalable web applications, APIs, and more. Adding to my qualifications is my proficiency in OpenTelemetry, Sentry, Grafana−tools that will surely integrate well with your existing infrastructure monitoring setup. Additionally, I have a strong background in CI/CD processes which is crucial for efficient development that aligns with your project's needs. Not only do I have the required technical chops for this job but my focus on clean code, reliability, and client satisfaction enforces a dedication to exceptional quality and speed. By partnering with me on this project, you're choosing a freelancer committed to delivering optimal solutions that scale seamlessly while also saving you time and cost. Let's create a tool that automatically retrieves data from popular ad-serving sites- efficiently and reliably!

@PIELUSHI

Dzień dobry, Z zainteresowaniem zapoznałem się z RFP dotyczącym systemu scrapowania danych z serwisu ogłoszeniowego. Chciałbym poinformować, że niedawno ukończyłem bardzo podobny projekt - zaawansowany scraper działający na platformie OLX, obejmujący: Automatyczne wyciąganie ogłoszeń z wybranych kategorii i słów kluczowych Dashboard do zarządzania i monitorowania danych Integrację z bazą danych PostgreSQL System filtrowania i paginacji Obsługę błędów i retry mechanisms Konteneryzację Docker Dlaczego to istotne dla Państwa projektu: Mam świeże doświadczenie w scrapowaniu dokładnie tego samego serwisu (OLX), rozumiem jego strukturę, mechanizmy anti-bot i najlepsze praktyki dla polskiego rynku ogłoszeniowego. Zakres technologiczny, którym się posługuję: C# / .NET, Docker, RabbitMQ, PostgreSQL/MS SQL Selenium, API integrations CI/CD (GitHub Actions) Monitoring i logging systems Wstępna wycena: €5,500 - €7,500 (w zależności od finalnych wymagań orkiestratora i skali) Chętnie przedstawię szczegółową ofertę zgodną z wymaganiami RFP, harmonogram oraz referencje z ostatniego projektu OLX. Jestem dostępny na rozmowę w celu omówienia szczegółów technicznych. Pozdrawiam, Łukasz