← Toute l’expérience
05 · Bruxelles · Full-time
Développeur automatisation Python & analyste
APB (Algemene Pharmaceutische Bond)
Automatisation des migrations de données pharmaceutiques et des pipelines de reporting.
Domaines d’intervention
- Data Engineering
- DevOps
Technologies
- Python
- Apache Airflow
- PySpark
- Pandas
- MS SQL Server
- Qlik Sense
Overview
This record covers the Python Automation Developer & Analyst role at APB (Algemene Pharmaceutische Bond) in Brussels, running from October 2021 to July 2022. The work delivered automation for pharmaceutical data migration and reporting pipelines.
Architecture & Development
- Conception de pipelines ETL avec Apache Airflow, reliant des flux XML historiques à des intégrations JSON/CSV modernes.
- Développement de flux de traitement de données distribués avec PySpark, nettoyant et agrégeant des millions d'enregistrements.
- Utilisation de Pandas pour les transformations analytiques et intégration des données produites dans MS SQL Server.
- Conception de tableaux de bord de reporting dans Qlik Sense pour visualiser les KPI et les indicateurs de conformité.
DevOps & Testing
- Automatisation du déploiement des DAG Airflow via des flux de travail basés sur Git.
- Introduction de scripts de validation de la qualité des données pour signaler les anomalies avant ingestion.
- Documentation de la traçabilité des données et des flux de processus pour les audits réglementaires.
Key Contributions
- Réduction de 60% de la charge de migration manuelle grâce à des pipelines ETL entièrement automatisés.
- Amélioration de la fiabilité par la mise en place de mécanismes de réessai et de monitoring dans les DAG Airflow.