Entwicklung einer AWS/Talend-basierten Datenplattform

Career Partner verfügt über zahlreiche unterschiedliche Datenbanken. Um diese Daten einerseits für Reporting und Analyse, aber auch für neue operative Ideen im KI-Kontext nutzen zu können, wurde ein kompetenter Partner gesucht, der Career Partner im Bereich des Aufbaus eines Data Warehouse unterstützt.

In der Supportphase wurden Daten aus Salesforce und CARE über ein Datenintegrationstool von Talend in die AWS-Cloud integriert. Für die Salesforce-Anbindung mussten mehrere APIs angebunden werden, um alle notwendigen Anforderungen umzusetzen. Allgemeine architektonische Grundlagen wurden für die AWS- und Redshift-Architektur sowie für Monitoring und CI/CD-Pipelines geschaffen. Im Bereich der DWH-Architektur wurde ein Datenkatalog für die Systeme entwickelt, sowie Salesforce-Metadaten integriert. Grafana wurde für die Überwachung und AWS S3 für Data Lake verwendet.

Der Kunde konnte aufgrund der Salesforce-Einstellungen täglich nur begrenzte Berichte erstellen. Mit DWH kann Career Partner problemlos mehrere Berichte erstellen, und es ist nun auch möglich, Berichte aus mehreren Quellen wie Salesforce und Care zu erstellen.

Bei der Implementierung von Anwendungsfällen für maschinelles Lernen gab es Probleme aufgrund der Nichtverfügbarkeit der oben genannten Datenquellen. Nach der Integration können die KI-Anwendungsfälle ohne solche Probleme implementiert werden.

Eingesetzte Technologie und Methoden

• Salesforce CRM
• Talend
• Amazon Redshift
• Amazon S3 - Amazon Simple Storage Service
• Amazon ECR
• Amazon ECS
• AWS Fargate
• CI/CD Pipeline
• Microsoft Power BI
• Grafana