JavaScript is disabled in your browser.
Please enable JavaScript settings in your browser to allow this website work correctly.
  • PHP
  • AngularJS

Kunde

Ein Entwickler von Software-Produkten für Großunternehmen.

Problem

Der Kunde entwickelt Software-Lösungen für die Automobilindustrie, die Bilddatensätze für Machine Learning erstellen und intelligente visuelle Sensorsysteme zur Fußgänger-, Fahrzeug-, Verkehrszeichen-, Lichtquellen- und Menschenerkennung trainieren. Jeder Datensatz besteht aus Bildern (Videobildern) von verschiedenen Straßenobjekten, die in Kategorien eingeteilt und mit dem Objektnamen und einigen zusätzlichen Parametern gekennzeichnet sind.

Zum Erstellen eines Datensatzes nutzt der Kunde ein Ökosystem von 6 Softwareprodukten, die mit Hilfe von Künstlicher Intelligenz und Machine-Learning-basierten Algorithmen Videos verarbeiten und die korrekten Objekte kennzeichnen. Wenn automatisierte Verfahren keine erforderliche Erkennung bieten, annotieren die Labeling-Teams des Kunden diese Objekte manuell.

Bei der manuellen Annotation bearbeiten die Laberer große Mengen an Mediadaten (Bilder/Video) aus der Ferne. Die Daten werden auf den lokalen Servern des Kunden in Deutschland gespeichert. Dies verlangsamt die Client-Server-Kommunikation, verursacht regelmäßige Verzögerungen und macht das gesamte System weniger effektiv.

Der Diensteanbieter sollte die Lösung von den lokalen Servern in Berlin in die Cloud migrieren und ihre Architektur in der ersten Phase umbauen. Dadurch sollten die Labeling-Teams auf das System am Cloud-Server zugreifen und die Mediadaten effizienter verarbeiten können. Softeq wurde als Hauptdienstleister ausgewählt aufgrund seiner Full-Stack-Kompetenz und einer seltenen Kombination von Fähigkeiten (in den Bereichen Machine Learning/Computer Vision, Digital Imaging und Web-App-Entwicklung).

Lösung

Die Lösung ist eine eigenständige App, die aus 2 Modulen besteht — Admin Panel und Workspace. In Abhängigkeit von der Rolle des Benutzers im Projekt führt sie bestimmte Aktionen aus. Es gibt 5 Benutzerrollen: Superadmin, Koordinator, Beobachter, Labeling Manager und Labeler. Jeder dieser Rollen sind bestimmte Zuständigkeiten zugeordnet.

Ein Labeler kann:

  • Objekte mit einer geometrischen Maske annotieren (Dreieck, Kreis, Rechteck, Trapez usw.)
  • Objekte taggen
  • Objekte in relevante Kategorien einordnen

Superadmin ist berechtigt:

  • Organisationen, Benutzer und Labeling-Gruppen zu verwalten
  • Videos hochzuladen
  • Projektrollen zuzuordnen etc.

Koordinator ist für Project- und Task-Management verantwortlich.

Labeling Manager und Beobachter kontrollieren die Leistung von Labelern und die Projektqualität.

Ein Labeler erhält spezifische Anweisungen im .xml-Format. Sie enthalten die Informationen zu den Objekten, die gekennzeichnet werden müssen (Fahrzeuge, Fußgänger, Straßenmarkierung, Verkehrszeichen usw.). Die Dateien werden auf einem Remote-Server gespeichert. Der Labeler annotiert manuell die Objekte, die von den Machine Learning Algorithmen nicht identifiziert wurden.

Derzeit unterstützt die App nur Videos mit geringer Farbtiefe. Das bedeutet, dass die importierten Videodateien vor dem Labeling verarbeitet werden müssen. Um Videobilder für das manuelle Labeling vorzubereiten, verwendet die Lösung einen Faltungsalgorithmus auf der Basis von neuronalen Netzen.

Herausforderung

Ursprünglich befand sich das System mit den Medienspeichern auf dem lokalen Server in Berlin, während die Mehrheit der Labeler von entfernten Standorten aus arbeitete. Dies führte zu regelmäßigen Verbindungsproblemen und verzögerten Server-Antworten. Um die Konsistenz des Systems zu verbessern und die Antwortzeit des Servers zu reduzieren, hat das Team von Softeq die Anwendung und ihre Medienspeicher in die Azure Cloud migriert.

Um die Lösung skalierbarer zu machen und die ressourcenintensiven Vorgänge auf einzelne Komponenten des Systems zu verteilen, hat das Team auch die Architektur der Lösung umgebaut. Die Systemfunktionen wie Cashing, Queue Messaging und Containerisierung wurden an externe Dienste inkl. Reddis, RabbitMQ und Docker delegiert.

Ergebnis

In der ersten Phase wurden das System und die Medienspeicher erfolgreich in die Azure Cloud migriert und die Architektur der Lösung umgebaut.

Unser QA-Team hat Load-Tests des Systems durchgeführt, um sicherzustellen, dass die Lösung stabil und nachhaltig bleibt, wenn mehrere Label-Teams auf sie zugreifen.

Der Kunde war mit dem Ergebnis in der ersten Phase sehr zufrieden und hat Softeq mit der Entwicklung von zusätzlichen Funktionen beauftragt, inkl. der Unterstützung von HDR-Video- und TIFF/PNG-Formaten für die resultierenden Bilder sowie der Echtzeit-Videoannotation.


„Vielen Dank für Ihre Anstrengungen und die Arbeit, die Sie in der Phase #1 geleistet haben! Wir schätzen sehr die Bemühungen des gesamten Teams!“
Product Owner

Wie können wir Ihnen helfen?