Home Sichere und beherrschbare KI-Systeme mit MLOps Sichere und beherrschbare KI-Systeme mit MLOps

Sichere und beherrschbare KI-Systeme mit MLOps

Wie kann die Effizienz und Qualität von Machine Learning Projekten maximiert werden? Machine Learning Operations (MLOps) beschreibt die Automatisierung des gesamten Lebenszyklus von ML-Modellen: Von der Datenaufbereitung über das Deployment bis zur kontinuierlichen Überwachung. Dies senkt Kosten, optimiert Ressourceneinsatz und erhöht durch Standardisierung und kontinuierliche Validierung die Sicherheit.

Jetzt Kontakt aufnehmen

Machine Learning Operations (MLOps) Technologie

Unsere MLOps Lösungen

Wir unterstützen Kunden aus Mobilität, Medizintechnik und Industrie in Machine Learning Anwendungen bei der Entwicklung von MLOps Pipelines. Durch die kontinuierliche Bewertung neuer Tools auf unseren On-Premises GPU Clustern und in der Azure Cloud entwickeln wir cloud-agnostische, sichere und leistungsfähige Lösungen, die branchenspezifische Anforderungen erfüllen. Dabei werden alle Phasen der Entwicklung abgedeckt – von der Konzeption bis zur Wartung.

Ein 3D-illustriertes MLOps - Machine Learning Field zeigt die Produktion von ML-Modellen in Digital-Cloud-Umgebung von Daten und digitalen Gehirnen.

Machine Learning Pipelines

Machine Learning Pipelines ermöglichen die Entwicklung von state-of-the-art ML-Lösungen durch End-to-End-Pipelines von der Datenerfassung bis zur Modellbereitstellung. Dabei umfassen sie wichtige Schritte wie Feature Engineering, Hyperparameter-Tuning und AutoML, um die Leistung und Genauigkeit der Modelle zu verbessern. Zudem zielen Machine Learning-Pipelines darauf ab, die Performance und die Kosten der ML-Systeme zu optimieren, indem Ressourcen effizient genutzt und Skalierungsmöglichkeiten maximiert werden. Durch die Integration dieser Aspekte können Unternehmen ihre ML-Modelle effektiv verwalten und gleichzeitig die Kosten im Auge behalten.

Ein Mitarbeitender mit AR-Brille überwacht die Modelleistung einer Maschine in der Produktion und wertet anhand der gelieferten Daten die Effektivität aus.

Model Monitoring und Maintenance

Model Monitoring und Maintenance im Kontext von MLOps bezieht sich auf die fortlaufende Überwachung der Modellleistung, um sicherzustellen, dass sie in der Produktion effektiv arbeiten. Dies umfasst automatische Modellbewertungen im Produktions- und Schattenmodus, um Veränderungen in der Leistung zu erkennen. Zudem werden Data-Drift-Erkennungstechniken eingesetzt, um Veränderungen in den Eingabedaten zu identifizieren. Darüber hinaus wird die Planung automatischer Neutrainingszyklen eingerichtet, sodass die Modelle mit den neuesten Daten aktualisiert werden und ihre Leistung beibehalten.

Data Management

Data Management beinhaltet verschiedene Aspekte, wie die Auswahl von Tools und Implementierungen für die Datenverarbeitung sowie das Management von Metadaten. Es umfasst auch automatische und manuelle Sortierverfahren für Daten, um eine effiziente Handhabung zu gewährleisten. Darüber hinaus beinhaltet es Techniken zur Anonymisierung und Markierung von Daten sowie die Auswahl und Registrierung von Datensätzen, um sicherzustellen, dass die richtigen Daten für die Modellentwicklung verwendet werden.

Grafische Darstellung von Bildschirm mit vielen Daten und Informationen die zum Continous Training genutzt werden.

Continuous Training und Deployment

Continuous Training und Deployment beschreibt kontinuierliches Lernen basierend auf Zeitplänen, neuen Daten oder Datenveränderungen und gewährleistet die Aktualität von Machine Learning Modellen. Zudem wird durch die Versionierung von Daten, Code und Modellen die Reproduzierbarkeit sichergestellt. Die Verwaltung des Modelllebenszyklus ist ebenfalls ein wichtiger Aspekt, um die Modelle effektiv zu verwalten und zu aktualisieren. Schließlich werden kontinuierlich trainierte Modelle automatisiert in der Produktionsumgebung bereitgestellt, um den Prozess zu beschleunigen.

ITK Engineering – Ihr Entwicklungspartner für MLOps

Umsetzungskompetenz

Durch unsere Erfahrung aus verschiedenen MLOps-Projekten in Bereichen wie Machine Learning, Datenmanagement, Continuous Training und Deployment bieten wir Methoden und Tools, um kundenspezifische MLOps Anwendungen umzusetzen. Profitieren Sie von unserem breiten Tool Spektrum, beispielsweise mit Microsoft Azure, Voxel FiftyOne, databricks, python, mlflow, TensorFlow, CVAT, Kognic, kubeflow, CosmosDB, MongoDB, OracleDB, Airflow, PySpark, hadoop, docker, kubernetes, argo, Jenkins oder Jmeter.

Datensicherheit und Compliance

Im Kontext datengetriebener Entwicklung gilt dies vor allem für Daten, die Sie uns im Rahmen der Entwicklung anvertrauen. Dabei steht die Sicherheit ihrer Daten an höchster Stelle. Zudem ist die Konformität bzgl. Regularien zur Entwicklung von KI-Systemen essenziell. Wir stellen die Datensicherheit und Compliance für Ihre MLOps Lösung sicher.

Maßgeschneiderte Lösungen

Als Entwicklungspartner im Bereich Mobilität, Medizintechnik und Industrie wissen wir, dass die passenden Machine Learning- und Datenstrategien so vielfältig sind wie unsere Kunden. Von On-Premises Cluster bis Cloud-Plattform – wir erarbeiten gemeinsam mit Ihnen die passende MLOps Lösung.

Ein Blick in unsere Referenzprojekte:

Sensors4Rail: Entwicklung einer Machine Learning Operations Pipeline

Herausforderung
Im Rahmen des Sensors4Rail-Projekts der Digitalen Schiene Deutschland wurden erstmals sensorbasierte Wahrnehmungssysteme im deutschen Bahnbetrieb erfolgreich erprobt. Dabei entstand eine enorme Menge an Sensordaten, die gezielt für das Training leistungsfähiger Machine-Learning-Verfahren (ML) genutzt wurden. Die Vielzahl an entwickelten ML-Algorithmen und die enorme Datenmenge hätten eine manuelle Bearbeitung der ML-Workflows sehr aufwendig gemacht. Gleichzeitig war es essenziell, die Traceability zwischen Datensätzen, ML-Code und Modellen sowie deren Reproduzierbarkeit sicherzustellen, um jederzeit die Kontrolle über die Entwicklung der ML-Verfahren zu garantieren.

Lösungsweg
Gemeinsam mit unserer Konzernschwester Bosch Engineering GmbH haben wir eine Machine Learning Operations-Pipeline (MLOps) entwickelt, die eine standardisierte Lösung für die gesamte Toolchain des maschinellen Lernens schafft.
Für die Entwicklung von Machine Learning Algorithmen bietet die MLOps-Pipeline die automatisierte Bereitstellung von skalierbarer Cloud-Infrastruktur und Workflow-Optimierung. Der Prozess umfasst die automatisierte Datenaufnahme sowie konfigurierte Tools zur Daten Exploration und Selektion, Anonymisierung, Labeling, Datenset Erzeugung, ML-Training und Evaluierung. Durch Daten-Indexierung wird die effiziente Suche nach relevanten Daten ermöglicht.
Die Lösung liefert vollständige Traceability: Versionierung des ML-Codes, Datasets, ML-Modelle und Verlinkung untereinander. Einen weiteren Vorteil liefert die Datenauswahl mittels Active Learning, welche die Qualität der ML-Modelle verbessert und die Arbeitsbelastung reduziert.

Kundenmehrwert
Diese MLOps-Pipeline trägt im Rahmen des Sensors4Rail-Projekts dazu bei, die Effizienz, Sicherheit und Zuverlässigkeit von Schienenfahrzeugen zu verbessern und somit den Betrieb von Schienennetzen insgesamt zu optimieren. Durch ihre Implementierung wird auf Kundenseite die Produktivität gesteigert und ein kontinuierlicher Modellverbesserungsprozess ermöglicht. Die Pipeline bietet umfangreiche Skalierbarkeit, kürzere Entwicklungszyklen und schöpft das volle Potenzial aller verfügbaren Daten aus.

Mehr über dieses Projekt erfahren.

MLOps-Enablement als Erweiterung bestehender Data Engineering Pipelines

Herausforderung
Bestehende Data Engineering Pipelines automatisieren primär klassische Datentransformationen, um aufbereitete Daten strukturiert und effizient zu hinterlegen und innerhalb von Organisationen verfügbar zu machen. Für die Entwicklung von effizienten und kosteneinsparenden Data Science-Anwendungen besteht die Herausforderung darin, die Pipelines so zu optimieren und anzubinden, dass diese auch für automatisierte und echtzeit-fähige Modelltrainings und -vorhersagen erweiterbar sind. Bei unserem Kunden stand die Optimierung seiner Data Pipelines in verschiedensten Themenbereichen im Mittelpunkt, konkret von bestehenden ETL-Pipelines (Extract-Transform-Load-Prinzip) hin zu deren Nutzen für datengetriebene Entscheidungsprozesse, unter Anwendung von ML-Algorithmen und kontinuierlicher Einbindung mittels MLOps-Prozessen.

Lösungsweg
Die entwickelten MLOps-Komponenten werden innerhalb der bestehenden Toollandschaft auf einer Private Cloud-Umgebung implementiert. Primär kommt dabei die kundenseitige lokale Infrastruktur zum Einsatz, um bereits vorhandene KI-Modelle effizient und skalierbar zur Verfügung zu stellen und ebenfalls neue Modelle in einer lokal ausgerollten Plattform trainieren zu können. Über das Training hinaus werden die erzeugten Modelle ebenfalls in der lokalen Cloud registriert und ausgerollt, sodass sie innerhalb der Organisation von verschiedenen Teams über Interfaces nutzbar sind. Die bereitgestellten Modelle werden hierbei aktiv durch MLOps-Frameworks beobachtet (Model Monitoring) und bei möglichen Datendrifts zukünftig automatisiert nachtrainiert.

Kundenmehrwert
Durch die direkte Einbindung in die bestehende Kundeninfrastruktur befinden sich die genutzten Daten und erstellten Modelle zu jeder Zeit vollkommen innerhalb der nicht-öffentlichen Kunden-Datenorganisation. Die automatisierte Bereitstellung von KI-Modellen machen den Mehrwert der bereits bestehenden Data Science-Aktivitäten unseres Kunden innerhalb seiner gesamten Organisation verfügbar und verbessern die Effizienz durch direkt verfügbare Prädiktionen. Auf diese Weise erhöht sich zudem das Bewusstsein innerhalb der diversen Abteilungen, sodass die Vorteile, aber auch der bewusste Umgang mit KI-generierten Prädiktion, sichtbarer werden. Letztlich wird auch die Arbeit der Data Science-Aktivitäten deutlich übersichtlicher und skalierbarer, da die Modelle und Datentransformationen auf zentralisierter Infrastruktur zur Verfügung stehen und somit in generalisierter Form automatisiert verwendbar sind.