Sehen, Fühlen und Verstehen: KI an der Mensch-Maschine-Schnittstelle in der Fertigung

• Sehen → Smart-Brillen / AR-Anleitung
• Fühlen → direkte Drehmomentsteuerung / Haptik
• Verstehen → Entschlüsselung von Datenblättern / semantische Extraktion

Sehen – Smart Glasses / AR Anleitung

Wearable AI führt den Bediener durch Montage- und Wartungsarbeiten – freihändig und mit dem Blick auf das Bauteil gerichtet: Smart Glasses unterstützen beispielsweise Montageprozesse oder leiten Wartungsarbeiten an. Mit KI im Hintergrund beantwortet die Brille kontextbezogene Fragen, die sich auf das beziehen, was der Bediener gerade sieht. Dabei stützt sich die KI auf die verfügbare Dokumentation.

Die Herausforderung liegt oft nicht in der KI selbst, sondern zwischen Konzept und Umsetzung:

  • Hardware-orientierte Bereitstellung: Berücksichtigung der Einschränkungen von Wearables wie Akkulaufzeit, thermische Grenzen und Bildqualität.
  • Abwägung bei der Inferenz: Ausbalancieren der Reaktionsgeschwindigkeit auf dem Gerät mit cloudbasierten Berechnungen, um die Latenz gering zu halten.
  • Kontextbezogene Verankerung: Verknüpfung der KI-Antworten mit der tatsächlichen Aufgabe, der Sicht des Bedieners und der verfügbaren technischen Dokumentation.

Smart Glasses unterstützen auch Fabrikarbeiter. Nicht nur mit statischen Arbeitsanweisungen, sondern auch mit kontextbezogener Anleitung. Digitale Informationen werden direkt auf den Montagearbeitsplatz eingeblendet, sodass die Bediener im richtigen Arbeitsschritt die richtigen Informationen erhalten – freihändig und ohne den Blick vom Werkstück abzuwenden. Einige Aspekte, die das System vielversprechend machen:

  • Visuelle und akustische Arbeitsablaufanleitung: AR-Einblendungen in Kombination mit synchronisierten Sprachanweisungen führen die Bediener durch jeden Montageschritt – ganz ohne Tablets oder gedruckte Anleitungen.
  • Freihändige multimodale Interaktion: Mithilfe von Sprachbefehlen können die Bediener das System steuern, während sie beide Hände am Werkstück und an den Werkzeugen behalten.
  • Digitaler Co-Pilot in Echtzeit: Das System schließt die Lücke zwischen statischer Montageanleitung und dynamischer Ausführung und passt die Anleitung an das an, was der Bediener gerade tut.

AR-Systeme haben ihren Platz im Montageprozess verdient, da sie komplexe Aufgaben schneller, sicherer und präziser machen.

Fühlen – Direkte Drehmomentsteuerung / Haptik

Ein 500-Hz-Drehmomentregelkreis verwandelt den Roboter in eine haptische Schnittstelle, über die man Oberflächen spüren kann, die gar nicht existieren: Mit einer Low-Level-Robotersteuerung mittels direkter Drehmomentsteuerung lassen sich die virtuellen Oberflächen spüren. Durch die Abbildung einer virtuellen sinusförmigen Geometrie in den Arbeitsraum des Roboters und den Betrieb eines 500-Hz-Drehmomentsregelsystems wird der Endeffektor zu einer haptischen Schnittstelle, über die man beispielsweise Erhebungen und Vertiefungen einer Wand, die gar nicht vorhanden ist, physisch spüren können.

Dies ist ein Beispiel dafür, wie eine aktive Impedanzregelung echte Verbesserungen in industriellen Anwendungen ermöglichen kann:

  • Präzise Oberflächenbearbeitung: Aufrechterhaltung einer konstanten Anpresskraft an gekrümmten oder unregelmäßigen Geometrien beim Schleifen, Polieren und Entgraten.
  • Kraftgeführte Montage: Einsetzen von Teilen mit engen Toleranzen durch taktiles Feedback, das das intuitive Gefühl eines erfahrenen Technikers nachahmt.
  • Intuitive Mensch-Roboter-Zusammenarbeit: Schnittstellen zur manuellen Führung, bei denen der Roboter die Last trägt, sich dem Bediener gegenüber jedoch sehr sanft verhält.

Verstehen – Extraktion technischer Datenblätter

Eine automatisierte Pipeline wandelt unstrukturierte PDF-Dateien in zuverlässige, maschinenlesbare Daten für die Industrie 4.0 um: Technische Datenblätter sind ein grundlegender Bestandteil der Fertigung und dienen als primäre Quelle für Produktspezifikationen. Doch hier liegt die eigentliche Herausforderung. Es handelt sich in der Regel um unstrukturierte PDF-Dateien mit sehr heterogenen Formaten, was die manuelle Datenextraktion zeitaufwendig und fehleranfällig macht.

Unsere neueste Forschungsarbeit „A novel pipeline and benchmark for automated technical datasheets processing“ wurde kürzlich im Journal of Intelligent Manufacturing veröffentlicht. Wir haben uns zum Ziel gesetzt, den Engpass bei der Umwandlung von rohen, komplexen Dokumenten in maschinenlesbare Formate zu beseitigen.

Unsere Ergebnisse liefern eine datengestützte Analyse der Fähigkeiten und Grenzen moderner LLM (wie Layout-Empfindlichkeit und Halluzinationen) und bieten gleichzeitig eine skalierbare Methodik zur Entwicklung zuverlässiger Lösungen zur semantischen Datenextraktion für Industrie 4.0.