InteRecon bewahrt Erinnerungen mit virtuellen Zwillingen

Das Wichtigste in Kürze

• „InteRecon“ ist ein neues Mixed-Reality-Werkzeug des MIT, das physische Objekte inklusive ihrer interaktiven Funktionen digitalisiert.
• Die Technologie ermöglicht es, persönliche Gegenstände wie Spielzeuge oder Elektronikgeräte mit typischen Bewegungen und Funktionen in virtuellen Umgebungen nachzubilden.
• Die Anwendung reicht von Bildung über medizinisches Training bis hin zu Museen.
• Die Bedienung erfolgt über eine mobile App und Mixed-Reality-Headsets wie HoloLens 2 oder Quest.
• Zukünftige Entwicklungen sollen größere Umgebungen digitalisieren und verlorene Objekte über Sprache rekonstruieren können.

Ein digitaler Zwilling mit Persönlichkeit

Stell dir vor, du könntest deinen alten iPod oder das Lieblingsspielzeug aus deiner Kindheit nicht nur als 3D-Modell speichern, sondern auch mit all seinen Bewegungen, Geräuschen und Funktionen in der virtuellen Welt erleben. Genau das ermöglicht „InteRecon“, ein neues Mixed-Reality-Tool vom MIT Computer Science and Artificial Intelligence Laboratory (CSAIL).

Die Methode geht über klassische 3D-Scans hinaus. Statt nur die äußere Form zu erfassen, erlaubt InteRecon das Nachbilden der Interaktivität eines Objekts. Bewegungen, Knöpfe und sogar Audiofunktionen lassen sich digital rekonstruieren – etwa das Nicken eines Wackelkopfs oder das Abspielen eines Liedes aus einem virtuellen MP3-Player.

So funktioniert InteRecon

Die Anwendung beginnt mit einer iPhone-App. Du scannst das Objekt von allen Seiten – am besten drei vollständige Umläufe. Aus diesen Daten entsteht ein 3D-Modell. Dieses Modell kannst du anschließend in einer Mixed-Reality-Umgebung weiterbearbeiten.

Dort segmentierst du einzelne Teile des Objekts – etwa die Arme einer Puppe oder die Knöpfe eines Radios. Alternativ übernimmt InteRecon diese Segmentierung automatisch. Anschließend weist du Bewegungen zu: Schwingen, Drehen, Wippen – je nachdem, was zum Objekt passt. Auch ein direktes Interagieren über das Headset ist möglich, indem du Teile auswählst und animierst.

Elektronikgeräte mit Leben füllen

Ein besonderes Highlight ist die Möglichkeit, elektronische Geräte samt Bedienungselementen nachzubilden. Das Team demonstrierte dies am Beispiel eines alten Fernsehers. Die virtuelle Version erhielt einen Bildschirm, einen Drehregler zur Kanalauswahl und einen Ein-/Aus-Schalter – inklusive eingebetteter Vintage-Videos.

Auch ein iPod lässt sich digital nachbauen. Du kannst MP3-Dateien hochladen und dem Modell virtuelle Bedienelemente wie Play-Buttons hinzufügen. So wird ein einfaches 3D-Modell zu einem interaktiven Erlebnis.

Anwendungen in Bildung, Medizin und Museen

Die Technologie bietet vielseitige Einsatzmöglichkeiten. Im Bildungsbereich können Lehrkräfte physikalische Prinzipien wie Gravitation anschaulich vermitteln – etwa mit virtuellen Objekten, die auf Bewegungen reagieren.

Museen könnten historische Exponate mit animierten Elementen versehen, ohne die Originale zu verändern. Auch im medizinischen Bereich sind Anwendungen denkbar: Studierende könnten chirurgische Abläufe anhand interaktiver Modelle trainieren.

Erinnerungen neu erleben

Ein zentrales Ziel der Entwickler war es, persönliche Erinnerungen lebendig zu halten. Laut Zisu Li, Hauptautorin der Studie und Doktorandin an der Hong Kong University of Science and Technology, wollten viele Nutzer nicht nur visuelle Abbilder, sondern interaktive Erinnerungsobjekte. „Mit InteRecon können diese Erinnerungen in virtuellen Räumen weiterleben“, sagt sie.

Besonders interessant: Die Software erlaubt es auch, Unvollkommenheiten zu bewahren – etwa eine Puppe mit fehlenden Knöpfen. Dadurch bleibt der emotionale Wert erhalten.

Ausblick: Automatisierung und 3D-Druck

Die Zukunftspläne der Forscher sind ambitioniert. Li arbeitet an einer automatisierten Pipeline, um komplette Räume – etwa ein Büro – als interaktive virtuelle Zwillinge zu erstellen. Faraz Faruqi, Mitautor der Studie, möchte verlorene Gegenstände mithilfe von 3D-Druckern physisch rekonstruieren.

Zusätzlich sollen große Sprachmodelle (Large Language Models, LLMs) integriert werden. So könnten Nutzer künftig Objekte allein durch sprachliche Beschreibung in 3D nachbilden und gleichzeitig deren Bedienung erklärt bekommen.

Unsere Einschätzung

InteRecon markiert einen wichtigen Schritt in Richtung personalisierter Mixed Reality. Statt statischer 3D-Modelle entstehen digitale Zwillinge mit echter Interaktivität. Besonders spannend ist die Verbindung aus technischer Präzision und emotionaler Erinnerung.

Für dich als 3D-Druck- oder Mixed-Reality-Enthusiast bietet das Projekt interessante Perspektiven: von neuen Anwendungsfeldern bis hin zur Integration in bestehende Workflows. Auch die Verbindung zu 3D-Druck – etwa beim physischen Nachbau verlorener Objekte – macht InteRecon zu einer Technologie mit Potenzial.

Quellen

• MIT News – A new way to bring personal items to mixed reality: https://news.mit.edu/2025/mixed-reality-personal-items-interactivity-inteRecon-0407