Neural Representation and Prior for Controllable 3D Digital Humans

Abstract

Modeling realistic and controllable 3D digital humans is a central focus in computer vision and graphics, with broad applications in AR/VR, virtual try-on, entertainment, and embodied AI. Achieving high-fidelity avatars requires accurate modeling of how people look, dress, and move. However, this remains challenging due to high variability in clothing types, body shapes, poses, and their interdependencies. This dissertation addresses two core aspects of human digitization – how we dress and how we move – through novel representations, datasets, and learning-based methods that advance the state of 3D human modeling. Our contributions to modeling human clothing address multi-faceted challenges across geometry representations, learning formulations, and practical applications. We explore how clothing and body geometry are influenced by size, shape, pose, and style, proposing specialized representations and learning frameworks—supported by high-quality datasets—to enable more robust and generalizable models of clothed humans. We introduce SIZER, the first model to capture clothing deformations based on clothing size and body shape using a mesh-based representation. SizerNet models the subtle, non- linear effects of size and shape on clothing fit and drape – factors often overlooked in prior work. To support this, we curate a large-scale, high-quality dataset of 3D scans with diverse subjects, clothing types, and multiple sizes per item. Rich annotations, including clothing categories, segmentation, registrations, and accurate body shapes, enable realistic, data-driven modeling. Additionally, we introduce ParserNet, the first learning-based method to recover detailed clothing meshes and body shape from a single input mesh. Unlike prior methods, it allows editing clothing or body shape without requiring segmentation or registration at test time. Together, the dataset and models form a strong foundation for future work in clothed human reconstruction, generation, and size-sensitive modeling. While mesh-based approaches excel in template-specific garments, they struggle with non-rigid deformations, topological diversity, and require costly registration and processing pipelines. To address this, we propose Neural-GIF, an animatable model of clothed humans learned directly from raw scans using neural implicit representations. Inspired by template- based decomposition of motion into articulation and non-rigid deformation, we generalize this idea to implicit shape learning. We learn a pose-dependent backward skinning field to map input points to a canonical space, followed by a deformation field in the canonical space to capture non-rigid, pose-dependent deformation. This enables modeling of highly complex clothing and soft-tissue dynamics. Neural-GIF achieves fine-grained details, shape-aware deformations, and outperforms prior methods in flexibility and accuracy. We also introduce a 4D scan dataset with loose, complex clothing to support further research in this area. Prior work often models clothing and body as a single surface or focuses on isolated clothing styles, failing to capture the diversity and layered nature of real-world clothing. To address this, we propose TailorDiff, a unified, controllable, diffusion-based point cloud viii model that serves as an SMPL-like foundation model for clothing. By leveraging a point cloud representation, TailorDiff is topology-agnostic, enabling unified modeling across all categories of clothing. A hierarchical, body-aware latent space supports generation and editing conditioned on style, body shape, and fine-grained attributes like sleeve or hem length. To train this large-scale model, we curate a rich and diverse dataset by aggregating synthetic clothing scans from multiple sources. TailorDiff also readily supports inverse problems, such as fitting layered clothing to partial scans – pushing the boundaries of SMPL-based human modeling towards more expressive, realistic representations of humans in layered clothing. Beyond modeling how we dress, this dissertation also addresses how we move. Pose priors are crucial for generating realistic new poses and for reconstructing accurate poses from noisy or partial observations. Existing priors rely on Gaussian assumptions, which bias estimates towards the mean and distort the pose manifold. We introduce PoseNDF, a novel formulation for learning pose priors using a Neural Distance Field, without relying on explicit density modeling or prior assumptions. PoseNDF extends implicit surface modeling in 3D to high-dimensional pose space, learning the valid pose manifold from sets of plausible and implausible poses via a neural network. The zero level set of the learned manifold defines valid poses, enabling projection using the distance and its analytic gradient. Using PoseNDF as prior yields state-of-the-art results in motion denoising, pose completion, and single-image 3-D pose estimation while increasing sample diversity. This thesis advances the field of 3D digital humans by pushing the frontiers of human- clothing models and human pose understanding. We provide an in-depth analysis of our ideas and position our work in the context of related research, including approaches that emerged concurrently. We conclude with an outline of future directions, aiming not only to address current limitations but also to further advance the field. As the demand for immersive digital environments continues to grow, we envision our contributions serving as a foundation for building expressive, generalizable, and fully interactive 3D digital humans

Die Modellierung von realistischen und kontrollierbaren digitalen 3D Menschen ist in zentrales Thema des maschinellen Sehens und der Computerrgrafik mit vielfältigen Anwen- dungen in der AR/VR, virtuellen Anprobe, Unterhaltungsindustrie und verkörperter KI.Die Erstellung hochauflösender Avatare erfordert eine präzise Modellierung der Erscheinung, der Kleidung und der Bewegungen von Menschen. Dies ist nach wie vor herausfordernd aufgrund der hohen Variabilität von Kleidungstypen, Körperformen, Körperhaltungen und deren wechselseitigen Abhängigkeiten. Diese Dissertation behandelt zwei zentrale Aspekte der menschlichen Digitalisierung – wie wir uns kleiden und wie wir uns bewegen – durch neuartige Repräsentationen, Datensätze und lernbasierte Methoden, die den Stand der 3D Modellierung des Menschen vorantreiben. Unsere Beiträge zur Modellierung menschlicher Bekleidung greifen vielfältige Heraus- forderungen in Bezug auf Geometrierepräsentationen, Lernformulierungen und praktische Anwendungen auf. Wir untersuchen, wie Kleidung und Körpergeometrie durch Größe, Form, Pose und Stil beeinflusst werden, und schlagen spezialisierte Repräsentationen und Lern- frameworks vor – gestützt durch hochwertige Datensätze – um robustere und generalisierbare Modelle bekleideter Menschen zu ermöglichen. Wir stellen SIZER vor – das erste Modell, das Kleidungsdeformationen basierend auf Kleidergröße und Körperform mit Hilfe einer mesh-basierten Repräsentation erfasst. Siz- erNet modelliert subtile, nichtlineare Effekte von Größe und Form auf Passform und Fall der Kleidung – Faktoren, die in früheren Arbeiten oft übersehen wurden. Dazu erstellen wir einen groß angelegten, hochwertigen Datensatz aus 3D-Scans von diversen Subjekten, welche verschiedene Kleidungstypen in verschiedenen Größen tragen. Reichhaltige An- notationen, darunter Kleidungskategorien, Segmentierungen, Registrierungen und präzise Körperformen, ermöglichen eine realistische, datengetriebene Modellierung. Außerdem präsentieren wir ParserNet, die erste lernbasierte Methode zur Wiederherstellung detaillierter Kleidungsmeshes und Körperformen aus einem einzelnem Eingabemesh. Im Gegensatz zu früheren Ansätzen erlaubt es das Editieren von Kleidung oder Körperform ohne Segmen- tierung oder Registrierung zur Testzeit. Zusammen bilden der Datensatz und die Modelle ein starkes Fundament für zukünftige Arbeiten zur Rekonstruktion, Generierung und größenab- hängigen Modellierung bekleideter Menschen. Während mesh-basierte Ansätze bei vorlagenspezifischer Kleidung gut funktionieren, stoßen sie bei nichtlinearen Verformungen, topologischer Vielfalt und aufwändigen Registrierungs- und Verarbeitungsprozessen an ihre Grenzen. Um dem zu begegnen, schlagen wir Neural-GIF vor – ein animierbares Modell bekleideter Menschen, das direkt aus unverarbeiteten Scans durch neuronale implizite Repräsentationen gelernt wird. Inspiriert von der vorlagenbasierten Zerlegung von Bewegung in Artikulation und nichtlineare Verformung, generalisieren wir diesen Ansatz auf implizites Lernen von Formen. Wir lernen ein posenabhängiges Rück- x transformationsfeld, das Eingabepunkte in einen kanonischen Raum abbildet, gefolgt von einem Deformationsfeld in diesem Raum zur Erfassung nichtlinearer, posenabhängiger Ver- formungen. Dies ermöglicht die Modellierung hochkomplexer Kleidung und Weichgewebe- dynamik. Neural-GIF kann feine Details und form abhängige Verformungen darstellen und übertrifft frühere Methoden in Flexibilität und Genauigkeit. Zudem stellen wir einen 4D- Scan-Datensatz mit lockerer, komplexer Kleidung bereit, der weitere Forschung in diesem Bereich unterstützt. Frühere Arbeiten modellieren Kleidung und Körper oft als eine einzelne Oberfläche oder konzentrieren sich auf isolierte Kleidungsstile und erfassen so weder die Vielfalt noch die Mehrlagigkeit realer Bekleidung. Um dies zu beheben, schlagen wir TailorDiff vor – ein einheitliches, steuerbares, diffusionbasiertes Punktwolkenmodell, das als SMPL-ähnliches Grundmodell für Kleidung dient. Durch die Nutzung der Punktwolkenrepräsentation ist Tai- lorDiff topologieunabhängig und erlaubt eine einheitliche Modellierung aller Kleidungskat- egorien. Ein hierarchischer, körpersensitiver latenter Raum ermöglicht die Generierung und Bearbeitung basierend auf Stil, Körperform und feineren Attributen wie Ärmellänge oder Saumlänge. Zum Trainieren dieses großen Modells erstellen wir einen umfangreichen und vielfältigen Datensatz indem wir synthethische Kleidungdsscans aus verschiedenen Quellen zusammentragen. TailorDiff unterstützt auch Inverse Probleme wie das Anpassen mehrlagiger Kleidung an partielle Scans – ein Schritt hin zu ausdrucksstärkeren, realistis- cheren Darstellungen von Menschen in mehrlagiger Kleidung. Neben der Modellierung, wie wir uns kleiden, widmet sich diese Dissertation auch der Frage, wie wir uns bewegen. Pose-priors sind entscheidend für die realistische Generierung neuer Posen sowie die Rekonstruktion genauer Posen aus verrauschten oder unvollständigen Beobachtungen. Bestehende Priors basieren auf Gaußschen Annahmen, die Schätzungen zum Mittelwert hin verzerren und die Posenmannigfaltigkeit verzerren. Wir stellen PoseNDF vor, eine neuartige Formulierung zum Lernen von mittels Neural Distance Fields, ohne explizite Dichteannahmen oder vorherige Modellannahmen. PoseNDF erweitert implizite 3D-Oberflächenmodellierung auf hochdimensionale Posenräume, indem es gültige und ungültige Posenmengen über ein neuronales Netz lernt. Die Nullniveaufläche der gelern- ten Mannigfaltigkeit definiert gültige Posen und erlaubt Projektionen mittels Distanz und analytischem Gradienten. Die Verwendung von PoseNDF als Prior führt zu neuen Bestleis- tungen in Bewegungsentrauschung, Posenvervollständigung und 3D-Pose-Schätzung aus Einzelbildern – bei gleichzeitig höherer Diversität der erzeugten Posen. Diese Dissertation erweitert das Feld der 3D-Digitalmenschen, indem sie die Grenzen von Kleidung- und Bewegungsmodellen verschiebt. Wir bieten eine tiefgehende Analyse unserer Ansätze und positionieren unsere Arbeit im Kontext verwandter und gleichzeitig entstandener Forschungsrichtungen. Abschließend skizzieren wir zukünftige Forschungsrich- tungen, die aktuelle Einschränkungen adressieren und das Feld weiter vorantreiben sollen. Angesichts der wachsenden Nachfrage nach immersiven digitalen Umgebungen sehen wir unsere Beiträge als Grundlage für die Entwicklung ausdrucksstarker, generalisierbarer und vollständig interaktiver 3D-Digitalmenschen.