Cómo ControlNet avanza para hacerse con todo el proceso de diseño y prototipado en la industria de la moda.
(English version bellow)
En los últimos meses, la AI ha tenido un impacto muy positivo en la agilización de los procesos de diseño. La evolución ha sido rapidísima, desde las imágenes toscas de hace un par de años a la introducción de ControlNet, que ya está desplazando a los CAD en la fase creativa.
Pero todavía queda un paso de gigante por dar, el que supone pasar de la representación en 2D al prototipado, un santo grial que supondría un ahorro millonario, especialmente en la actual situación de deslocalización de las fábricas con respecto a los estudios de diseño.
Por si no lo sabías …
¿Qué es ControlNet? Esta tecnología,utilizando LineArt (detección de líneas), OpenPose (control del maniquí) y Depth (física del volumen en base a luces y sombras ¡Que recuerdos, las clases de dibujo al natural!) consigue representaciones estéticas y muy realistas de las prendas y tejidos.
Casi cualquier diseñador de moda europeo sabe que una vez al mes, como poco, ha de visitar físicamente las fábricas, normalmente asiáticas, en las que se elaboran los prototipos de las prendas diseñadas. El propósito del viaje es evaluar el prototipo, detectar los fallos,sean estos de patrón, costura, acabados, selección de tejido… corregirlos y solicitar un nuevo prototipo. Esta iteración se da tantas veces como sea necesaria, con el correspondiente coste en tiempo y dinero.
Hace ya unos años, se popularizó la utilización de algunos programas CAD para intentar sustituir este proceso y abaratar costes ¿Cómo fue la cosa? Pues regular, los CAD no han terminado de cuajar en la industria, y podría ser por varios motivos. Está claro que son complicados de utilizar, la curva de aprendizaje es muy pronunciada, el otro motivo, más subjetivo pero capital en la industria más esteta, es que las representaciones visuales eran más bien feas, no vamos a negarlo.
Por si no lo sabías …
CLO3D y Marvelous Designer – son los ejemplos más conocidos de software CAD en la industria de la moda. Funcionan con física real, son capaces de calcular el peso de la tela, como se ve afectada por la gravedad, el roce con el avatar… es ingeniería. Requiere cálculos complejos ( mayor tiempo de renderizado y potencia de procesamiento) y sí, aprender a utilizarlos es bastante complejo.
ControlNet – la novedad que está abriendo la puerta a que la AI generativa pueda comerse la tostada de los CAD´s. Su funcionamiento, se basa en la estadística visual, no conoce el peso de la seda, pero ha “aprendido” a partir de 50 millones de fotos de vestidos de seda. Sabe cómo la luz afecta a los pliegues, y cómo se arruga el tejido al sentarse.
Si comparamos un modelo creado con CLO3D y uno que utilice ControlNet, lo más curioso es que el segundo es percibido como más realista y orgánico que el primero, que a pesar de utilizar una lógica matemática parece más plástico.
Ahora que hemos presentado la situación actual, surge la pregunta ¿Podría la AI convertir un boceto 2D en una prototipo totalmente realista con los patrones de costura específicos?
La respuesta es que SI es técnicamente posible. Y además de ser esta una apuesta lógica para cualquiera que entienda cómo funciona la AI, está demostrado gracias a Neural Taylor. Este interesante proyecto de investigación académica entrenó a una red neuronal para que fuese capaz de deducir los patrones de costura de una prenda a partir de su imagen 3D o foto. Es la demostración matemática de que una AI puede adivinar cuales son los patrones y costuras necesarios para obtener una determinada forma en 3D. Esta investigación abre la puerta a diversas propuestas de software comercial actualmente en desarrollo.
Entonces ¿Qué falta?
A día de hoy, la AI generativa con ControlNet no conoce el patronaje y no sabe cómo se construyen las prendas. Se pueden obtener representaciones maravillosas, pero el programa no sabe convertirla en una archivo .dxf listo para extraer las piezas de patrón.
Es decir, aún necesitamos los CAD´s para esta parte, aunque la cosa está cambiando y muy rápido.
INVERSE RENDERING y GARMENT RECONSTRUCTION
Como profesora de diseño siempre digo a mis alumnos que la mejor forma de comprender el paso del 2D al 3D de las prendas es realizar una deconstrucción.
Escoger una prenda y deshacerla, abrir todas las costuras y luego elaborar un cuadro con todas las piezas de patrón, rellenos, entretelas … No olvidemos que la AI también aprende, y esta metodología es similar a la que utiliza el módulo iCreate de Style3D.
Cuando subes la imagen a iCreate el módulo deduce cómo sería su estructura 3D.
Una vez tienes la estructura 3D, el software la “aplana” para obtener los patrones. Ahora sí, en archivos dxf vectoriales listos para su uso ¿Es perfecto? No, pero va en camino, es una cuestión de entrenarlo más.
Aquí el razonamiento es diferente. Imagina que trabajas con un patronista poco experimentado, pero que sabe hacer los patrones más comunes, no solo bases sino las transformaciones más utilizadas.
Resleeve puede deducir a partir de la imagen el tipo de manga o cuello que lleva, y realizar una ficha técnica en base a esa información. Requiere cierta intervención, pero es un buen atajo.
En conclusión ,a día de hoy, la AI no ha sustituído a los CAD en la parte técnica, pero en la práctica ya es posible utilizando atajos y una combinación de diferentes AI´s con enfoques distintos en sus métodos de aprendizaje.
En FormArte consideramos imprescindible ser parte de los grandes cambios que se están produciendo a día de hoy en la industria textil a través de la educación. Nuestro método formativo no busca solo enseñar conceptos concretos, sino, hacer de la experimentación y la curiosidad un sistema que,pese a la profundidad de los cambios, perdure en el tiempo.
Antía Cedrón docente de Diseño en la Escuela FormArte.
English version
🎨 How ControlNet is Gaining Ground to Own the Entire Design and Prototyping Process in the Fashion Industry
In recent months, AI has had a tremendously positive impact on accelerating design processes. The evolution has been lightning-fast, moving from the crude images of just a couple of years ago to the introduction of ControlNet, which is already beginning to displace CAD software in the creative phase.
However, there is still a giant leap to be made: the transition from 2D representation to physical prototyping. This is the holy grail that would lead to millions in savings, especially in the current climate where factories are often geographically separated from design studios.
💡 In Case You Didn’t Know…
What is ControlNet? This technology achieves highly aesthetic and realistic representations of garments and fabrics by utilizing:
- LineArt (line detection)
- OpenPose (mannequin/pose control)
- Depth (volume physics based on light and shadow—Oh, the memories of life drawing classes!)
The Current Problem: Iterative Prototyping
Nearly every European fashion designer knows that they have to physically visit the factories, usually in Asia, where prototypes are made, at least once a month. The purpose of this trip is to evaluate the prototype, identify flaws (in pattern, stitching, finishing, fabric selection, etc.), correct them, and request a new sample. This iteration cycle repeats as many times as necessary, incurring significant costs in both time and money.
A few years ago, the use of some CAD (Computer-Aided Design) programs was popularized to try and substitute this process and reduce costs. How did that work out? Not great. CAD hasn’t fully caught on in the industry, and there are a few possible reasons. They are notoriously difficult to use—the learning curve is very steep. The other reason, more subjective but crucial in this highly aesthetic industry, is that the visual representations were, well, ugly. We can’t deny it.
💡 In Case You Didn’t Know…
- CLO3D and Marvelous Designer are the best-known examples of CAD software in the fashion industry. They operate on real physics: they can calculate the fabric’s weight, how it’s affected by gravity, friction with the avatar… it’s engineering. This requires complex calculations (more rendering time and processing power), and yes, they are quite complex to learn.
- ControlNet is the novelty that’s opening the door for generative AI to steal the CAD software’s thunder. Its operation is based on visual statistics. It doesn’t know the weight of silk, but it has «learned» from 50 million photos of silk dresses. It knows how light affects the folds and how the fabric creases when someone sits down.
If we compare a model created with CLO3D and one using ControlNet, the curious thing is that the second one is often perceived as more realistic and organic than the first, which, despite using mathematical logic, often looks more plastic.
The Million-Dollar Question
Now that we’ve set the stage, the question arises: Could AI convert a 2D sketch into a completely realistic prototype with the specific sewing patterns?
The answer is that YES, it is technically possible. And in addition to being a logical hypothesis for anyone who understands how AI works, it has been demonstrated thanks to Neural Taylor. This fascinating academic research project trained a neural network to deduce the sewing patterns of a garment from its 3D image or photo. This is the mathematical proof that an AI can deduce the patterns and seams needed to achieve a specific 3D shape. This research is opening the door to various commercial software proposals currently under development.
So, What’s Missing?
As of today, generative AI with ControlNet does not understand pattern-making and does not know how garments are constructed. While it can produce marvelous visual representations, the program doesn’t know how to convert them into a .dxf file ready to extract the pattern pieces.
In other words, we still need CAD software for this technical part, although the situation is changing—and fast.
INVERSE RENDERING and GARMENT RECONSTRUCTION
As a design instructor, I always tell my students that the best way to understand the 2D to 3D transition of garments is by performing a deconstruction.
Choose a garment, take it apart, open all the seams, and then create a chart with all the pattern pieces, padding, interfacing… We must remember that AI also learns, and this methodology is similar to the one used by the iCreate module from Style3D.
When you upload the image to iCreate, the module deduces what its 3D structure would be.
Once the 3D structure is obtained, the software «flattens» it to get the patterns. Now they are in vector .dxf files ready for use. Is it perfect? No, but it’s getting there; it’s a matter of further training.
Resleeve.AI
Here, the reasoning is different. Imagine you’re working with a less experienced pattern maker who knows how to create the most common patterns—not just basic blocks but the most frequently used transformations.
Resleeve can deduce the type of sleeve or collar from the image and generate a technical sheet based on that information. It still requires some human intervention, but it’s a great shortcut.
In Conclusion
As of today, AI has not completely replaced CAD in the technical phase. However, in practice, it is already possible to achieve a near-full process by using shortcuts and a combination of different AI systems, each with distinct learning methodologies.
At FormArte, we consider it essential to be part of the major changes currently taking place in the textile industry through education. Our training method aims not just to teach specific concepts but to foster experimentation and curiosity as a system that will endure over time, regardless of the depth of technological change.
Antía Cedrón, Design Instructor at FormArte School
