भाषा चुनें

DeepVRSketch+: AR/VR स्केचिंग और जेनरेटिव AI के माध्यम से व्यक्तिगत 3D फैशन निर्माण

एक शोध पत्र जो एक नवीन ढांचा प्रस्तावित करता है, जो सशर्त डिफ्यूजन मॉडल और एक नए डेटासेट की सहायता से, AR/VR में सहज 3D स्केचिंग के माध्यम से आम उपयोगकर्ताओं को उच्च-गुणवत्ता वाले 3D डिजिटल परिधान बनाने में सक्षम बनाता है।
diyshow.org | PDF Size: 11.8 MB
रेटिंग: 4.5/5
★ ★ ★ ★ ★
आपकी रेटिंग
आपने पहले ही इस दस्तावेज़ को रेट कर दिया है
PDF दस्तावेज़ कवर - DeepVRSketch+: AR/VR स्केचिंग और जेनरेटिव AI के माध्यम से व्यक्तिगत 3D फैशन निर्माण
PDF दस्तावेज़ देखें PDF डाउनलोड करें PDF अनुवाद करें
होम » दस्तावेज़ीकरण » DeepVRSketch+: AR/VR स्केचिंग और जेनरेटिव AI के माध्यम से व्यक्तिगत 3D फैशन निर्माण

1. परिचय एवं अवलोकन

यह कार्य, "From Air to Wear: AR/VR इमर्सिव 3D स्केचिंग के साथ व्यक्तिगत 3D डिजिटल फैशन," डिजिटल फैशन निर्माण के लोकतंत्रीकरण में एक महत्वपूर्ण अंतर को संबोधित करता है। जैसे-जैसे AR/VR प्रौद्योगिकियां मुख्यधारा की उपभोक्ता इलेक्ट्रॉनिक्स बन रही हैं, व्यक्तिगत वर्चुअल पहचान और अभिव्यक्ति की मांग तेजी से बढ़ रही है। हालांकि, पेशेवर 3D मॉडलिंग टूल गैर-विशेषज्ञों के लिए अब भी दुर्गम बने हुए हैं। लेखक DeepVRSketch+ प्रस्तावित करते हैं, एक नवीन ढांचा जो उपयोगकर्ताओं को AR/VR उपकरणों का उपयोग करके केवल 3D स्थान में स्केचिंग करके विस्तृत 3D परिधान मॉडल बनाने की अनुमति देता है। यह प्रणाली अस्पष्ट, फ्रीहैंड स्केचों की व्याख्या करने और उच्च-निष्ठा, पहनने योग्य डिजिटल कपड़े उत्पन्न करने के लिए एक सशर्त डिफ्यूजन मॉडल का लाभ उठाती है।

मुख्य अंतर्दृष्टि

  • डिजाइन का लोकतंत्रीकरण: 3D परिधान निर्माण को विशेषज्ञ-केवल सॉफ्टवेयर से सहज, इमर्सिव स्केचिंग की ओर स्थानांतरित करता है।
  • डेटा-संचालित नवाचार: युग्मित 3D स्केच-परिधान डेटा की कमी को दूर करने के लिए KO3DClothes डेटासेट का परिचय देता है।
  • इमर्सिव इंटरैक्शन: AR/VR की प्राकृतिक 3D इनपुट विधा का उपयोग करता है, जो अगली पीढ़ी के मानव-कंप्यूटर इंटरैक्शन प्रतिमानों के साथ संरेखित है।
  • जेनरेटिव AI केंद्र: अस्पष्ट इनपुट से मजबूत और यथार्थवादी जनन के लिए एक सशर्त डिफ्यूजन मॉडल का उपयोग करता है।

2. पद्धति एवं तकनीकी ढांचा

प्रस्तावित प्रणाली एक बहु-चरणीय पाइपलाइन पर निर्मित है, जिसे उपयोगकर्ता के इरादे (स्केच) और विस्तृत 3D आउटपुट (परिधान) के बीच की खाई को पाटने के लिए डिज़ाइन किया गया है।

2.1. DeepVRSketch+ आर्किटेक्चर

इसका केंद्र एक सशर्त जननात्मक मॉडल है। एक स्केच एनकोडर 3D स्केच बिंदुओं या स्ट्रोक्स को एक अव्यक्त वेक्टर में प्रक्षेपित करता है। यह अव्यक्त कोड एक 3D परिधान डिफ्यूजन मॉडल को नियंत्रित करता है। डिफ्यूजन प्रक्रिया, जो Ho et al. (2020) जैसे अत्याधुनिक छवि संश्लेषण कार्यों से प्रेरित है, को परिधानों का प्रतिनिधित्व करने वाले 3D पॉइंट क्लाउड या अंतर्निहित कार्यों के लिए अनुकूलित किया गया है। मॉडल को एक यादृच्छिक 3D आकार को एक सुसंगत परिधान में विसंकुलित करने के लिए प्रशिक्षित किया जाता है जो नियंत्रण स्केच से मेल खाता है।

2.2. KO3DClothes डेटासेट

एक प्रमुख योगदान KO3DClothes डेटासेट का निर्माण है। इसमें युग्म शामिल हैं:
3D परिधान मॉडल: विभिन्न प्रकार के कपड़ों (ड्रेस, शर्ट, पैंट) के उच्च-गुणवत्ता वाले मेश।
उपयोगकर्ता-निर्मित 3D स्केच: एक अनुकरणित VR वातावरण में गैर-विशेषज्ञ उपयोगकर्ताओं द्वारा बनाए गए संबंधित स्केच, जो आकस्मिक इनपुट की अशुद्धि और शैली को कैप्चर करते हैं। यह डेटासेट सीधे तौर पर ऐसी क्रॉस-मोडल प्रणालियों के प्रशिक्षण के लिए उद्धृत "सीमित डेटा" समस्या का समाधान करता है।

2.3. अनुकूली पाठ्यक्रम शिक्षण

शोरगुल, उपयोगकर्ता-जनित स्केचों पर मॉडल को प्रभावी ढंग से प्रशिक्षित करने के लिए, लेखक एक अनुकूली पाठ्यक्रम शिक्षण रणनीति का उपयोग करते हैं। मॉडल शुरू में परिधानों के साथ युग्मित साफ, अधिक सटीक सिंथेटिक स्केचों से सीखता है, धीरे-धीरे वास्तविक उपयोगकर्ता डेटा से मेल खाने के लिए कठिनाई और शोर का स्तर बढ़ाता है। यह मजबूती और अंतिम आउटपुट गुणवत्ता में सुधार करता है।

3. प्रायोगिक परिणाम एवं मूल्यांकन

3.1. मात्रात्मक मापदंड

पेपर मानक 3D जनन मापदंडों का उपयोग करके कई आधार रेखाओं के विरुद्ध मूल्यांकन करता है:

  • चैम्फर दूरी (CD): उत्पन्न पॉइंट क्लाउड और ग्राउंड ट्रुथ के बीच की औसत निकटतम-बिंदु दूरी को मापती है। DeepVRSketch+ ने निकटतम आधार रेखा की तुलना में ~15% कम CD की सूचना दी, जो श्रेष्ठ ज्यामितीय सटीकता को इंगित करता है।
  • फ्रेचेट पॉइंट क्लाउड दूरी (FPD): 3D पॉइंट क्लाउड के लिए फ्रेचेट इंसेप्शन दूरी (FID) का एक अनुकूलन, उत्पन्न और वास्तविक वितरणों की सांख्यिकीय समानता का आकलन करता है। मॉडल ने काफी बेहतर FPD स्कोर प्राप्त किया।
  • स्केच-परिधान पत्राचार सटीकता: एक कस्टम मीट्रिक जो मापता है कि उत्पन्न परिधान इनपुट स्केच के अर्थपूर्ण इरादे (जैसे, आस्तीन की लंबाई, स्कर्ट का आकार) के साथ कितनी अच्छी तरह संरेखित है।

3.2. उपयोगकर्ता अध्ययन एवं गुणात्मक विश्लेषण

बिना किसी पूर्व 3D मॉडलिंग अनुभव वाले प्रतिभागियों के साथ एक उपयोगकर्ता अध्ययन आयोजित किया गया। मुख्य निष्कर्ष:

  • उपयोगिता: 85% से अधिक उपयोगकर्ताओं ने VR स्केचिंग इंटरफ़ेस को सहज और आनंददायक पाया।
  • आउटपुट गुणवत्ता: उत्पन्न परिधानों को यथार्थवादिता और उपयोगकर्ता के स्केच किए गए इरादे के अनुपालन के लिए उच्च रेट किया गया।
  • तुलना: पेपर में साइड-बाय-साइड दृश्य तुलनाएं (जैसे, चित्र 4 और 5) दर्शाती हैं कि DeepVRSketch+ Sketch2Mesh या सामान्य पॉइंट क्लाउड पूर्णता नेटवर्क जैसी विधियों की तुलना में अधिक विस्तृत, सुसंगत और यथार्थवादी परिधान उत्पन्न करता है, जो अक्सर धब्बेदार या विकृत आकार आउटपुट करते हैं।

4. मूल विश्लेषण एवं विशेषज्ञ अंतर्दृष्टि

मूल अंतर्दृष्टि: यह पेपर केवल 3D जनन में एक और वृद्धिशील सुधार नहीं है; यह इमर्सिव इंटरैक्शन और लोकतांत्रिक AI-संचालित निर्माण के अभिसरण पर एक रणनीतिक दांव है। लेखक सही ढंग से पहचानते हैं कि उपभोक्ता AR/VR के लिए किलर ऐप केवल उपभोग नहीं, बल्कि निर्माण है। 3D सामग्री निर्माण की बाधा को "हवा में चित्र बनाने" के स्तर तक कम करके, वे मेटावर्स की मूलभूत कमी को लक्षित कर रहे हैं: उच्च-गुणवत्ता, उपयोगकर्ता-जनित संपत्तियां।

तार्किक प्रवाह: तर्क प्रभावशाली है: 1) AR/VR सही 3D कैनवास (इनपुट) प्रदान करता है, 2) जेनरेटिव AI (डिफ्यूजन मॉडल) गन्दे इनपुट की व्याख्या करने के लिए बुद्धिमत्ता प्रदान करता है (प्रसंस्करण), और 3) डिजिटल फैशन/मेटावर्स अर्थव्यवस्था उपयोग के मामले और मुद्रीकरण की संभावना (आउटपुट) प्रदान करती है। KO3DClothes डेटासेट का निर्माण महत्वपूर्ण, अक्सर अनदेखी की गई, इंजीनियरिंग कार्य है जो AI जादू को संभव बनाता है—जो ImageNet या ShapeNet जैसे डेटासेटों की अपने संबंधित क्षेत्रों में निभाई गई निर्णायक भूमिका की प्रतिध्वनि है।

शक्तियां एवं दोष: प्रमुख शक्ति इसका एंड-टू-एंड, उपयोगकर्ता-केंद्रित डिजाइन है। यह केवल एक नवीन GAN या डिफ्यूजन वेरिएंट प्रकाशित नहीं करता; यह एक पूर्ण वर्कफ़्लो समस्या का समाधान करता है। स्केच शोर को संभालने के लिए पाठ्यक्रम शिक्षण का उपयोग एक चतुर, व्यावहारिक स्पर्श है। हालांकि, पेपर का दोष ग्राफिक्स/AI पेपरों में आम चूक का है: परिधान भौतिकी और सिमुलेशन की उपेक्षा। एक दृश्यात्मक रूप से यथार्थवादी मेश, एनीमेशन के लिए सही टोपोलॉजी, सीम रेखाओं और फैब्रिक गुणों वाला एक कपड़ा-सिम्युलेटेबल परिधान के समान नहीं है। जैसा कि यूनिवर्सिटी ऑफ वाशिंगटन के ग्राफिक्स एंड इमेजिंग लेबोरेटरी के शोधकर्ताओं ने जोर दिया है, सच्चे डिजिटल परिधान उपयोगिता के लिए भौतिकी-आधारित सिमुलेशन पाइपलाइनों के साथ एकीकरण की आवश्यकता होती है। उत्पन्न आउटपुट, हालांकि प्रभावशाली हैं, गतिशील वर्चुअल ट्राई-ऑन के लिए तैयार "डिजिटल कपड़े" के बजाय "डिजिटल मूर्तियां" हो सकते हैं।

कार्रवाई योग्य अंतर्दृष्टि: उद्योग के खिलाड़ियों के लिए: 1) Meta (Horizon), Roblox, या Apple (Vision Pro) जैसे प्लेटफार्मों को इस शोध को अंतर्निहित निर्माण टूल्स के लिए एक खाका के रूप में देखना चाहिए। इस प्रौद्योगिकी का अधिग्रहण या लाइसेंसिंग निर्माता पारिस्थितिकी तंत्र को लॉक कर सकता है। 2) फैशन ब्रांडों को ग्राहकों के साथ सह-निर्माण टूल्स के रूप में ऐसी प्रणालियों का उपयोग करने के लिए साझेदारी करनी चाहिए, न कि केवल अंतिम संपत्ति जनन के लिए। 3) शोधकर्ताओं के लिए: अगली सीमा "स्केच-टू-सिम्युलेटेबल-गारमेंट" है। भविष्य के कार्यों को शुद्ध ज्यामिति से परे जाकर कार्यात्मक, एनिमेटेबल संपत्तियों की ओर बढ़ते हुए, भौतिक बाधाओं और पैरामीट्रिक परिधान पैटर्नों (जैसे कि CLOTH3D डेटासेट में) को जनन प्रक्रिया में एकीकृत करना होगा। NVIDIA के Kaolin जैसे ढांचों की सफलता, जो 3D डीप लर्निंग के लिए हैं, उद्योग की उन टूल्स की मांग को दर्शाती है जो दृश्य जनन और भौतिक यथार्थवादिता के बीच सेतु बनाते हैं।

5. तकनीकी गहन विवेचन

5.1. गणितीय सूत्रीकरण

सशर्त डिफ्यूजन प्रक्रिया केंद्रीय है। एक 3D स्केच $S$ और एक लक्ष्य 3D परिधान पॉइंट क्लाउड $G_0$ दिए जाने पर, अग्रगामी प्रक्रिया $T$ चरणों में गाऊसी शोर जोड़ती है: $$q(G_t | G_{t-1}) = \mathcal{N}(G_t; \sqrt{1-\beta_t} G_{t-1}, \beta_t I)$$ जहां $\beta_t$ एक शोर अनुसूची है। विपरीत, जननात्मक प्रक्रिया एक तंत्रिका नेटवर्क $\epsilon_\theta$ द्वारा सीखी जाती है: $$p_\theta(G_{t-1} | G_t, S) = \mathcal{N}(G_{t-1}; \mu_\theta(G_t, t, S), \Sigma_\theta(G_t, t, S))$$ नेटवर्क को जोड़े गए शोर की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, उद्देश्य के साथ: $$L = \mathbb{E}_{G_0, S, t, \epsilon \sim \mathcal{N}(0,I)} [\| \epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t} G_0 + \sqrt{1-\bar{\alpha}_t} \epsilon, t, E(S)) \|^2]$$ जहां $E(S)$ स्केच एनकोडर से अव्यक्त कोड है, और $\bar{\alpha}_t$, $\beta_t$ का एक फलन है।

5.2. विश्लेषण ढांचा: स्केच-से-परिधान पाइपलाइन

केस स्टडी: एक वर्चुअल ड्रेस डिजाइन करना
इनपुट (उपयोगकर्ता क्रिया): एक उपयोगकर्ता VR हेडसेट पहनता है और एक वर्चुअल मैनेक्विन के चारों ओर हवा में एक फ्लेयर्ड ड्रेस की मोटी 3D रूपरेखा खींचने के लिए कंट्रोलर का उपयोग करता है। स्केच अस्पष्ट है—रेखाएं डगमगाती हैं, और सिल्हूट अनुमानित है।
प्रसंस्करण (DeepVRSketch+):

  1. स्केच एनकोडिंग: 3D स्ट्रोक डेटा (बिंदु अनुक्रम) स्केच एनकोडर $E$ में फीड किया जाता है, एक अव्यक्त वेक्टर $z_s$ उत्पन्न करता है जो इच्छित आकार अर्थविज्ञान को कैप्चर करता है।
  2. सशर्त जनन: $z_s$ डिफ्यूजन मॉडल को नियंत्रित करता है। एक शोरगुल 3D पॉइंट क्लाउड $G_T$ से शुरू होकर, मॉडल $\epsilon_\theta$ इसे $T$ चरणों में पुनरावृत्त रूप से विसंकुलित करता है, प्रत्येक चरण में $z_s$ और टाइमस्टेप $t$ द्वारा निर्देशित होता है।
  3. पोस्ट-प्रोसेसिंग: आउटपुट घने पॉइंट क्लाउड को Poisson Surface Reconstruction जैसी तकनीक का उपयोग करके एक वॉटरटाइट मेश में परिवर्तित किया जाता है।
आउटपुट: एक फ्लेयर्ड ड्रेस का एक विस्तृत, उच्च-रिज़ॉल्यूशन 3D मेश, उपयोगकर्ता के इरादे के अनुरूप संभावित तह और फैब्रिक ड्रेप के साथ पूर्ण, टेक्सचरिंग और वर्चुअल वातावरण में उपयोग के लिए तैयार।

6. भविष्य के अनुप्रयोग एवं दिशाएं

  • रियल-टाइम सह-निर्माण एवं सामाजिक डिजाइन: बहु-उपयोगकर्ता VR स्पेस जहां दोस्त सहयोगात्मक रूप से स्केच कर सकते हैं और परिधानों को रियल-टाइम में उत्पन्न होते देख सकते हैं।
  • फिजिटल फैशन सेतु: भौतिक कपड़ों के डिजिटल फैब्रिकेशन (3D निटिंग, एडिटिव मैन्युफैक्चरिंग) के लिए उत्पन्न 3D मॉडल को एक खाका के रूप में उपयोग करना, जैसा कि MIT के मीडिया लैब द्वारा अन्वेषित किया गया है।
  • AI-सहायित पेशेवर डिजाइन: टूल को पेशेवर पाइपलाइनों (जैसे, CLO3D, Marvelous Designer) में एक आइडिएशन और रैपिड प्रोटोटाइपिंग मॉड्यूल के रूप में एकीकृत करना।
  • गतिशील परिधान जनन: ढांचे का विस्तार करके गति में परिधान उत्पन्न करना, स्केच और एक पोज़ अनुक्रम दोनों द्वारा नियंत्रित, जिसके लिए भौतिकी सिमुलेशन के साथ एकीकरण की आवश्यकता होती है।
  • व्यक्तिगत AI फैशन स्टाइलिस्ट: प्रणाली उपयोगकर्ता के प्रारंभिक स्केच और बताई गई प्राथमिकताओं (जैसे, "अधिक औपचारिक," "ग्रीष्मकालीन पहनावा") के आधार पर स्केच संशोधन या पूर्ण पोशाकें उत्पन्न करने का सुझाव दे सकती है।

7. संदर्भ

  1. Zang, Y., Hu, Y., Chen, X., et al. (2021). From Air to Wear: Personalized 3D Digital Fashion with AR/VR Immersive 3D Sketching. Journal of LaTeX Class Files.
  2. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems (NeurIPS).
  3. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV).
  4. Bertiche, H., Madadi, M., & Escalera, S. (2020). CLOTH3D: Clothed 3D Humans. European Conference on Computer Vision (ECCV).
  5. Chang, A. X., Funkhouser, T., Guibas, L., et al. (2015). ShapeNet: An Information-Rich 3D Model Repository. arXiv preprint arXiv:1512.03012.
  6. NVIDIA Kaolin Library. (n.d.). Retrieved from https://developer.nvidia.com/kaolin
  7. University of Washington Graphics and Imaging Lab (GRAIL). (n.d.). Research on Cloth Simulation. Retrieved from https://grail.cs.washington.edu/