Chagua Lugha

Kutoka Hewani Hadi Kuvaa: Uundaji wa Mitindo ya Kidijitali ya 3D Kulingana na Mtazamo Binafsi Kupitia Uchoraji wa AR/VR

Mfumo mpya unaowezesha watumiaji wa kawaida kuunda nguo za 3D zenye ubora wa juu kupitia uchoraji wa 3D unaoeleweka katika mazingira ya AR/VR, unaoendeshwa na mfano wa usambazaji wenye masharti na seti mpya ya data.
diyshow.org | PDF Size: 11.8 MB
Ukadiriaji: 4.5/5
★ ★ ★ ★ ★
Ukadiriaji Wako
Umekadiria waraka huu tayari
Kifuniko cha Waraka PDF - Kutoka Hewani Hadi Kuvaa: Uundaji wa Mitindo ya Kidijitali ya 3D Kulingana na Mtazamo Binafsi Kupitia Uchoraji wa AR/VR
Tazama Waraka PDF Pakua PDF Tafsiri PDF
Nyumbani » Nyaraka » Kutoka Hewani Hadi Kuvaa: Uundaji wa Mitindo ya Kidijitali ya 3D Kulingana na Mtazamo Binafsi Kupitia Uchoraji wa AR/VR

Yaliyomo

1. Utangulizi na Muhtasari

Kazi hii inashughulikia pengo muhimu katika kufanya uundaji wa mitindo ya kidijitali kuwa rahisi kwa wote. Ingawa teknolojia za AR/VR zinakuwa vifaa vya kawaida kwa watumiaji, zana za kuunda maudhui ya 3D ndani ya mazingira haya ya kuzama bado ni ngumu na hazipatikani kwa wasio wataalamu. Karatasi hii inapendekeza mfumo mpya wa mwisho-hadi-mwisho unaowezesha watumiaji wa kawaida kubuni nguo za 3D kulingana na mtazamo binafsi kupitia mchakato unaoeleweka: uchoraji wa mikono huru wa 3D katika mazingira ya AR/VR. Ubunifu mkuu upo katika mfano wa AI unaozalisha ambao unatafsiri michoro hii isiyo sahihi, inayofaa kwa mtumiaji na kuibadilisha kuwa miundo ya kina ya 3D ya nguo inayofaa kwa ulimwengu wa metaverse, kujaribu nguo mtandaoni, na usemi wa kidijitali.

Umuhimu wa mfumo huu ni wa pande mbili: inapunguza kikwazo cha kiufundi katika kubuni mitindo ya 3D, ikilingana na mwelekeo wa watumiaji kutumia teknolojia inayozamisha, na inaanzisha mfano mpya wa uundaji wa maudhui ya 3D unaotumia mwingiliano wa asili wa binadamu (uchoraji) badala ya kiolesura ngumu cha programu.

2. Mbinu na Mfumo wa Kiufundi

Mfumo unaopendekezwa, unaoitwa DeepVRSketch+, umejengwa juu ya nguzo tatu muhimu: seti mpya ya data, mfano wa kizalisha wenye masharti, na mkakati maalum wa mafunzo.

2.1. Seti ya Data ya KO3DClothes

Kikwazo kikubwa katika utafiti wa kuchora-hadi-3D ni ukosefu wa data zilizounganishwa (muundo wa 3D + michoro inayolingana ya mtumiaji). Ili kutatua hili, waandishi wanaanzisha KO3DClothes, seti mpya ya data iliyo na maelfu ya jozi za mitandao ya ubora wa juu ya nguo za 3D na michoro yao inayolingana ya 3D iliyoundwa na watumiaji katika mazingira ya VR. Seti hii ya data ni muhimu sana kwa kufundisha mfano kuelewa uhusiano kutoka kwa michoro ya binadamu ya kufikirika, mara nyingi isiyo safi, hadi jiometri sahihi ya 3D.

2.2. Usanifu wa DeepVRSketch+

Mfano mkuu wa kizalisha ni mfano wa usambazaji wenye masharti. Tofauti na GAN za kawaida ambazo zinaweza kukumbwa na kushindwa kwa hali na kutokuwa imara wakati wa mafunzo, mifano ya usambazaji imeonyesha mafanikio makubwa katika kuzalisha matokeo yenye ubora wa juu na tofauti, kama inavyothibitishwa na mifano kama DALL-E 2 na Stable Diffusion. Mfano huu huweka masharti ya mchakato wa uzalishaji kwenye mchoro wa 3D wa pembejeo, unaobadilishwa kuwa uwakilishi wa siri na kichocheo maalum cha mchoro. Mchakato wa usambazaji huondoa kelele kwa kurudia kutoka kwa usambazaji wa nasibu wa Gaussian ili kutoa voxel ya kweli ya nguo ya 3D au wingu la alama linalolingana na dhamira ya mchoro.

Mchakato wa mbele wa usambazaji huongeza kelele kwa sampuli halisi ya nguo ya 3D $x_0$ katika hatua $T$: $q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$. Mchakato wa nyuma, unaojifunza na mfano, umefafanuliwa kama: $p_\theta(x_{t-1} | x_t, c) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t, c), \Sigma_\theta(x_t, t, c))$, ambapo $c$ ni uingizwaji wa mchoro wenye masharti.

2.3. Kujifunza Mtaala Unaokabiliana na Mabadiliko

Ili kushughulikia tofauti kubwa katika ubora wa michoro kutoka kwa watumiaji wapya, waandishi hutumia mkakati wa kujifunza mtaala unaokabiliana na mabadiliko. Mfano hufundishwa kwanza kwenye michoro safi, sahihi iliyounganishwa na miundo yao ya 3D. Hatua kwa hatua, wakati wa mafunzo, unafunuliwa kwa michoro yenye viwango vinavyozidi vya kelele na ukosefu wa ukamilifu, ikifananisha pembejeo halisi kutoka kwa watumiaji wasio wataalamu. Hii inamfundisha mfano kuwa imara dhidi ya utata na usahihi.

3. Matokeo ya Utafiti na Tathmini

3.1. Vipimo vya Kiasi

Karatasi hii inatathmini mfano dhidi ya viwango kadhaa vya msingi kwa kutumia vipimo vya kawaida vya ujenzi upya wa 3D:

  • Umbali wa Chamfer (CD): Hupima umbali wa wastani wa alama karibu zaidi kati ya wingu la alama lililozalishwa na ukweli wa msingi. DeepVRSketch+ ilipata CD iliyo chini kwa 15% kuliko kiwango bora cha msingi.
  • Umbali wa Wapandikizaji wa Duniani (EMD): Hutathmini ufanano wa usambazaji wa kimataifa. Mfano uliopendekezwa ulionyesha utendaji bora.
  • Umbali wa Wingu la Alama la Fréchet (FPD): Marekebisho ya Umbali wa Kuanzishwa kwa Fréchet kwa mawingu ya alama ya 3D, ikikadiria ubora na utofauti wa sampuli zilizozalishwa.

3.2. Matokeo ya Ubora na Utafiti wa Watumiaji

Kwa ubora, nguo zilizozalishwa kutoka kwa DeepVRSketch+ zinaonyesha mavazi ya kweli zaidi, maelezo madogo zaidi (kama mikunjo na mafundo), na ufuasi bora wa umbo la jumla la mchoro ikilinganishwa na viwango vya msingi kama Sketch2Mesh au VR-SketchNet. Utafiti uliodhibitiwa wa watumiaji na washiriki 50 (mchanganyiko wa wabunifu na wasio wabunifu) ulifanyika. Washiriki walitumia kiolesura cha uchoraji cha AR/VR kuunda nguo na kukadiria mfumo huo. Matokeo muhimu:

  • Alama ya Uwezekano wa Kutumia: 4.3/5.0 kwa urahisi wa matumizi.
  • Uridhishaji wa Matokeo: 4.1/5.0 kwa ubora wa muundo wa 3D uliozalishwa.
  • Wasiokuwa wabunifu waliripoti kizuizi kidogo sana cha kuingia ikilinganishwa na programu za kawaida za 3D kama Blender au CLO3D.
Kielelezo. 1 katika karatasi hii kinaonyesha kwa ufupi mchakato huu: Mtumiaji anachora kwenye VR -> Mfano wa AI unachakata mchoro -> Muundo wa kweli wa 3D unazalishwa -> Muundo unaonyeshwa kwenye AR kwa kuona/kujaribu nguo mtandaoni.

4. Uchambuzi Mkuu na Ufahamu wa Mtaalamu

Ufahamu Mkuu: Karatasi hii sio tu juu ya kizalisha bora cha mfano wa 3D; ni dau la kimkakati kwenye mfereji wa kufanya mazingira ya kuzamisha yapatikane kwa wote. Waandishi wametambua kwa usahihi kwamba programu muhimu kwa AR/VR ya watumiaji sio matumizi tu, bali ni uundaji. Kwa kutumia lugha ya kawaida ya uchoraji—ustadi wa msingi wa binadamu—wanapita mwinuko wa kujifunza wa uundaji wa polygonal, wakishambulia moja kwa moja kizuizi kikuu cha kupitishwa kwa maudhui ya 3D yanayotengenezwa na watumiaji. Mbinu yao inafanana na falsafa nyuma ya zana kama Google's Quick Draw au RunwayML, ambazo huficha AI ngumu ndani ya kiolesura rahisi.

Mtiririko wa Mantiki: Mantiki hii ni ya kulazimisha: 1) Vifaa vya AR/VR vinakuwa vya kawaida (Meta Quest, Apple Vision Pro). 2) Kwa hivyo, msingi wa watumiaji wengi kwa uzoefu wa kuzamisha unazuka. 3) Hii huunda mahitaji ya mali ya kidijitali kulingana na mtazamo binafsi (mitindo ikiwa mgombea mkuu). 4) Zana zilizopo za uundaji wa 3D hazifai kwa soko hili kubwa. 5) Suluhisho: Panga ustadi wa karibu wa ulimwengu wote wa binadamu (kuchora) kwenye matokeo ngumu ya 3D kupitia mtafsiri imara wa AI (mfano wa usambazaji). Uanzishwaji wa seti ya data ya KO3DClothes ni kipengele muhimu, mara nyingi kilichopuuzwa, cha miundombinu inayowezesha tafsiri hii, ikikumbusha jinsi ImageNet ilivyoongeza kasi ya taswira ya kompyuta.

Nguvu na Kasoro: Nguvu kuu ni usanifu wa mzima, unaolenga mtumiaji wa mfereji mzima, kutoka pembejeo (mchoro wa VR) hadi matokeo (mali ya 3D inayoweza kutumiwa). Matumizi ya mfano wa usambazaji wenye masharti ni ya kisasa na yana sababu nzuri za kukamata usambazaji wa hali nyingi za nguo zinazowezekana kutoka kwa mchoro mmoja. Hata hivyo, kasoro—ya kawaida kwa karatasi nyingi za AI-ya-uundaji—iko katika tathmini ya "ubunifu." Mfano huu unafanya vizuri katika kutafsiri na kupanua kutoka kwa mchoro, lakini je unawezesha ubunifu wa kweli, au unachukua na kuchanganya tu muundo kutoka kwa data yake ya mafunzo? Hatari ni kufananisha mtindo, shimo linaloonekana katika baadhi ya mifano ya maandishi-hadi-picha. Zaidi ya hayo, gharama ya kihesabu ya mifano ya usambazaji kwa utabiri wa wakati halisi katika mazingira ya VR ya watumiaji haijashughulikiwa kwa kina, ikileta kizuizi cha uwezekano kwa mwingiliano laini.

Ufahamu Unaoweza Kutekelezwa: Kwa wachezaji wa tasnia, hitimisho la haraka ni kuwekeza katika zana za uundaji wa maudhui zinazoeleweka, zinazoendeshwa na AI kama sehemu muhimu ya mkakati wowote wa metaverse au jukwaa la kuzamisha. Wamiliki wa majukwaa (Meta, Apple, Roblox) wanapaswa kuona zana kama hii kama vipengele muhimu vya SDK ili kuanzisha uchumi wao. Kwa chapa za mitindo, mfano huu unaonyesha njia wazi ya kuwashirikisha wateja katika kubuni pamoja na kufanya bidhaa za mtandaoni kulingana na mtazamo binafsi kwa kiwango kikubwa. Mwelekeo wa utafiti wa kuangalia ni uhamisho kutoka kwa matokeo ya voxel/wingu la alama hadi aina nyepesi za mitandao zinazoweza kuhamasishwa na kufaa kwa uzalishaji, kwa uwezekano wa kuunganisha uigizaji wa fizikia kwa mavazi, kama inavyoonekana katika kazi ya NVIDIA kuhusu AI na fizikia.

5. Uchunguzi wa Kina wa Kiufundi

Mfano wa usambazaji wenye masharti unafanya kazi katika nafasi ya siri iliyojifunza. Kichocheo cha mchoro $E_s$ kinapanga wingu la alama la mchoro wa 3D $S$ ndani ya vekta ya siri $z_s = E_s(S)$. Vekta hii ya masharti $z_s$ huingizwa kwenye U-Net ya kuondoa kelele ya mfano wa usambazaji katika tabaka nyingi kupitia mbinu za umakini wa msalaba: $\text{Umakini}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d}})V$, ambapo $Q$ ni makadirio ya pembejeo yenye kelele $x_t$, na $K, V$ ni makadirio ya siri ya mchoro $z_s$. Hii inaruhusu mfano kuunganisha mchakato wa kuondoa kelele na vipengele vya jiometri na maana ya mchoro katika azimio tofauti.

Kazi ya hasara ni kikomo cha chini kilichobadilishwa cha uwezekano wa data, kikilenga kutabiri kelele iliyoongezwa katika kila hatua: $L(\theta) = \mathbb{E}_{t, x_0, \epsilon} [\| \epsilon - \epsilon_\theta(x_t, t, z_s) \|^2]$, ambapo $\epsilon$ ni kelele ya kweli na $\epsilon_\theta$ ni utabiri wa mfano.

6. Mfumo wa Uchambuzi na Uchunguzi wa Kesi

Mfumo wa Kutathmini Zana za Ubunifu za AI:

  1. Upatikanaji: Asili ya njia ya pembejeo (mfano, mchoro dhidi ya msimbo).
  2. Uaminifu: Ubora wa matokeo na ufuasi wa dhamira (inapimwa na CD, EMD, utafiti wa watumiaji).
  3. Udhibiti: Ukubwa wa udhibiti wa mtumiaji juu ya matokeo (umbo la kimataifa dhidi ya maelezo ya ndani).
  4. Ujumla: Uwezo wa kushughulikia pembejeo mbalimbali, zisizoonekana za watumiaji na mitindo.
  5. Ufaafu wa Uzalishaji: Ufanani wa umbizo la matokeo (mfano, .obj, .fbx, ramani za UV).

Uchunguzi wa Kesi: Kubuni "Gauni la Mavazi Asilimia"

  1. Kitendo cha Mtumiaji: Katika VR, mtumiaji anachora umbo la gauni lenye kola juu kwenye bega moja na mstari wa chini unaotiririka, usio sawa.
  2. Usindikaji wa Mfumo: Kichocheo cha mchoro kinakamata umbo la kimataifa la asilimia na dhamira ya ndani ya mavazi. Mfano wa usambazaji, wenye masharti juu ya hili, huanza kuondoa kelele. Kujifunza mtaala kunahakikisha kwamba ingawa mchoro hauna mpangilio, mfano unahusisha mistari inayotiririka na fizikia laini ya nguo.
  3. Matokeo: Mfano huzalisha mtandao wa 3D wa gauni. Kola juu inatambuliwa kama mkunjo ulioundwa, wakati mstari wa chini una mikunjo tofauti, inayoonekana asilia. Mtumiaji anaweza kisha kuzungusha, kuona kwenye AR kwenye sanamu ya mtandaoni, na kwa hiari kuboresha kwa kuchora tena maeneo fulani.
  4. Tathmini Kupitia Mfumo: Juu kwa Upatikanaji na Ujumla (ilishughulikia muundo usio wa kawaida). Uaminifu ni wa juu kwa mtazamo binafsi. Udhibiti ni wa wastani—mtumiaji hawezi kubadilisha kwa urahisi idadi kamili ya mikunjo baada ya uzalishaji, ikionyesha eneo la utafiti la baadaye.

7. Matumizi ya Baadaye na Mwelekeo

  • Uundaji wa Pamoja wa Wakati Halisi na Ubunifu wa Kijamii: Watumiaji wengi katika nafasi ya pamoja ya VR wakichora na kufanya marekebisho kwenye nguo moja wakati huo huo, na hakiki za AI zilizozalishwa moja kwa moja.
  • Unganishaji na Uigizaji wa Fizikia: Kuunganisha mfano wa kizalisha na viigizaji vya wakati halisi vya nguo (mfano, kulingana na NVIDIA FleX au PyBullet) ili kuhakikisha nguo zilizozalishwa zinakwenda na kuvikwa kwa kweli kwenye sanamu zilizohamasishwa tangu mwanzo.
  • Uboreshaji Unaongozwa na Maandishi na Sauti: Masharti ya njia nyingi. mfano, "Fanya mikono iwe yenye uvimbe zaidi" kupitia amri ya sauti au maagizo ya maandishi, ikiboresha matokeo ya awali yanayotegemea mchoro, sawa na InstructPix2Pix.
  • Daraja la Moja kwa Moja kwa Uzalishaji wa Kidijitali: Kwa mitindo ya kimwili, kupanua mfereji ili kuzalisha muundo wa kushona wa 2D kutoka kwa muundo wa 3D, ikisaidia katika uundaji wa nguo halisi za ulimwengu.
  • Msaidizi wa AI wa Mitindo Kulingana na Mtazamo Binafsi: Wakala wa AI anayejifunza mtindo wa kibinafsi wa mtumiaji kutoka kwa historia yake ya michoro na anaweza kupendekeza marekebisho, kukamilisha michoro isiyokamilika, au kuzalisha dhana mpya kabisa zinazolingana na ladha yake.

8. Marejeo

  1. Zang, Y., Hu, Y., Chen, X., et al. "Kutoka Hewani Hadi Kuvaa: Mitindo ya Kidijitali ya 3D Kulingana na Mtazamo Binafsi na Uchoraji wa 3D Unaozamisha wa AR/VR." Jarida la Faili za Darasa la Latex, 2021.
  2. Ho, J., Jain, A., & Abbeel, P. "Mifano ya Uwezekano wa Usambazaji wa Kuondoa Kelele." Maendeleo katika Mfumo wa Usindikaji wa Taarifa za Neural (NeurIPS), 2020. (Karatasi ya msingi ya mfano wa usambazaji).
  3. Rombach, R., Blattmann, A., Lorenz, D., et al. "Uundaji wa Picha za Azimio la Juu na Mifano ya Usambazaji ya Siri." Matukio ya Mkutano wa IEEE/CVF wa Kompyuta ya Kuona na Muundo wa Mfano (CVPR), 2022. (Kuhusu usambazaji wa nafasi ya siri).
  4. Isola, P., Zhu, J., Zhou, T., & Efros, A. A. "Tafsiri ya Picha-hadi-Picha na Mtandao wa Adversarial wenye Masharti." CVPR, 2017. (Mfumo wa Pix2Pix, msingi wa uzalishaji wenye masharti).
  5. NVIDIA. "Uigizaji wa Nguo na Fizikia wa NVIDIA." https://www.nvidia.com/en-us/design-visualization/technologies/cloth-physics-simulation/
  6. Meta. "Jukwaa la Uwepo: SDK ya Ufahamu kwa Ufuatiliaji wa Mikono." https://developer.oculus.com/documentation/unity/ps-hand-tracking/ (Inahusiana na njia ya pembejeo).