F'artikolu ġdid Point-E: Sistema għall-ġenerazzjoni ta' sħab ta' punti 3D minn sinjali kumplessi, it-tim ta' riċerka OpenAI jintroduċi Point E, sistema ta' sinteżi kondizzjonali ta' test ta' sħab ta' punti 3D li tuża mudelli ta' diffużjoni biex toħloq forom 3D varjati u kumplessi mmexxija minn test kumpless. indikazzjonijiet.fi minuti fuq GPU waħda.
Il-prestazzjoni aqwa tal-mudelli tal-lum tal-lum għall-ġenerazzjoni tal-immaġni stimulat ir-riċerka fil-ġenerazzjoni ta 'oġġetti tat-test 3D.Madankollu, b'differenza mill-mudelli 2D, li jistgħu jiġġeneraw output f'minuti jew saħansitra sekondi, mudelli ġenerattivi ta 'oġġetti tipikament jeħtieġu diversi sigħat ta' xogħol GPU biex jiġġeneraw kampjun wieħed.
F'artikolu ġdid Point-E: Sistema għall-ġenerazzjoni ta 'sħab ta' punti 3D minn sinjali kumplessi, it-tim ta 'riċerka OpenAI jippreżenta Point·E, sistema ta' sintesi kondizzjonali testwali għal sħab ta 'punti 3D.Dan l-approċċ il-ġdid juża mudell ta 'propagazzjoni biex joħloq forom 3D varjati u kumplessi minn sinjali ta' test kumplessi f'minuta jew tnejn biss fuq GPU waħda.
It-tim huwa ffukat fuq l-isfida tal-konverżjoni tat-test għal 3D, li hija kritika għad-demokratizzazzjoni tal-ħolqien tal-kontenut 3D għal applikazzjonijiet fid-dinja reali li jvarjaw minn realtà virtwali u logħob sa disinn industrijali.Metodi eżistenti għall-konverżjoni tat-test għal 3D jaqgħu f'żewġ kategoriji, li kull waħda minnhom għandha l-iżvantaġġi tagħha: 1) mudelli ġenerattivi jistgħu jintużaw biex jiġġeneraw kampjuni b'mod effiċjenti, iżda ma jistgħux skala b'mod effiċjenti għal sinjali ta 'test diversi u kumplessi;2) mudell ta 'immaġni ta' test imħarreġ minn qabel biex jimmaniġġja indikazzjonijiet ta 'test kumplessi u varjati, iżda dan l-approċċ huwa komputazzjoni intensiv u l-mudell jista' faċilment jeħel f'minimu lokali li ma jikkorrispondux għal oġġetti 3D sinifikanti jew koerenti.
Għalhekk, it-tim esplora approċċ alternattiv li għandu l-għan li jgħaqqad is-saħħiet taż-żewġ approċċi ta 'hawn fuq, billi juża mudell ta' diffużjoni minn test għal immaġni mħarreġ fuq sett kbir ta 'pari test-immaġini (li jippermettilu jimmaniġġja sinjali diversi u kumplessi) u mudell ta 'diffużjoni ta' immaġini 3D imħarreġ fuq sett iżgħar ta 'pari test-immaġni.immaġni-3D par dataset.Il-mudell minn test għal immaġni l-ewwel jieħu kampjuni tal-immaġni tal-input biex joħloq rappreżentazzjoni sintetika waħda, u l-mudell minn immaġini għal 3D joħloq sħaba ta 'punti 3D ibbażata fuq l-immaġni magħżula.
Il-munzell ġenerattiv tal-kmand huwa bbażat fuq oqfsa ġenerattivi proposti reċentement biex jiġġeneraw immaġini kondizzjonali mit-test (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Huma jużaw mudell GLIDE bi 3 biljun parametri GLIDE (Nichol et al., 2021), irfinati fuq mudelli 3D mogħtija, bħala l-mudell tagħhom ta’ trasformazzjoni minn test għal immaġni, u sett ta’ mudelli ta’ diffużjoni li jiġġeneraw sħab ta’ punti RGB bħala tagħhom. mudell ta' trasformazzjoni.immaġini għal immaġini.Mudelli 3D.
Filwaqt li xogħol preċedenti uża arkitetturi 3D biex jipproċessa sħab tal-punti, ir-riċerkaturi użaw mudell sempliċi bbażat fuq transducer (Vaswani et al., 2017) biex itejbu l-effiċjenza.Fl-arkitettura tal-mudell tad-diffużjoni tagħhom, l-immaġini tas-sħab tal-punti l-ewwel jiġu mitmugħa f'mudell ViT-L/14 CLIP imħarreġ minn qabel u mbagħad il-malji tal-output jiddaħħlu fil-konvertitur bħala markaturi.
Fl-istudju empiriku tagħhom, it-tim qabbel il-metodu Point·E propost ma 'mudelli 3D ġenerattivi oħra fuq sinjali ta' punteġġ minn sejbien ta 'oġġetti COCO, segmentazzjoni, u settijiet ta' dejta tal-firma.Ir-riżultati jikkonfermaw li Point·E huwa kapaċi jiġġenera forom 3D diversi u kumplessi minn sinjali ta 'test kumplessi u jħaffef il-ħin ta' inferenza b'wieħed jew żewġ ordnijiet ta 'kobor.It-tim jittama li x-xogħol tagħhom jispira aktar riċerka fis-sinteżi tat-test 3D.
Mudell ta’ propagazzjoni ta’ sħaba ta’ punti mħarrġa minn qabel u kodiċi ta’ evalwazzjoni huma disponibbli fuq GitHub tal-proġett.Dokument Point-E: Sistema għall-ħolqien ta' sħab ta' punti 3D minn ħjiel kumplessi tinsab fuq arXiv.
Aħna nafu li ma tridx titlif l-ebda aħbarijiet jew skoperta xjentifika.Abbona man-newsletter popolari tagħna Synced Global AI Weekly biex tirċievi aġġornamenti tal-AI ta' kull ġimgħa.
Ħin tal-post: Diċ-28-2022