روش جدید برای تولید اشکال سه‌بعدی واقع‌گرایانه با هوش‌مصنوعی مولد

تبدیل تصاویر 2D به اشکال 3D

ساخت مدل‌های واقع‌گرایانه 3D برای کاربردهایی مثل واقعیت مجازی و طراحی مهندسی معمولاً کار سختی است و نیاز به آزمایش‌های دستی زیادی دارد. مدل‌های هوش مصنوعی تولیدی که برای ایجاد تصاویر 2D از متن استفاده می‌شوند، به خوبی می‌توانند فرآیندهای هنری را ساده کنند، اما معمولاً برای تولید اشکال 3D طراحی نشده‌اند.

تکنیک Score Distillation

برای حل این مشکل، محققان MIT تکنیک جدیدی به نام Score Distillation ایجاد کرده‌اند که از مدل‌های تولید تصویری 2D برای ایجاد اشکال 3D استفاده می‌کند. با این حال، خروجی این تکنیک معمولاً کیفیت پایینی دارد و یا به شکل تصاویر کارتونی در می‌آید. محققان MIT با بررسی الگوریتم‌ها و شناسایی دلایل کیفیت پایین این مدل‌ها، راه حلی برای بهبود Score Distillation ارائه کردند. این راه حل به تولید اشکال 3D تیز و باکیفیت کمک می‌کند، چیزی که تا به حال دشوار بود.

مزایای تکنیک جدید

تکنیک محققان MIT کیفیت اشکال 3D را بدون نیاز به آموزش اضافی یا پردازش پیچیده، به سطحی بهتر از روش‌های سنتی می‌رساند. همچنین با شناسایی دقیق‌تر نقاط ضعف تکنیک Score Distillation، به درک ریاضی بهتری از آن نیز دست یافتند که می‌تواند به بهبودهای بیشتری در آینده کمک کند.

آرتیم لوکویانوو، دانشجوی کارشناسی ارشد برق و علوم کامپیوتر MIT، می‌گوید: “حالا می‌دانیم که به کجا باید برویم و این به ما اجازه می‌دهد راه‌حل‌های سریع‌تر و باکیفیت‌تری پیدا کنیم.”

مدل‌های انتشار و چالش‌ها

مدل‌های انتشار مانند DALL-E می‌توانند تصاویر واقع‌گرایانه‌ای از نویز تصادفی تولید کنند. به دلیل کمبود داده‌های 3D برای آموزش، این مدل‌ها نمی‌توانند به خوبی اشکال 3D را ایجاد کنند. در سال 2022، محققان تکنیک Sampling Score Distillation (SDS) را توسعه دادند که از مدل‌های منتشر شده برای ترکیب تصاویر 2D به یک نمایش 3D استفاده می‌کند.

با این حال، اشکال 3D تولیدشده معمولاً به صورت تار یا اشباع‌شده به نظر می‌رسند. محققان MIT با بررسی مراحل SDS، به عدم تطابقی در فرمول‌های کلیدی پی بردند که باعث کیفیت پایین می‌شد. آن‌ها با استفاده از تکنیک‌های تخمین زدن، موفق شدند تا کیفیت اشکال 3D را بهبود ببخشند و در عین حال از مدل‌های انتشار موجود بهره‌برداری کنند.

روش جدید آن‌ها به تولید اشکال 3D واقع‌گرایانه و صاف بدون نیاز به آموزش مجدد پرهزینه انجامید. این اشکال تقریباً به اندازه اشکال تولیدشده با روش‌های دیگر تیز و کیفیت بالا هستند.

با اینکه این تکنیک مزایای زیادی دارد، هنوز هم به مشکلات مدل‌های بنیادی وابسته است که می‌تواند به خطاهایی منجر شود. محققان امیدوارند با بهبود این مدل‌ها، فرایند خود را نیز بهبود بدهند.

آرتیم لوکویانوو، تحقیقات خود را با حمایت مرکز تحقیقات مشترک تویوتا-CSAIL انجام می‌دهد و تحقیقات وینسنت سیتزمن و جاستین سالومون نیز توسط موسسات مختلفی تأمین مالی شده است.

منبع: news.mit.edu