محققان نقاط کور مدل‌های بینایی کامپیوتری در تصاویر حیات وحش را یافتند

“`html

بررسی مدل‌های هوش مصنوعی برای کمک به محققان محیط زیست

تصور کن که بخواهی عکس‌هایی از حدود ۱۱۰۰۰ نوع درخت در آمریکای شمالی بگیری. حتی با این حال، فقط یک بخش کوچکی از میلیون‌ها عکس موجود در دیتاست‌های تصاویر طبیعت را خواهی دید. این مجموعه‌های بزرگ از عکس‌ها — که شامل هر چیزی از پروانه‌ها تا نهنگ‌های گوژپشت می‌شود — ابزاری عالی برای محققان زیست‌محیطی هستند، چون به آن‌ها کمک می‌کنند تا رفتارهای خاص موجودات، شرایط نادر، الگوهای مهاجرت و واکنش‌ها به آلودگی و تغییرات اقلیمی را بهتر درک کنند.

چالش‌ها در استفاده از داده‌های تصویری

با اینکه دیتاست‌های تصاویر طبیعت جامع هستند، اما هنوز به اندازه‌ای که باید، مفید نیستند. جستجو در این پایگاه‌های داده وقت‌گیر است و یافتن تصاویر مرتبط با فرضیه‌ها دشوار است. به همین دلیل، استفاده از دستیارهای پژوهشی خودکار یا مدل‌های هوش مصنوعی چندحالته (VLMs) می‌تواند بهترین گزینه باشد. این مدل‌ها هم بر روی متن و هم تصاویر آموزش دیده‌اند و به همین خاطر جزئیات ظریف‌تری را شناسایی می‌کنند.

آزمون‌ها و نتایج

تحقیقات انجام شده توسط تیمی از MIT، دانشگاه کالج لندن و دیگر موسسات، نشان داد که مدل‌های VLM بزرگ‌تر و پیشرفته‌تر می‌توانند در گاهی اوقات نتایج بهتری برای محققان ارائه دهند. این مدل‌ها در شناسایی محتواهای بصری مانند شناسایی زباله‌ها روی صخره‌ها عملکرد خوبی داشتند، اما در مسائل تخصصی‌تر مثل شناسایی شرایط بیولوژیکی خاص چالش‌هایی داشتند. به عنوان مثال، شناسایی آکسانتیسم در قورباغه‌های سبز به سادگی امکان‌پذیر نبود.

نتایج این تحقیقات نشان می‌دهند که برای پردازش پرسش‌های دشوار، به داده‌های آموزشی خاص‌تر نیاز است. یکی از محققان، ادوارد وندروا، اعتقاد دارد که آشنایی با داده‌های بیشتر و اطلاعاتی می‌تواند روزی VLMs را به دستیاران پژوهشی فوق‌العاده تبدیل کند.

داده‌های INQUIRE

دیتاست INQUIRE شامل پرسش‌هایی است که از نظرات کارشناسان زیست‌شناسی و اقیانوس‌شناسی شکل‌گرفته و بر اساس تصاویر خاصی طراحی شده‌اند. یک تیم از annotators با صرف ۱۸۰ ساعت، تقریباً ۲۰۰۰۰۰ نتیجه را بررسی کردند و ۳۳۰۰۰ جستجو را برچسب‌گذاری کردند.

پژوهشگران همچنین آزمایش کردند که چگونه VLMs می‌توانند تصاویر موجود در بانک اطلاعاتی iNaturalist را بازیابی کنند و در این فرآیند، برخی از مدل‌ها قادر به شناسایی بهتر نبودند. برای مثال، نتایج مربوط به درختان سرخ‌چوب گاهی شامل تصاویری از درختان بدون نشانه‌های سوختگی بود.

آینده و عملکرد بهتر

تحقیقات نشان می‌دهد که حتی مدل‌های بزرگ و قوی هنوز هم در برخی وظایف دچار مشکل هستند. این نتایج در کنفرانس NeurIPS ارائه شد و محققان در حال کار روی سیستم‌های جستجوی جدیدی هستند تا تصویرهای خاص‌تری از حیات وحش را به راحتی پیدا کنند.

داده‌های INQUIRE به محققان کمک می‌کند تا بتوانند جستجوهایی فراتر از سوالات ساده محققان را توسعه دهند و بر روی داده‌های وسیع‌تر تمرکز کنند. پژوهشگران به دنبال آن هستند تا با بهبود الگوریتم‌ها، نتایج بهتری را ارائه دهند.

منبع: news.mit.edu

“`