محققان مطالعه خود را بر یادگیری متضاد متمرکز کردند، که شکل قدرتمندی از یادگیری ماشینی خود نظارت است.
اجتناب از راه حل های میانبر در هوش مصنوعی -اگر راننده تاکسی اینترنتی شما از میانبر استفاده کند، ممکن است سریعتر به مقصد برسید. اما اگر یک مدل یادگیری ماشینی از میانبر استفاده کند، ممکن است به روش های غیرمنتظره ای شکست بخورد.
در یادگیری ماشینی، یک راه حل میانبر زمانی رخ می دهد که مدل برای تصمیم گیری، به جای یادگیری ماهیت واقعی داده ها، که می تواند منجر به پیش بینی های نادرست شود، به یک مشخصه ساده از یک مجموعه داده تکیه می کند.
برای مثال، یک مدل ممکن است یاد بگیرد که تصاویر گاوها را با تمرکز بر روی چمن سبزی که در عکس‌ها ظاهر می‌شود شناسایی کند، به جای اشکال و الگوهای پیچیده‌تر گاوها.
یک مطالعه جدید توسط محققان MIT مشکل میانبرها را در یک روش محبوب یادگیری ماشینی بررسی می‌کند و راه‌حلی را پیشنهاد می‌کند که می‌تواند با وادار کردن مدل به استفاده از داده‌های بیشتر در تصمیم‌گیری از میانبرها جلوگیری کند.
با حذف ویژگی‌های ساده‌تری که مدل بر روی آنها تمرکز می‌کند، محققان آن را مجبور می‌کنند تا بر روی ویژگی‌های پیچیده‌تر داده‌هایی تمرکز کند که در نظر گرفته نشده بود.
سپس، با درخواست از مدل برای حل یک کار به دو روش – یک بار با استفاده از آن ویژگی‌های ساده‌تر، و سپس با استفاده از ویژگی‌های پیچیده‌ای که اکنون شناسایی کرده است – تمایل به راه‌حل‌های میانبر را کاهش می‌دهند و عملکرد مدل را افزایش می‌دهند.
یکی از کاربردهای بالقوه این کار، افزایش اثربخشی مدل‌های یادگیری ماشینی است که برای شناسایی بیماری در تصاویر پزشکی استفاده می‌شوند.
راه حل های میانبر در این زمینه می تواند منجر به تشخیص های نادرست شود و پیامدهای خطرناکی برای بیماران داشته باشد.
هنوز دشوار است که بگوییم چرا شبکه‌های عمیق تصمیم‌هایی را می‌گیرند که انجام می‌دهند، و به ویژه، این شبکه‌ها هنگام تصمیم‌گیری روی کدام بخش از داده‌ها تمرکز می‌کنند.
جاشوا رابینسون، دانشجوی دکترا در دانشگاه می گوید: اگر بتوانیم نحوه عملکرد میانبرها را با جزئیات بیشتر درک کنیم، می توانیم حتی فراتر برویم و به برخی از سؤالات اساسی اما بسیار کاربردی که برای افرادی که در تلاش برای استقرار این شبکه ها هستند بسیار مهم هستند پاسخ دهیم.
آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL) و نویسنده اصلی مقاله.
رابینسون این مقاله را با مشاورانش، نویسنده ارشد سووریت سرا، استادیار توسعه شغلی استر و هارولد ای. ادگرتون در گروه مهندسی برق و علوم کامپیوتر (EECS) و یکی از اعضای اصلی موسسه داده، سیستم‌ها و جامعه نوشت.
(IDSS) و آزمایشگاه اطلاعات و سیستم های تصمیم گیری. و استفانی جگلکا، دانشیار توسعه شغلی کنسرسیوم X در EECS و عضو CSAIL و IDSS. و همچنین کیهان باتمانقلیچ، استادیار دانشگاه پیتسبورگ و دانشجویان دکترا، لی سان و که یو. این تحقیق در کنفرانس سیستم های پردازش اطلاعات عصبی در ماه دسامبر ارائه خواهد شد.
محققان مطالعه خود را بر یادگیری متضاد متمرکز کردند، که شکل قدرتمندی از یادگیری ماشینی خود نظارت است.
در یادگیری ماشینی خود نظارتی، مدلی با استفاده از داده‌های خامی که توصیفات برچسبی از انسان ندارند، آموزش داده می‌شود. بنابراین می توان آن را با موفقیت برای طیف وسیع تری از داده ها استفاده کرد.
یک مدل یادگیری خود نظارت، نمایش‌های مفیدی از داده‌ها را می‌آموزد که به عنوان ورودی برای کارهای مختلف مانند طبقه‌بندی تصویر استفاده می‌شوند.
اما اگر مدل از میانبرها استفاده کند و نتواند اطلاعات مهم را بگیرد، این وظایف نیز نمی توانند از آن اطلاعات استفاده کنند.
برای مثال، اگر یک مدل یادگیری تحت نظارت خود برای طبقه‌بندی ذات‌الریه در اشعه ایکس تعدادی از بیمارستان‌ها آموزش دیده باشد، اما یاد می‌گیرد که براساس برچسبی که بیمارستانی را که اسکن از آن گرفته شده است، پیش‌بینی کند (زیرا برخی از بیمارستان‌ها پنومونی بیشتری دارند. در موارد دیگر)، مدل زمانی که داده‌های یک بیمارستان جدید به آن داده می‌شود، عملکرد خوبی نخواهد داشت.
برای مدل‌های یادگیری متضاد، یک الگوریتم رمزگذار برای تمایز بین جفت ورودی‌های مشابه و جفت ورودی‌های غیرمشابه آموزش داده شده است. این فرآیند داده های غنی و پیچیده مانند تصاویر را به گونه ای رمزگذاری می کند که مدل یادگیری متضاد بتواند تفسیر کند.
محققان رمزگذارهای یادگیری متضاد را با مجموعه ای از تصاویر آزمایش کردند و دریافتند که در طول این روش آموزشی، آنها طعمه راه حل های میانبر نیز می شوند.
رمزگذارها تمایل دارند روی ساده‌ترین ویژگی‌های یک تصویر تمرکز کنند تا تصمیم بگیرند که کدام جفت ورودی مشابه و کدام یک متفاوت هستند.
جگلکا می‌گوید: در حالت ایده‌آل، رمزگذار باید هنگام تصمیم‌گیری روی تمام ویژگی‌های مفید داده‌ها تمرکز کند.
بنابراین، تیم تشخیص تفاوت بین جفت‌های مشابه و غیرمشابه را سخت‌تر کرد و متوجه شد که این تغییرات که ویژگی‌های رمزگذار برای تصمیم‌گیری به آن نگاه می‌کند.
او می‌گوید: «اگر کار تمایز بین موارد مشابه و غیرمشابه را سخت‌تر و سخت‌تر کنید، سیستم شما مجبور می‌شود اطلاعات معنی‌داری بیشتری در داده‌ها بیاموزد، زیرا بدون یادگیری نمی‌تواند کار را حل کند.
اما افزایش این دشواری منجر به معاوضه شد – رمزگذار در تمرکز بر برخی از ویژگی‌های داده بهتر شد اما در تمرکز بر برخی دیگر بدتر شد. رابینسون می گوید که تقریباً به نظر می رسید ویژگی های ساده تر را فراموش کرده است.
برای جلوگیری از این مبادله، محققان از رمزگذار خواستند تا با استفاده از ویژگی‌های ساده‌تر، و همچنین پس از حذف اطلاعاتی که قبلاً آموخته بود، بین جفت‌ها به همان روشی که در ابتدا داشت تمایز قائل شود. حل کار به دو صورت به طور همزمان باعث بهبود رمزگذار در همه ویژگی ها شد.
روش آنها که اصلاح ویژگی ضمنی نامیده می‌شود، نمونه‌ها را برای حذف ویژگی‌های ساده‌تری که رمزگذار برای تمایز بین جفت‌ها استفاده می‌کند، اصلاح می‌کند.
Sra توضیح می دهد که این تکنیک به ورودی انسان متکی نیست، که مهم است زیرا مجموعه داده های دنیای واقعی می توانند صدها ویژگی مختلف داشته باشند که می توانند به روش های پیچیده ترکیب شوند.
از اتومبیل تا COPD
پلاتیپوس های نر دارای خارهایی بر روی پای عقب خود هستند که می توانند سم آزاد کنند و آنها را به یکی از معدود پستانداران سمی تبدیل می کند.
محققان یک آزمایش از این روش را با استفاده از تصاویر وسایل نقلیه انجام دادند. آنها از اصلاح ویژگی ضمنی برای تنظیم رنگ، جهت و نوع وسیله نقلیه استفاده کردند تا تمایز بین جفت تصاویر مشابه و غیر مشابه را برای رمزگذار دشوارتر کنند.
رمزگذار دقت خود را در هر سه ویژگی – بافت، شکل و رنگ – به طور همزمان بهبود بخشید.
برای اینکه ببینند آیا این روش در برابر داده‌های پیچیده‌تر مقاومت می‌کند یا خیر، محققان آن را با نمونه‌هایی از پایگاه داده تصاویر پزشکی بیماری مزمن انسدادی ریه (COPD) آزمایش کردند. مجدداً، این روش منجر به بهبودهای همزمان در همه ویژگی‌هایی شد که آنها ارزیابی کردند.
در حالی که این کار گام‌های مهمی را در درک علل راه‌حل‌های میانبر و تلاش برای حل آنها برمی‌دارد، محققان می‌گویند که ادامه اصلاح این روش‌ها و بکارگیری آنها در انواع دیگر یادگیری خود نظارتی کلید پیشرفت‌های آینده خواهد بود.
“این به برخی از بزرگترین سوالات در مورد سیستم های یادگیری عمیق، مانند “چرا آنها شکست می خورند؟” و “آیا ما می توانیم از قبل از موقعیت هایی که مدل شما شکست خواهد خورد؟” رابینسون می‌گوید اگر می‌خواهید یادگیری میانبر را در کلیت کامل آن درک کنید، هنوز چیزهای زیادی در پیش دارید.
این تحقیق توسط بنیاد ملی علوم، مؤسسه ملی بهداشت و برنامه افزایش تحقیقات جهانی مشترک المنافع SAP SE (CURE) اداره بهداشت پنسیلوانیا پشتیبانی می شود.
