آشنایی با انواع واگرایی

خلاصه و مشارکت: ویرایش: من بازبینی و سایر بررسی ها را خوانده ام ، نمره من تغییر نکرده است. این مقاله پیشنهاد می کند که تقریب واگرایی Bregman را بیاموزید. هر واگرایی Bregman را می توان به عنوان تابعی از یک عملکرد متفاوت کاملاً محدب نوشت. در این مقاله پیشنهاد شده است که عملکرد متفاوت به شدت محدب را توسط یک تابع محدب غیر متمایز که به عنوان حداکثر عملکردهای مختلف خطی (از این رو محدب) نوشته شده است ، تقریب دهید. چارچوب پیشنهادی کلی است و می تواند برای انواع مختلف تلفات اعمال شود (به عنوان مثال محدودیت های چهارگانه در مقاله اصلی).

نقاط قوت: اگرچه این رویکرد ساده است ، نظریه مقاله جامد است. پیچیدگی/خطای خطای عمومی Rademacher مورد بررسی قرار گرفته است. واگرایی Bregman یک چارچوب کلی است که چندین واگرایی را که در ادبیات یادگیری ماشین مورد استفاده قرار می گیرد ، تعمیم می دهد (به عنوان مثال فاصله اقلیدسی مربع ، واگرایی KL و غیره). ارزیابی تجربی نیز جامد است اگرچه بیشتر خطوط حدود یک دهه پیش (یا بیشتر) منتشر شده اند. مطالعه نظری قابل توجه است و ممکن است به کار آینده در کار بر روی این نوع واگرایی تعمیم یافته کمک کند. همچنین مربوط به جامعه Neurips است.

نقاط ضعف: محدودیت/ضعف اصلی مقاله این است که خطوط پایه و/یا مدلهای عمیق را در نظر نمی گیرد. به نظر می رسد که یک مقاله ICML 2020 در مورد پسوندهای عمیق این (خط 265) وجود دارد.

صحت: روش تجربی صحیح به نظر می رسد.

وضوح: این مقاله به خوبی نوشته شده و درک آن آسان است اگرچه من مواد تکمیلی را بررسی نکرده ام.

رابطه با کار قبلی: آره. تازگی اصلی در مقایسه با کار قبلی مرزهای خطای عمومی سازی نظری است.

قابلیت تولید مثل: آره

بازخورد اضافی:

بررسی 2

خلاصه و مشارکت: مقاله به بررسی مشکل تقریب واگرایی های خودسرانه Bregman می پردازد. ایده اصلی تقریب عملکرد محدب اساسی واگرایی توسط یک تابع خطی پراکنده (ساخته شده با انتخاب ، برای یک مثال خاص X ، عملکرد خطی با حداکثر مقدار در مجموعه توابع خطی مورد استفاده برای تقریب). پیچیدگی Rademacher کلاس واگرایی های تقریبی Bregman با استفاده از توابع خطی piecewise مشتق شده است. سرانجام ، یک الگوریتم برای یادگیری واگرایی تقریب Brgeman در یک محیط یادگیری متریک ارائه شده است. این الگوریتم با ضمانت های عمومی سازی همراه است و در چندین کار رقابتی نشان داده شده است.

نقاط قوت: - ایده استفاده از توابع خطی piecewise برای تقریبی واگرایی Bregman اصلی به نظر می رسد و با توجه به محبوبیت واگرایی Bregman ، مورد توجه جامعه یادگیری متریک بلکه برای مخاطبان گسترده تر است.- الگوریتم پیشنهادی با شواهد نظری و تجربی از علاقه آن ، سالم است.- از لحاظ تئوریکی ، تحت فرضیات معقول در مورد عملکرد محدب مورد بررسی ، نشان داده شده است که یک عملکرد خطی پراکنده وجود دارد که یک تقریب محکم است به شرط آنکه تعداد عملکرد خطی در نظر گرفته شده به اندازه کافی بزرگ باشد.- پیچیدگی Radamacher از واگرایی Bregman که توسط توابع خطی piecewise پارامتر شده است ، مورد بررسی قرار گرفته است.

نقاط ضعف: - بین تنظیمات مورد مطالعه در تجزیه و تحلیل نظری و موردی که در آزمایشات در نظر گرفته شده است ، شکاف وجود دارد. در واقع ، در تجزیه و تحلیل نظری ، جفت یا چهار گوش از نقاط فرض می شود که I. I. D. از توزیع مشترک ، در حالی که ، در آزمایشات ، نقاط خود فرض می شود که I. I. D.(و به این ترتیب ، جفت ها و چهار گوش دیگر I. I. D نیستند).- ضمانت های تعمیم ارائه شده در این مقاله به دلیل I. I. D. فوق به طور مستقیم با نتایج یادگیری متریک استاندارد قابل مقایسه نیست. موضوع.

صحت: ادعاها ، روش و روش تجربی صحیح به نظر می رسد.

وضوح: مقاله بیشتر مشخص است. با این وجود ، برخی از قسمت ها می توانند بهبود یابند: - خط 27: A_K و B_K هرگز معرفی نمی شوند و مشخص نیست که چگونه می توان آنها را در این مرحله بدست آورد.- خط 143: phi (xi) باید با استفاده از (3) به جای (2) برابر با Z_I باشد.- اولین محدودیت در مشکل بهینه سازی (7) به سختی تجزیه می شود زیرا در دو خط است.- خط 241: جدول 4 در واقع جدول 1 است.

رابطه با کار قبلی: به نظر می رسد که رابطه با کار قبلی به وضوح مورد بحث قرار گرفته است.

قابلیت تولید مثل: آره

بازخورد اضافی: 1) شکاف بین تئوری و عمل کمی ناامید کننده است. پاورقی های موجود در پایین صفحه 6 نمونه خوبی از یک تنظیم عملی با این تئوری را نشان می دهد و طراحی برخی از آزمایش ها در این جهت جالب خواهد بود. 2) خط 260-264 از مقاله اصلی ، آزمایش های اولیه برای بازیابی تصویر با استفاده از ویژگی های عمیق به عنوان ورودی ذکر شده است. نتایج به مکمل معطل می شود. با این حال ، من نتوانستم آنها را در آنجا پیدا کنم. 3) مثال رگرسیون در تکمیلی نشان می دهد که رویکرد پیشنهادی در واقع انعطاف پذیر تر از رویکردهای یادگیری متریک Mahalanobis است. این یک آزمایش جالب است که باید در مقاله اصلی ذکر شود. 4) رویکرد پیشنهادی در آزمایش های خوشه بندی و رتبه بندی بسیار خوب عمل می کند. با این حال ، نتایج آن از نظر دقت KNN کمی پایین تر است. به طور مشابه نتایج به دست آمده در یونوسفر در مکمل بسیار قانع کننده تر است. آیا توضیحی در مورد این اختلافات وجود دارد؟از یک طرف ، این مقاله یک رویکرد جالب و سالم را برای تقریب واگرایی Bregman با استفاده از توابع خطی پراکنده ارائه می دهد. از طرف دیگر ، بین تنظیماتی که در تئوری در نظر گرفته می شود ، شکاف کوچکی وجود دارد. به طور کلی ، من فکر می کنم که این مقاله قابل قبول است.--- توهین من را قانع نکرد که بین تئوری و عمل شکاف وجود ندارد و بنابراین ، نظر من 1 هنوز هم وجود دارد. نظرات من 2 و 4 مورد توجه قرار نگرفت.

بررسی 3

خلاصه و مشارکت: روشی برای یادگیری متریک مبتنی بر واگرایی Bregman ارائه شده است. متریک ، یعنی واگرایی Bregman با استفاده از یک عملکرد خطی قطعه قطعه ، با یک مجموعه داده خاص بهینه سازی می شود. اعتبار تقریب از نظر تئوری مورد بررسی قرار گرفته و عملکرد آن از نظر عددی تأیید می شود.

نقاط قوت: با استفاده از عملکرد خطی قطعه قطعه ، این روش می تواند به طور سازگار عملکرد تولید واگرایی Bregman را تقریبی کند ، و عملکرد آن با سایر روشهای یادگیری متریک قابل مقایسه یا برتر است.

نقاط ضعف: توانایی تقریب توسط عملکرد خطی قطعه قطعه اساساً به تعداد K توابع خطی بستگی دارد. در قضیه 2 ، محدودیت خطای تعمیم با K در حال افزایش است ، که به نظر می رسد عجیب است. آیا این درست است؟در آزمایشات ، نحوه تعیین K مبهم است.

صحت: آره

وضوح: آره

رابطه با کار قبلی: آره

قابلیت تولید مثل: آره

بازخورد اضافی:

بررسی 4

خلاصه و مشارکت: در این مقاله پیشنهاد شده است که واگرایی Bregman را برای یک مجموعه داده معین متناسب کند که در آن عملکرد محدب برای تولید واگرایی محدود به یک عملکرد حداکثر است. الگوریتم یادگیری به عنوان برنامه نویسی خطی تدوین شده است. خطای تقریب توسط عملکرد حداکثر آفرین و تعمیم برای مشکل یادگیری متریک با واگرایی آموخته شده Bregman به دست می آید. نتایج تجربی از اثربخشی روش یادگیری متریک پیشنهادی در مقایسه با موارد کلاسیک پشتیبانی می کند.

نقاط قوت: تقریب عملکرد محدب توسط عملکردهای حداکثر معقول است. تقریبی و خطای خطای عمومی به دست آمده است که به نظر می رسد سالم است. نتایج تجربی برتری نسبی نسبت به روشهای معمولی را نشان می دهد.

نقاط ضعف: بیانیه مشکل رضایت بخش نیست از این رو من اطمینان ندارم که آیا من مشکل را درک می کنم و ادعای نویسندگان را به درستی. به عنوان مثال ، به نظر می رسد فرض K = N (حتی به خاطر سادگی) باعث می شود که مشتق شده بی فایده باشد.

صحت: من در مواد تکمیلی اثبات را دنبال کردم و به نظر می رسد آنها صحیح هستند.

وضوح: بسیاری از نقاط نامشخص در مورد فرمولاسیون و ارائه وجود دارد. مشکل بهینه سازی (7) مبهم است. داده های ورودی چیست و پارامتر از پیش تعیین شده چیست؟من معتقدم A_I در مشکل بهینه شده است (7) ، اما باید به وضوح بیان شود. اگر a_i ، i = 1. K مجموعه ای از بردارها است که بهینه سازی می شوند ، تعداد پارامترهای بهینه سازی با افزایش تعداد نمونه های آموزشی رشد می کند. رابطه "N" و "M" توضیح داده نشده است. اگر "M" تعداد محدودیت ها و متناسب با "n" و k = n باشد ، تعمیم بخش بی معنی است. من حدس می زنم ، تا حدودی به همین دلیل ، مهم است که K را در نظر بگیرید

رابطه با کار قبلی: من با کارهای اخیر در مورد یادگیری متریک خیلی آشنا نیستم. روشهای کلاسیک و نماینده به درستی ذکر شده و با روش پیشنهادی مقایسه می شوند. با این حال ، احساس می کنم مقالات استناد شده در مورد روشهای یادگیری متریک نسبتاً قدیمی است. من می دانم که تحولات اخیر در مورد یادگیری متریک بر روشهای مبتنی بر یادگیری عمیق متمرکز شده است ، و روش تقریباً خطی مانند این ارسال به طور فعال مطالعه نمی شود. بنابراین ، منابع نسبتاً قدیمی اینقدر بر رتبه من در این مقاله تأثیر نمی گذارد.

قابلیت تولید مثل: آره

بازخورد اضافی: لطفاً به صراحت اهداف بهینه سازی را در برنامه نویسی ریاضی بنویسید. ترم اول در R. H. S. از حد قضیه 2 عجیب است. به نظر می رسد "N" ، "من" و "T" گیج شده اند. آیا deltas در معادله (11) و قضیه 2 همان چیز است؟فکر نکنم. من می دانم که Delta یک نماد استاندارد برای مرزهای PAC است ، اما از همان نماد در نسخه خطی استفاده نمی شود.------------ نگرانی های اصلی من سودمندی محدود (به ویژه رابطه بین N و K) و موضوعات ارائه است. سردرگمی ناشی از سوء استفاده از نمادها توسط توبیخ نویسندگان مورد توجه قرار می گیرد. من دلیل اصلی تعمیم به ظاهر بی فایده را درک می کنم. من ایده اصلی تکیه دادن به واگرایی Bregman را با تقریب خطی قطعه قطعه دوست دارم و نمره خود را بالا بردم.< Span>: لطفاً به صراحت اهداف بهینه سازی را در برنامه نویسی ریاضی بنویسید. ترم اول در R. H. S. از حد قضیه 2 عجیب است. به نظر می رسد "N" ، "من" و "T" گیج شده اند. آیا deltas در معادله (11) و قضیه 2 همان چیز است؟فکر نکنم. من می دانم که Delta یک نماد استاندارد برای مرزهای PAC است ، اما از همان نماد در نسخه خطی استفاده نمی شود.------------ نگرانی های اصلی من سودمندی محدود (به ویژه رابطه بین N و K) و موضوعات ارائه است. سردرگمی ناشی از سوء استفاده از نمادها توسط توبیخ نویسندگان مورد توجه قرار می گیرد. من دلیل اصلی تعمیم به ظاهر بی فایده را درک می کنم. من ایده اصلی تکیه دادن به واگرایی Bregman را با تقریب خطی قطعه قطعه دوست دارم و نمره خود را بالا بردم: لطفاً به صراحت اهداف بهینه سازی را در برنامه نویسی ریاضی بنویسید. ترم اول در R. H. S. از حد قضیه 2 عجیب است. به نظر می رسد "N" ، "من" و "T" گیج شده اند. آیا deltas در معادله (11) و قضیه 2 همان چیز است؟فکر نکنم. من می دانم که Delta یک نماد استاندارد برای مرزهای PAC است ، اما از همان نماد در نسخه خطی استفاده نمی شود.------------ نگرانی های اصلی من سودمندی محدود (به ویژه رابطه بین N و K) و موضوعات ارائه است. سردرگمی ناشی از سوء استفاده از نمادها توسط توبیخ نویسندگان مورد توجه قرار می گیرد. من دلیل اصلی تعمیم به ظاهر بی فایده را درک می کنم. من ایده اصلی تکیه دادن به واگرایی Bregman را با تقریب خطی قطعه قطعه دوست دارم و نمره خود را بالا بردم.