A study of cross-validation and bootstrap for accuracy estimation and model selection

خلاصه

مقاله‌ی کوهوی روش‌های مختلف ارزیابی دقت مدل‌ها را مقایسه می‌کند و نشان می‌دهد که اعتبارسنجی متقابل ۱۰-بخشی تعادل خوبی بین سوگیری و واریانس دارد.

نمای سریع

مقایسه‌ی روش‌های اعتبارسنجی برای انتخاب مدل.

یافته‌های کلیدی

نشان داده شد که اعتبارسنجی متقابل ۱۰-بخشی (10-fold CV) معمولاً تعادل خوبی بین سوگیری و واریانس دارد و در بسیاری از موارد بهترین انتخاب است.

هدف

ارائه‌ی راهنمایی برای انتخاب بهترین روش برآورد دقت در مسائل یادگیری ماشین.

روش

کوهوی با انجام آزمایش‌های گسترده بر روی چندین مجموعه‌داده، عملکرد روش‌های مختلف اعتبارسنجی متقابل (k-fold، leave-one-out) و بوت‌استرپ را از نظر سوگیری و واریانس مقایسه می‌کند.

نتایج

10-fold CV به‌عنوان روشی با سوگیری و واریانس متعادل معرفی شد.

نتیجه‌گیری

انتخاب روش ارزیابی مناسب به اندازه‌ی داده و مسئله بستگی دارد.

مفاهیم کلیدی

اعتبارسنجی متقابل، ارزیابی مدل، بوت‌استرپ، انتخاب مدل

مطالعه‌ی بیشتر

https://www.researchgate.net/publication/248479441

تحلیل

این مقاله یکی از پراستنادترین مقالات در حوزه‌ی ارزیابی مدل است و تأثیر زیادی بر رویه‌های عملی داشته است.

محدودیت‌ها

این مقاله عمدتاً بر روی مجموعه‌داده‌های کوچک تا متوسط متمرکز است و به داده‌های بسیار بزرگ نمی‌پردازد.

کارهای آینده

نیاز به بررسی روش‌های ارزیابی برای داده‌های بسیار بزرگ و مدل‌های پیچیده‌تر.

کاربرد عملی

نتایج این مقاله همچنان به‌عنوان راهنما برای انتخاب روش ارزیابی در پروژه‌های یادگیری ماشین استفاده می‌شود.