Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

خلاصه

مقاله‌ی زنجیره‌ی فکر نشان می‌دهد که با تشویق مدل به تولید گام‌های استدلالی میانی، عملکرد آن در مسائل پیچیده به‌طور چشمگیری بهبود می‌یابد.

نمای سریع

افزایش استدلال با زنجیره‌سازی افکار.

یافته‌های کلیدی

این روش در مسائل ریاضی، استدلال منطقی و پاسخ‌گویی به پرسش‌های پیچیده، دقت را به‌طور قابل‌توجهی افزایش داد و به مدل‌های کوچک‌تر نیز اجازه داد تا به عملکرد بهتری دست یابند.

هدف

بهبود توانایی استدلال مدل‌های زبانی بزرگ در مسائل چندمرحله‌ای.

روش

نویسندگان از روش «زنجیره‌ی فکر» (Chain-of-Thought) استفاده می‌کنند که در آن مدل تشویق می‌شود تا قبل از پاسخ نهایی، یک دنباله از مراحل استدلالی را به‌صورت متن تولید کند.

نتایج

دقت بالاتر در ریاضیات و استدلال منطقی.

نتیجه‌گیری

زنجیره‌ی فکر یک روش ساده و مؤثر برای مهار توانایی‌های پنهان LLMها است.

مفاهیم کلیدی

زنجیره‌ی فکر، استدلال، پرامپت، عامل‌های زبانی

مطالعه‌ی بیشتر

https://arxiv.org/abs/2201.11903

تحلیل

این مقاله تأثیر زیادی بر روی پرامپت‌نویسی و ساخت عامل‌های خودمختار داشته است.

محدودیت‌ها

زنجیره‌ی فکر ممکن است شامل توهمات (Hallucinations) باشد و برای برخی مسائل نیاز به طراحی دقیق پرامپت دارد؛ همچنین هزینه‌ی محاسباتی را افزایش می‌دهد.

کارهای آینده

نویسندگان پیشنهاد کردند که می‌توان این روش را با ابزارها و بازخوردهای خارجی ترکیب کرد.

کاربرد عملی

این تکنیک در بسیاری از عامل‌های خودمختار برای برنامه‌ریزی و استدلال گام‌به‌گام استفاده می‌شود. در پروژه‌ی عامل نرم‌افزاری، زنجیره‌ی فکر به عامل کمک می‌کند تا دنباله‌ی اقدامات لازم برای اجرای یک دستور فتوشاپ را به‌طور منطقی طراحی کند.