خیلی خوب است تا حد واقعیت؟ تشخیص استراتژی‌های با برازش بیش از حد

That 500% Backtest Return? احتمالاً بی‌ارزش است.

هر معامله‌گر تاکنون آنجا بوده است:

شما یک استراتژی می‌سازید. آن را بک‌تست می‌کنید. نتایج باورنکردنی است - نرخ برد 80%، بازده‌های بزرگ، افت‌های محدود.

سپس آن را با سرمایه واقعی معامله می‌کنید. و فوراً از هم می‌پاشد.

خوش آمدید به برازش بیش از حد - قاتل خاموش استراتژی‌های معاملاتی.


برازش بیش از حد چیست؟
تعریف:
برازش بیش از حد زمانی رخ می‌دهد که یک مدل نویز داده‌های تاریخی را به جای سیگنال اصلی یاد می‌گیرد.

مشکل:
استراتژی دارای برازش بیش از حد، گذشته را به طور کامل توضیح می‌دهد اما هیچ قدرت پیش‌بینی برای آینده ندارد.

تشبیه:
تصور کنید پاسخ‌های آزمون سال گذشته را حفظ کرده‌اید. در آن امتحان 100% می‌گیرید. اما در امتحان امسال شکست می‌خورید چون پاسخ‌های مشخص را یاد گرفته‌اید، نه مفاهیم پایه.

چرا برازش بیش از حد اتفاق می‌افتد؟
1. پارامترهای خیلی زیاد
هر پارامتر انعطاف‌پذیری اضافی می‌کند
کافی است پارامترها با داده‌های مختلف به طور کامل همسو شوند
اما این همسو شدن به نویز است نه سیگنال

2. بهینه‌سازی روی داده‌های محدود
داده‌های کوچک الگوهای تصادفی دارند
بهینه‌ساز این الگوها را پیدا می‌کند
الگوها در داده‌های جدید تکرار نمی‌شوند

3. آزمون‌های چندگانه
برای ۱۰۰ استراتژی تست کنید، یکی به‌طور شانسی خوب به نظر می‌رسد
سوگیری گزینش به سمت نتایج خوش‌شانس
هیچ تنظیمی برای مقایسات چندگانه وجود ندارد

4. داده‌کاوی داده‌ها (Data Snooping)
نگاه به داده‌ها قبل از شکل‌دادن فرضیه
ناخواسته با الگوهای شناخته‌شده مطابقت یافتن
فرضیه شکل گرفته تا همواره با داده‌ها مطابقت داشته باشد، نه پیش‌بینی

نشانه‌های برازش بیش از حد
پرچم قرمز ۱: نتایج بیش از حد بی‌نقص
نرخ برد بالای ۷۰-۸۰%
عامل سود بالای ۳-۴
شاخص شارپ بالای ۳
تقریباً هیچ دوره ضرر
واقعیت: صندوق‌های کوانت حرفه‌ای شارپ را بین ۱-۲ هدف می‌گیرند. اگر بک‌تست شما ۵+ نشان می‌دهد، مشکلی وجود دارد

پرچم قرمز ۲: پارامترهای زیاد
استراتژی بیش از ۱۰ پارامتر قابل تنظیم دارد
هر پارامتر به شکل دقیق بهینه شده است
تغییرات کوچک در پارامترها به‌طور شدید نتایج را تغییر می‌دهند
قاعده سرانگشتی: هرچه پارامترها بیشتر باشند، ریسک برازش بیش از حد بیشتر است

پرچم قرمز ۳: قوانین پیچیده
«اگر RSI > 67.3 و قیمت > 1.23× MA دوره 17 و حجم > 2.7× میانگین...»
شرایط بسیار خاص
قواعدی که به نظر دلخواه می‌آیند

سؤال: چرا 67.3 و نه 70؟ چرا 17 دوره و نه 20؟

پرچم قرمز ۴: پرتگاه عملکرد
تغییرات کوچک پارامترها، عملکرد را از بین می‌برد
استراتژی فقط با تنظیمات دقیق کار می‌کند
هیچ «همسایگی» از پارامترهای خوب وجود ندارد

استراتژی‌های مقاوم: در بازه‌ای از پارامترهای مشابه کار می‌کنند

پرچم قرمز ۵: شکاف بین درون‌نمونه و برون‌نمونه
نتایج شگفت‌انگیز روی داده‌های آموزشی
نتایج ضعیف روی داده‌های جدید
افت شدید عملکرد

این آزمایش قطعی است: چگونه روی داده‌ای که هرگز ندیده عمل می‌کند؟

چگونه از برازش بیش از حد جلوگیری کنیم
روش ۱: تست خارج از نمونه
داده‌های خود را تقسیم کنید:
مجموعه آموزشی (۶۰-۷۰%): توسعه استراتژی
مجموعه اعتبارسنجی (۱۵-۲۰%): تنظیم پارامترها
مجموعه آزمایش (۱۵-۲۰%): ارزیابی نهایی

قاعده حیاتی: هرگز به داده‌های آزمون تا ارزیابی نهایی نگاه نکنید. دیدن آن آلوده است

روش ۲: تحلیل Walk-Forward
آزمون خارج از نمونه پیوسته:
دوره ۱-۱۰۰ را آموزش بدهید
دوره ۱۰۱-۱۲۰ را آزمایش کنید
دوره ۲۱-۱۲۰ را آموزش بدهید
دوره ۱۲۱-۱۴۰ را آزمایش کنید
به جلو ادامه دهید

مزیت: استراتژی را در چندین شرایط بازار آزمایش می‌کند

روش ۳: Cross-Validation
تقسیم‌های آموزش/تست چندگانه:
داده‌ها را به K تا بخش تقسیم کنید
روی K-۱ بخش آموزش بدهید، روی باقی‌مانده تست کنید
K بار تکرار کنید
نتایج را میانگین بگیرید

مزیت: از تمام داده‌ها هم برای آموزش و هم برای آزمون استفاده می‌کند

روش ۴: سادگی
پارامترهای کمتر = ریسک کمتر برازش بیش از حد
راهنمایی‌ها:
با ساده‌ترین استراتژی ممکن شروع کنید
در صورت نیاز، تنها در صورت توجیه روشن پیچیدگی اضافه کنید
هر پارامتر باید دلیل منطقی داشته باشد
اعداد گرد ترجیحاً (مثلاً ۲۰ MA، نه ۱۷ MA)

روش ۵: بازارهای/چارچوب‌های زمانی متعدد
استراتژی را در دارایی‌های مختلف، زمان‌بندی‌های مختلف و شرایط بازار گوناگون آزمایش کنید
استراتژی‌های مقاوم: در زمینه‌های مختلف کار می‌کنند، نه فقط در یک تنظیم خاص

روش ۶: اهمیت آماری
اطمینان از اینکه نتایج به‌خاطر شانس نیستند:
تعداد معاملات کافی (حداقل ۱۰۰)
آزمون‌های آماری برای اهمیت
فاصله‌های اطمینان روی معیارها

سوال: آیا این نتایج ممکن است به صورت تصادفی رخ داده باشد؟

طیف برازش بیش از حد
Underfitting: مدل خیلی ساده است، از الگوهای واقعی باز می‌ماند و در همه داده‌ها کم‌کارایی دارد
Good Fit: مدل واقعی را می‌گیرد، نویز را نادیده می‌گیرد؛ عملکرد درون‌نمونه و برون‌نمونه مشابه است
Overfitting: مدل پیچیده است، نویز را گویی سیگنال می‌بیند؛ درون‌نمونه خوب است اما برون‌نمونه بد است
هدف: یافتن نقطه عطف مطلوب - به اندازه کافی پیچیده برای درگیری با الگوهای واقعی و به اندازه کافی ساده برای جلوگیری از مطابقت با نویز

AI و برازش بیش از حد
شمشیر دو لبه: مدل‌های AI/ML قدرتمند هستند اما مستعد برازش بیش از حدند:
شبکه‌های عصبی می‌توانند هر تابعی را مدل کنند
هرچه ظرفیت بیشتر باشد، ریسک برازش بیش از حد افزایش می‌یابد
نیاز به منظم‌سازی دقیق دارد

پیشگیری از برازش بیش از حد با AI:
تنظیم‌سازی منظم: جریمه پیچیدگی مدل (L1، L2، dropout)
توقف زودهنگام: آموزش را قبل از وقوع overfitting متوقف کنید
روش‌های انجمنی: ترکیب چند مدل برای کاهش واریانس
Cross-Validation: آزمایش خارج از نمونه به‌طور منظم
انتخاب ویژگی: حذف ویژگی‌های نامربوط

مثال‌های واقعی برازش بیش از حد
مثال ۱: شاخص Super Bowl
ادعا: جهت بازار توسط برنده Super Bowl پیش‌بینی می‌شود
واقعیت: همبستگی کاذب توسط داده‌کاوی پیدا شد
درس: همبستگی بدون علیت معنی ندارد

مثال ۲: میانگین متحرک بهینه‌شده
ادعا: MA با دوره ۱۷.۳ بهینه است
واقعیت: دوره ۱۷.۳ روی آن داده خاص کار کرد
درس: بهینه‌سازی دقیق اغلب به معنی برازش بیش از حد است

مثال ۳: استراتژی چند شرطی
ادعا: ۱۵ شرط که فیلتر دقیق معاملات را انجام می‌دهد
واقعیت: شروط تا زمانی که بک‌تست خوب به نظر برسد اضافه شدند
درس: افزودن شروط برای بهبود بک‌تست در واقع Curve Fitting است

چک‌لیست برازش بیش از حد
قبل از اعتماد به هر بک‌تست:
آیا نرخ برد/ضریب شارپ به‌طور مشکوکی بالا است؟
استراتژی چند پارامتر دارد؟
مقادیر پارامترها گرد هستند یا دقیقاً مشخص؟
آیا عملکرد با تغییرات کوچک پارامترها پایدار است؟
آیا در خارج از نمونه آزمایش شده است؟
آیا روی چند دارایی/زمان‌بندی کار می‌کند؟
آیا برای هر قاعده دلیل منطقی وجود دارد؟
آیا معاملات کافی برای معنی‌داری آماری وجود دارد؟

بک‌تست صادق
چه چیزی باید گزارش شود:
نتایج درون‌نمونه و برون‌نمونه
تعداد پارامترها
تعداد استراتژی‌های آزمایش‌شده پیش از یافتن این یکی
فاصله‌های اطمینان روی معیارها
عملکرد در شرایط مختلف بازار

چه انتظار باید داشت:
عملکرد برون‌نمونه از درون‌نمونه بدتر است
این طبیعی و قابل انتظار است
افت ۲۰-۳۰% رایج است
اگر هیچ افتی نباشد، مشکوک باشید

نکات کلیدی:
برازش بیش از حد به معنای یادگیری نویز به جای سیگنال است - بک‌تست‌های بی‌عیب اما در عمل شکست می‌خورند
پرچم‌های قرمز: نتایج بیش از حد بی‌نقص، پارامترهای زیاد، قواعد پیچیده، شیب‌های عملکرد
پیشگیری: تست خارج از نمونه، تحلیل Walk-Forward، سادگی، چند بازار
مدل‌های AI به‌خصوص در برابر برازش بیش از حد مستعدند - نیاز به تنظیم منظم دقیق دارند
انتظار دارید عملکرد خارج از نمونه از درون‌نمونه بدتر باشد - این طبیعی است

نوبت شما
آیا تا به حال توسط استراتژی با برازش بیش از حد آسیب دیده‌اید؟
چگونه استراتژی‌های خود را قبل از معامله زنده اعتبارسنجی می‌کنید؟
تجربیات خود را در زیر به اشتراک بگذارید 👇