Backtest Looks Great. That Doesn’t Mean the Strategy Is Good

خیلی از معامله‌گران یک منحنی سود تمیز را می‌بینند و فوراً فکر می‌کنند چیزی را یافته‌اند.

سودها در حال افزایش‌اند. افت از نظر سرمایه قابل مدیریت است. نرخ برد نسبتاً خوب است. پس، احتمالاً استراتژی خوبی است، درست است؟

نه واقعاً.

یک بازآزمایش سودآور تنها آغاز گفت‌وگو است. به شما می‌گوید در مجموعه‌ای مشخص از شرایط و با یک سری فرضیات، در یک دوره از تاریخچه بازار چه اتفاقی افتاده است. این به شما نمی‌گوید کل ماجرا چقدر به سادگی ممکن است از هم پاشیده شود. و صادقانه بگویم، این قسمتی است که معامله‌گران باید بیشتر به آن اهمیت بدهند.



سود معمولا نخستین چیزی است که به آن نگاه می‌کنیم

منطقش این است. شما استراتژی را برای دیدن اینکه آیا می‌تواند پول بسازد آزمایش می‌کنید. هیچ‌کس ساعت‌ها سیستم نمی‌سازد تا منطق ورود را تحسین کند. اما سود کل می‌تواند خیلی چیزها را پنهان کند. شاید بخش اعظم پول از یک سال قوی آمده باشد. شاید استراتژی در یک دارایی خیلی خوب عمل کرده و در دارایی‌های دیگر عملاً هیچ کار نکرده باشد. شاید عده‌ای از معاملات با سودهای بزرگ، صدها معامله معمولی یا باخت را پوشش داده‌اند. عدد نهایی با وجود این، باز هم خوب به نظر می‌رسد. این مسئله است. بازآزمایش می‌تواند سودآور باشد اما قابل اعتماد نمی‌باشد. این دو با هم یکی نیستند.



ابتدا، استراتژی واقعاً از چه چیزی سود می‌برد؟

قبل از نگاه کردن به اندیکاتورها، تنظیمات یا نتایج بهینه‌سازی، تلاش کنید استراتژی را با زبان ساده توضیح دهید. چرا باید کار کند؟ نه اینکه چطور وارد می‌شود. نه اینکه از کدام میانگین متحرک استفاده می‌کند. چرا رفتار این استراتژی باید در بازار همچنان دیده شود؟ استراتژی روندی ممکن است به این دلیل کار کند که معامله‌گران در پاسخ به اطلاعات جدید به سرعت واکنش نشان نمی‌دهند، در نتیجه حرکت قیمت طولانی‌تر از انتظار تداوم می‌یابد. استراتژی بازگشت به میانگین ممکن است به این دلیل کار کند که ترس کوتاه‌مدت قیمت را بیش از حد از دامنه عادی خود دور می‌کند. یک استراتژی نشست می‌تواند به ورود نقدینگی در زمان‌های مشخص بازار وابسته باشد.

این همان ایده واقعی است. اندیکاتورها فقط روشی هستند که برای اندازه‌گیری آن استفاده می‌کنید. این موضوع مهم است زیرا اندیکاتورها را می‌توان تا حد زیادی تعدیل کرد تا تقریباً هر چیزی از نظر تاریخی خوب به نظر برسد. به‌ویژه اگر ترکیب‌های کافی را آزمون کنید.

این متن را کامل کنید:

> این استراتژی کار می‌کند چون شرکت‌کنندگان بازار بارها و بارها...

اگر نتوانید این عبارت را به شکلی که معنی بدهد به پایان برسانید، احتمال وجود دارد که استراتژی عمدتاً در یافتن الگوهایی باشد که تصادفی پدید آمده‌اند. همیشه اینطور نیست. اما ارزش دارد درباره آن سوال کنید.

---

از تلاش برای بهتر نشان دادن بازآزمایش دست بردارید

بیشتر فرایند توسعه استراتژی به طور طبیعی در یک جهت حرکت می‌کند. نتیجه‌ها را بهتر کنید. استاپ لاس را تغییر دهید.

- تأییدیه اضافی

- حذف ساعات معاملاتی نامناسب

- تنظیم بازنگری زمانی

- افزودن فیلتر نوسان

سپس شاید فیلتر دیگری برای اصلاح دوره‌ای که فیلتر اول کار نکرد اضافه کنید.

در نهایت بازآزمایش به نظر شگفت‌آور می‌رسد. اما استراتژی می‌تواند توضیح دقیقی از آنچه قبلاً اتفاق افتاده باشد نیز شود. رویکرد مطلوب گاهی اوقات برعکس است. سعی کنید بازآزمایش را بدتر کنید.

- گشت اسپرد را افزایش دهید

- لغزش را بیش از حد معمول اضافه کنید

- ورود را به تأخیر بیاندازید

- پارامترها را کمی تغییر دهید

- تاریخ آغاز را تغییر دهید

- بهترین سال را حذف کنید

- دارایی با بهترین عملکرد را حذف کنید

سپس ببینید چه چیزی باقی می‌ماند. یک استراتژی قوی معمولاً در فشار ضعیف می‌شود. این طبیعی است. بخش مهم این است که آیا به تدریج ضعیف می‌شود یا به طور کامل سقوط می‌کند. اگر تغییر یک پارامتر از ۲۰ به ۲۱ همه چیز را از بین ببرد، نشانه خوبی نیست. اگر هزینه‌های معاملاتی کمی بالاتر سیستم را از سودده به ضرر عمیق ببرد، مزیت احتمالاً از همان ابتدا خیلی بزرگ نبوده است. یک استراتژی مقاوم نیازی ندارد کامل باشد. فقط نباید به یک تکه نخ باریک متکی باشد.

بهترین پارامتر اغلب همان پارامیتر است که باید بیشترین سؤال درباره‌اش بکنید

ابزارهای بهینه‌سازی به‌طور طبیعی توجه شما را به قوی‌ترین نتیجه جلب می‌کنند، خواه بالاترین سود، یا نسبت بازگشت به کاهش سرمایه، یا بالاترین نسبت Sharpe یا جالب‌ترین نرخ برد. وقتی این اعداد روی صفحه ظاهر می‌شوند، به‌راحتی می‌توان فرض کرد که نسخه با بهترین عملکرد همان قابل اعتمادترین نسخه است. مشکل این است که وقتی ترکیب‌های زیادی را آزمایش کنید، معمولاً چیزی به چشم می‌آید فقط به این دلیل که نمونه آنقدر بزرگ است. این لزوماً به این معنی نیست که مزیت واقعی پیدا کرده‌اید. ممکن است تنها خوش‌شانسی یکی از نتایج بین هزاران گزینه باشد.

راه مفید برای درک این موضوع این است که تصور کنید 10,000 نفر سکه می‌اندازند. فردی در آن گروه احتمالاً تعداد heads غیرمعمول بالایی تولید می‌کند، اما این به معنای داشتن مهارت تکرارشونده نیست. نتیجهٔ او به‌خاطر اینکه تعداد تلاش‌ها برای نمایان شدن یک استثنا به اندازه کافی بوده است، چشمگیر به نظر می‌رسد. پارامترها هم می‌توانند دقیقاً به همان شکل رفتار کنند. یک تنظیم واحد ممکن است بازآزمایشی استثنایی ایجاد کند، اما آن نتیجه زمانی بسیار متقاعدکننده‌تر می‌شود که مقادیر اطراف آن نیز به‌طور نسبتاً خوبی عمل کنند.

اگر بازنگری ۳۰ نتیجه قوی بدهد، بررسی کنید در ۲۷، ۳۲ یا ۳۵ چه اتفاقی می‌افتد. عملکرد نیازی نیست در هر تغییر یکسان باشد، اما رفتار کلی باید سازگار باقی بماند. آنچه دنبال آن هستید منطقه‌ای پایدار است نه یک نقطه کامل. اگر چند مقدار نزدیک هم بازده‌های قابل قبول با ویژگی‌های کشش مشابه ایجاد کنند، استراتژی احتمالاً به گرایش واقعی بازار پاسخ می‌دهد. اگر یک مقدار دقیق خوب عمل کند در حالی که اطرافش همگی از کار بیفتند، نتیجه ممکن است بیشتر به نویز وابسته باشد تا به ساختار واقعی.

بیابید از کجا سود واقعاً آمده است

نمودار سهام می‌تواند هموار و قانع‌کننده باشد در حالی که توزیع بازده به‌طور ناموزون پنهان است. بنابراین نتیجه کلی نباید به عنوان یک بلوک واحد دیده شود. تقسیم استراتژی به سال، ماه، جلسه، جهت معامله، سطح نوسان، دارایی و شرایط بازار می‌تواند نشان دهد چه چیزی واقعاً عامل عملکرد بوده و آیا آن عملکرد از چند منبع مستقل یا از یک دوره محدود ناشی شده است.

ممکن است دریابید استراتژی فقط در معاملات طولانی سودآور بوده و در سمت فروش به‌طور مداوم ضرر کرده است. ممکن است در دوره‌های با نوسان بالا خوب عمل کند اما به تدریج این سودها را پس بدهد. در برخی موارد، یک سال بسیار قوی یا تعدادی معامله بزرگ می‌تواند بخش عمده بازده کل را توضیح دهد. هیچ کدام از این یافته‌ها به‌طور خودکار نشان نمی‌دهد که استراتژی نامعتبر است، اما نحوه درک و مدیریت سیستم را تغییر می‌دهد.

استراتژی‌ای که بازده‌های کوچک و پایدار در مدت‌های مختلف به دست می‌آورد با استراتژی‌ای که به چند فرصت بزرگ در هر سال وابسته است، به شدت متفاوت است. هر دو می‌توانند کار کنند اما تجربه‌های زنده‌شان بسیار متفاوت خواهد بود. اولی ممکن است در دوره‌های فراوان اما ناپایدار همراه با صبر به درستی کار کند، در حالی که دومی ممکن است دوره‌های طولانی بی‌عملی را طی کند تا سود معنی‌دار ایجاد شود. درک این تفاوت بر اندازه پوزیشن، انتظار ریسک و مدت زمانی که باید صبر کنید تا تصمیم بگیرید آیا استراتژی هنوز رفتار عادی دارد، اثر می‌گذارد.

داده‌های خارج از نمونه همیشه به اندازه‌ای که به نظر می‌رسد دیده نمی‌شوند

تست خارج از نمونه معمولاً به عنوان آخرین مدرک معتبر بودن یک استراتژی تلقی می‌شود. اگر سیستم روی داده‌هایی که در فرایند توسعه استفاده نشده بود کار کند، نتیجه قابل اعتمادتر به نظر می‌رسد زیرا به نظر می‌رسد قوانین می‌تواند فراتر از نمونه اصلی تعمیم یابد. این ایده با این وجود تنها زمانی معتبر است که دوره خارج از نمونه واقعاً از فرایند توسعه جدا باشد.

بیندید چه اتفاقی می‌افتد وقتی استراتژی در بخش خارج از نمونه عملکرد ضعیفی دارد. قوانین را تنظیم می‌کنید، دوباره آزمایش می‌کنید، تغییر دیگری انجام می‌دهید و تا بهبود نتیجه ادامه می‌دهید. اگرچه آن داده در بهینه‌سازی اصلی لحاظ نشده بود، اما همچنان بر طراحی نهایی تأثیرگذار بوده است. با گذر زمان، استراتژی به‌طور غیرمستقیم با دوره خارج از نمونه وفق می‌یابد و این مقدار از ارزشی را که آزمایش باید ارائه می‌داد کاهش می‌دهد.

به همین دلیل مفید است که داشتن یک بخش نهایی از داده‌ها را نگه دارید که هرگز به طور مکرر مورد بررسی قرار نگیرند تا استراتژی ساخته شود. هنگامی که سرانجام با آن داده‌ها آزمایش کنید، باید آماده باشید نتیجه ناامیدکننده را بپذیرید بدون اینکه فوراً سیستم را تغییر دهید. این بخش ناخوشایند است اما آزمون را معنا دار می‌کند. داده‌های دیده نشده تنها زمانی مفیدند که قدرت رد استراتژی را داشته باشند. در غیر این صورت، تبدیل به یک مجموعه داده خواهید شد که به تدریج سیستم را حول آن می‌سازید تا اعداد به اندازه کافی خوب به نظر برسند.

یک استراتژی می‌تواند درست باشد و همچنان قابل معامله نباشد

برخی استراتژی‌ها قبل از هزینه‌ها سودآور به نظر می‌رسند و به محض اجرای واقعی تقریباً بی‌ارزش می‌شوند. این موضوع به خصوص در سیستم‌های اسکالپینگ، استراتژی‌های با فرکانس بالا و طرح‌هایی با سود متوسط خیلی کم در هر معامله رایج است. جهت معامله ممکن است درست باشد و قیمت دقیقاً همان‌طور که انتظار می‌رود حرکت کند، اما اسپرد، کارمزد و لغزش می‌تواند بخش عمده‌ای از مزیت را از بین ببرد.

اجرای معامله نباید به عنوان چیزی که پس از تکمیل استراتژی اضافه می‌شود، در نظر گرفته شود. اجرا قسمتی از استراتژی خود آن است. اگر میانگین سود هر معامله قبل از هزینه‌ها ۴ دلار باشد و اجرای آن ۳.۵۰ دلار طول بکشد، حاشیه خطا تقریباً وجود ندارد. اسپرد کمی عریض‌تر، پر شدن کندتر یا سفارش از دست رفته می‌تواند کل مزیت را از بین ببرد. روی کاغذ، سیستم ممکن است از نظر فنی درست به نظر برسد، اما در عمل ممکن است قادر به ارائه بازگشت معنی‌دار نباشد.

بازآزمایش‌ها اغلب فرض می‌کنند که معاملات با قیمت مورد نظر پر می‌شوند، اما بازارهای زنده این ضمانت را ارائه نمی‌دهند. سفارش‌ها می‌توانند با تاخیر پر شوند، به‌طور ناقص پر شوند یا به کل از دست بروند و نتیجه نهایی ممکن است به‌طور معنی‌داری با نسخه نظری تفاوت کند. بنابراین استراتژی باید با فرضیات هزینه واقع‌گرایانه و نسبتا محافظه‌کارانه آزمایش شود. اگر تنها وقتی اجرا تقریباً بی‌عیب است کار می‌کند، احتمالاً فضای کافی برای زنده ماندن در شرایط واقعی بازار ندارد.

نه هر شکست زنده به معنای خراب بودن استراتژی نیست

وقتی نتایج زنده عقب می‌افتند از بازآزمایش، اولین واکنش اغلب این است که تصور کنیم مزیت از بین رفته است. گاهی دقیقاً همان اتفاق می‌افتد، اما هر فاصله بین عملکرد زنده و تاریخی لزوماً نشان‌دهنده مشکلی در استراتژی پایه نیست. اسپردهای گسترده‌تر، تاخیر در پر شدن، سیگنال‌های از دست رفته، تفاوت‌های در منبع داده یا تنظیمات نادرست جلسه می‌تواند همگی منجر به نتایج ضعیف‌تری شود بدون اینکه رفتار بازار اصلی که استراتژی قصد شکار آن را داشت تغییر کند. حتی مسائل عملی نسبتاً کوچک نیز می‌تواند اثر قابل توجهی داشته باشد. ممکن است استراتژی از زمان جلسه اشتباهی استفاده کند به دلیل تغییرات زمان‌بندی یا تاخیر پلتفرم. کارگزار نیز ممکن است منبع تغذیه قیمتی متفاوتی را ارائه کند. این‌ها مشکلات اجرایی هستند، نه مشکلات استراتژی و باید به‌طور جداگانه بررسی شوند. تنها راه قابل اعتماد برای تشخیص تفاوت این است که آنچه انتظار داشتید انجام شود با آنچه واقعاً اتفاق افتاده مقایسه کنید. قیمت ورود تعیین‌شده، مقدار پر شدن واقعی، هر معامله از دست رفته، لغزش و تغییرات هزینه‌های معامله را دنبال کنید. اگر سیگنال‌ها همچنان همانطور که انتظار می‌رود رفتار می‌کنند اما اجرا ضعیف است، تغییر منطق معاملاتی ممکن است اوضاع را بدتر کند زیرا شما در حال تعمیر بخش اشتباهی از سیستم هستید. با این حال اگر هر دو سیگنال نظری و نتایج زنده به همان شکل تضعیف شوند، مشکل احتمالاً به مزیت اصلی اولیه مربوط است.

تصمیم بگیرید معنی شکست چیست قبل از اینکه در افت سرمایه باشید

هر استراتژی بالاخره دوره‌ای دشوار را طی می‌کند. بخش دشوار این است که تصمیم بگیرید آیا آن دوره یک افت عادی است یا شواهدی که استراتژی واقعاً در حال شکست است. این تصمیم وقتی سخت‌تر می‌شود که پول در حال از دست رفتن است زیرا احساسات بر تفسیر نتایج تأثیر می‌گذارند.

برخی معامله‌گران استراتژی خوب را خیلی زود متوقف می‌کنند چون افت سرمایه ناخوشایند است، در حالی که برخی دیگر با سیستم چسبیده‌اند و حتی پس از تغییر شواهد به معامله ادامه می‌دهند. هر دو واکنش معمولاً از تصمیم‌گیری تحت فشار ناشی می‌شود. رویکرد بهتری این است که شرایط شکست را قبل از به کارگیری استراتژی تعریف کنید تا بتوانید قوانین را به شکل عینی‌تری تعیین کنید.

این شرایط ممکن است شامل افت سرمایه‌ای فراتر از محدوده مورد انتظار، کاهش شدید سود متوسط هر معامله، تغییر معنا‌دار در تکرار معاملات یا فروپاشی مداوم در محیط‌های بازار باشد که پیش‌تر در آن خوب عمل می‌کرد. همچنین ممکن است تصمیم بگیرید ریسک را کاهش دهید اگر اجرای زنده با فرضیات بازآزمایی به‌طور مداوم تفاوت دارد یا اگر رفتار بازار اصلی پشت سیستم دیگر وجود ندارد.

یک هفته بد به ندرت کافی است و گاهی یک ماه نیز کافی نیست. در عین حال، ایمان کور به فرایند نیست. نکته مهم این است که در چه زمانی قبل از آغاز به کار تصمیم بگیرید که ادامه خواهید داد، قرار دادن سرمایه را کاهش خواهید داد، استراتژی را موقتا متوقف کنید یا آن را به طور کامل کنار بگذارید. این تصمیم‌ها در حالی که آرام هستید خیلی آسان‌تر از زمانی است که حساب در زیان است و قصد دارید تصمیم بگیرید معامله بعدی چه می‌کند.

یک استراتژی قوی باید در برابر فرضیات ناقص مقاوم بماند

هیچ بازآزمایشی نمی‌تواند معاملات زنده را به طور کامل هماهنگ کند. تخمین شما از اسپرد ممکن است نادرست باشد، لغزش ممکن است از انتظار بدتر باشد و شرایط بازار آینده دقیقاً مثل گذشته نباشد. بهترین پارامتر تاریخی ممکن است دیگر بهترین نباشد و ممکن است خطاهای کوچکی در داده‌ها، تفاوت بین کارگزاری‌ها یا تغییر در شیوه اجرای سفارش‌ها وجود داشته باشد.

استراتژی نیازی ندارد به هر حال آسیب نامحدود ببیند، اما باید بتواند با سطح عادی نقص کنار بیاید. این یکی از روشن‌ترین شیوه‌ها برای تفکر در مورد پایداری است. استراتژی مقاوم تنها به معنای عملکرد بی‌عیب در هر محیط نیست؛ بلکه به معنای آن است که در شرایطی که برخی از فرضیات پشت آن اندکی اشتباه است، همچنان کار می‌کند.

این به معنای این نیست که استراتژی تغییرات شرایط را نادیده گرفته یا با هر مشکل ممکن معامله کند. این بدان معناست که مزیت نباید به خاطر یک تغییر کوچک در اسپرد، ورود کمی تاخیر یا تغییر پارامتر ساده از بین برود. اگر تغییرات عادی در دنیای واقعی بتواند نتیجه را از بین ببرد، بازآزمایش اولیه احتمالاً شکننده‌تر از آن بود که تصور می‌شد.

هدف نیست که ثابت کنید شکست غیرممکن است

هیچ میزانی از آزمایش نمی‌تواند ثابت کند استراتژی برای همیشه کار می‌کند. بازارها تغییر می‌کنند، مزیت‌ها ضعیف می‌شود، هزینه‌های معامله افزایش می‌یابد و سایر شرکت‌کنندگان ایده‌های مشابه به کارگیری ایده‌های مشابه را آغاز می‌کنند. سیستمی که برای ده سال خوب عمل کرده است، در سال بعد نیز ممکن است با مشکل روبه‌رو شود، به‌ویژه اگر رفتاری که به آن تکیه داشت کمتر رایج شود یا ساختار بازار تغییر کند.

آزمایش‌های مقاوم به صورت دائمی یک استراتژی را تثبیت نمی‌کنند. بلکه به شما کمک می‌کنند بفهمید استراتژی به چه چیزی اتکا دارد، چطور احتمالاً با چه دشواری روبه‌رو می‌شود و کدام نشانه‌های هشدار باید توجه شوند. این فهم اغلب ارزشمندتر از بازگشت خبرنامه‌ای است، زیرا به شما تصویری روشن‌تر از چگونگی مدیریت سیستم هنگامی که پول واقعی وارد می‌شود می‌دهد.

یک بازآزمایش قوی ممکن است برای متقاعد کردن شما به پیاده‌سازی استراتژی کافی باشد، اما فهمیدن این که چرا کار می‌کند، کجا آسیب‌پذیر است و چقدر سریع افت می‌کند، به شما فرصت مدیریت مناسب می‌دهد. پرسش مفیدتر این نیست که فقط چقدر سود استراتژی کرده است. بلکه این است که مزیت استراتژی چقدر فشار می‌تواند تحمل کند تا مزیت از بین رود. این پاسخ معمولاً خیلی بیشتر از رقم سود به تنهایی به شما می‌گوید.