درصد اطمینان سیگنال هوش مصنوعی را چطور بسنجیم؟ آموزش کالیبراسیون سیگنال
سیگنال‌ها و ابزارهای هوش مصنوعی زیادی کنار پیشنهاد خود عددی مثل «اطمینان ۸۰ درصد» می‌نویسند. این عدد وقتی ارزش دارد که از ۱۰۰ سیگنال ۸۰ درصدی، حدود ۸۰ تا واقعا درست از آب دربیاید. به این ویژگی کالیبراسیون می‌گویند. در این مقاله یک روش ساده و قابل‌تکرار می‌سازیم تا با ثبت سیگنال‌ها بفهمید درصد اطمینان یک منبع چقدر قابل اتکاست و آن را چطور در حجم معامله لحاظ کنید.
کالیبراسیون سیگنال یعنی چه؟
سیگنال کالیبره سیگنالی است که درصد اطمینانش با نرخ موفقیت واقعی همان دسته از سیگنال‌ها جور باشد. مستندات کتابخانه یادگیری ماشین scikit-learn همین تعریف را با مثال می‌گوید: مدلی که خوب کالیبره شده، از نمونه‌هایی که به آن‌ها احتمال نزدیک ۰٫۸ داده، تقریبا ۸۰ درصد را درست تشخیص می‌دهد.
کالیبراسیون با دقت (Accuracy) فرق دارد. یک منبع می‌تواند نرخ برد خوبی داشته باشد ولی درصد اطمینانش را بی‌حساب بالا بنویسد. منبع دیگری می‌تواند نرخ برد کمتری داشته باشد ولی بگوید کدام سیگنال‌هایش واقعا قوی‌ترند. برای تعیین حجم معامله، دومی کاربردی‌تر است.
چرا مدل‌های هوشمند هم بیش از حد مطمئن‌اند؟
پژوهش Guo و همکاران در کنفرانس ICML سال ۲۰۱۷ نشان داد شبکه‌های عصبی مدرن با اینکه دقیق‌تر از نسل‌های قبل‌اند، اغلب کالیبره نیستند و اطمینان میانگینشان از دقت واقعی بالاتر است. آن پژوهش روی داده‌های تصویر و متن انجام شد، نه بازار. ولی هشدارش برای معامله‌گر روشن است: بالا بودن عدد اطمینان به‌تنهایی دلیل درستی پیش‌بینی نیست و باید با نتیجه واقعی سنجیده شود.
در بازار مشکل یک لایه دیگر هم دارد. رفتار بازار عوض می‌شود و منبعی که در روند صعودی کالیبره بوده، ممکن است در بازار رنج بیش از حد مطمئن شود.
مرحله ۱: موفقیت را قبل از نتیجه تعریف کنید
بدون تعریف از پیش، هر سیگنالی را می‌شود بعدا «تقریبا درست» حساب کرد. برای هر سیگنال این سه مورد را قبل از ورود بنویسید:
- رخداد موفقیت: مثلا رسیدن به اولین تارگت قبل از برخورد به حد ضرر.
- افق زمانی: مثلا حداکثر ۵ روز. اگر هیچ‌کدام نخورد، نتیجه «منقضی» ثبت می‌شود و جدا شمرده می‌شود.
- قیمت مرجع: قیمت لحظه انتشار سیگنال، نه قیمتی که شما بعدا وارد شدید.
سیگنالی که حد ضرر یا تارگت مشخص ندارد قابل ارزیابی نیست. همین نکته خودش یک فیلتر خوب برای منبع سیگنال است.
مرحله ۲: یک جدول ثبت ساده بسازید
برای هر سیگنال یک ردیف در گوگل شیت یا ژورنال معاملاتی بسازید:
| ستون | توضیح |
|---|---|
| تاریخ و ساعت | زمان انتشار سیگنال |
| نماد و جهت | مثلا اتریوم، خرید |
| درصد اطمینان اعلام‌شده | عدد خود منبع، مثلا 0.7 |
| ورود، حد ضرر، تارگت | از متن سیگنال |
| نتیجه | ۱ برای موفقیت، ۰ برای شکست، خالی برای منقضی |
| شرایط بازار | روند، رنج یا روز خبری |
همه سیگنال‌ها را ثبت کنید، حتی آن‌هایی که وارد نشدید. انتخاب گزینشی نتیجه را خراب می‌کند.
مرحله ۳: نمودار کالیبراسیون را بخوانید
سیگنال‌ها را بر اساس درصد اطمینان دسته‌بندی کنید و برای هر دسته نرخ موفقیت واقعی را حساب کنید. به این مقایسه نمودار کالیبراسیون یا Reliability Diagram می‌گویند.
مثال فرضی: ۲۰۰ سیگنال ثبت‌شده
| اطمینان اعلام‌شده | تعداد سیگنال | موفق | نرخ واقعی | حاشیه خطای تقریبی ۹۵٪ |
|---|---|---|---|---|
| ۶۰٪ | ۸۰ | ۴۴ | ۵۵٪ | ±۱۱ واحد درصد |
| ۷۰٪ | ۷۰ | ۴۲ | ۶۰٪ | ±۱۲ واحد درصد |
| ۸۰٪ | ۵۰ | ۳۱ | ۶۲٪ | ±۱۴ واحد درصد |
این داده‌ها ساختگی و آموزشی‌اند. سه نکته از جدول بیرون می‌آید:
- منبع بیش از حد مطمئن است. میانگین اطمینان اعلام‌شده ۶۸٫۵ درصد است، ولی ۱۱۷ از ۲۰۰ سیگنال، یعنی ۵۸٫۵ درصد، موفق بوده‌اند.
- دسته ۸۰ درصدی تقریبا هم‌اندازه دسته ۷۰ درصدی عمل کرده است. پس عدد بالاتر اطلاعات زیادی اضافه نکرده است.
- حاشیه خطا بزرگ است. حاشیه با تقریب نرمال 1.96 × √(p(1−p)/n) حساب شده و برای نمونه‌های کم فقط برآوردی تقریبی است. با ۵۰ نمونه، نرخ ۶۲ درصد می‌تواند در واقع هر جایی بین حدود ۴۸ تا ۷۶ درصد باشد. پیش از تصمیم جدی، برای هر دسته حداقل چند ده نمونه جمع کنید.
مرحله ۴: امتیاز Brier را حساب کنید
امتیاز Brier را گلن برایر در سال ۱۹۵۰ برای سنجش پیش‌بینی‌های احتمالی هواشناسی معرفی کرد. برای هر سیگنال اختلاف درصد اطمینان و نتیجه را به توان دو برسانید و میانگین بگیرید:
Brier = میانگین (اطمینان − نتیجه)²
سیگنال‌های منقضی را از این محاسبه کنار بگذارید و تعدادشان را جدا گزارش کنید. عدد کمتر بهتر است. برای یک سیگنال ۰٫۸ که موفق شده، امتیاز (0.8−1)² = 0.04 است. اگر شکست خورده باشد، (0.8−0)² = 0.64 می‌شود. در گوگل شیت اگر اطمینان در ستون C و نتیجه در ستون F باشد، بنویسید =SUMXMY2(C2:C201;F2:F201)/COUNT(F2:F201).
مقایسه با یک پیش‌بینی ساده
امتیاز Brier منبع فرضی ما ۰٫۲۵۴۵ است. حالا یک «منبع تنبل» را فرض کنید که برای همه سیگنال‌ها همان نرخ پایه ۵۸٫۵ درصد را می‌گوید. امتیاز آن ۰٫۲۴۲۸ می‌شود، یعنی بهتر از منبع اصلی. این مقایسه با نرخ پایه همان دوره انجام شده که بعد از دیدن نتایج معلوم شده است. پس برای قضاوت دقیق‌تر، نرخ پایه را از دوره قبلی بگیرید و روی دوره بعدی بسنجید. پیام روشن است: درصدهای متفاوت این منبع، از گفتن یک عدد ثابت هم ارزش کمتری داشته‌اند.
مستندات scikit-learn یادآوری می‌کند که امتیاز Brier هم کالیبراسیون را می‌سنجد و هم قدرت تفکیک را. پس کنار آن، جدول دسته‌ها را هم ببینید تا بدانید ضعف از کجاست.
مرحله ۵: از احتمال به تصمیم معامله
درصد اطمینان وقتی معنا پیدا می‌کند که آن را با نسبت ریسک به ریوارد و هزینه کنار هم بگذارید. اگر ریوارد هم‌اندازه ریسک باشد (۱R) و کارمزد و لغزش قیمت حدود ۰٫۱R، نرخ موفقیت سربه‌سر این‌طور حساب می‌شود:
p سربه‌سر = (ریسک + هزینه) ÷ (ریسک + ریوارد) = 1.1 ÷ 2 = 55٪
| دسته | امید ریاضی با اطمینان اعلام‌شده | امید ریاضی با نرخ واقعی |
|---|---|---|
| ۶۰٪ | +0.10R | 0R |
| ۷۰٪ | +0.30R | +0.10R |
| ۸۰٪ | +0.50R | +0.14R |
امید ریاضی از رابطه p × ریوارد − (1−p) × ریسک − هزینه به دست آمده است. فرض جدول این است که هر معامله یا کامل به تارگت ۱R می‌رسد یا کامل به استاپ ۱R، هزینه هر معامله ۰٫۱R است و سیگنال‌های منقضی حساب نشده‌اند. اگر تارگت یا خروج شما فرق دارد، همین رابطه را با اعداد خودتان حساب کنید. اگر به عدد اعلام‌شده اعتماد می‌کردید، دسته ۸۰ درصدی را پنج برابر دسته ۶۰ درصدی جذاب می‌دیدید. با نرخ واقعی، دسته ۶۰ درصدی بعد از هزینه هیچ مزیتی ندارد و باید کنار برود.
قواعد احتیاطی برای حجم معامله
- به عنوان یک قاعده سرانگشتی، تا وقتی برای هر دسته حداقل ۳۰ تا ۵۰ نمونه ندارید، ریسک هر معامله را بر اساس درصد اطمینان بالا نبرید.
- بعد از آن هم ریسک را با نرخ واقعی و محافظه‌کارانه بسنجید، نه با عدد تبلیغ‌شده.
- سقف ریسک هر معامله در مدیریت سرمایه شما، مستقل از اطمینان سیگنال، سر جایش می‌ماند.
- هر ماه جدول را تازه کنید. اگر نرخ یک دسته در دو ماه پیاپی افت کرد، سهم آن را کم کنید.
چند اشتباه که ارزیابی را خراب می‌کند
- حذف سیگنال‌های بد از جدول. نتیجه را زیباتر و بی‌فایده می‌کند.
- تغییر تعریف موفقیت بعد از دیدن نتیجه. مثلا شمردن تارگت دوم وقتی تارگت اول نخورده.
- قضاوت با ده سیگنال. حاشیه خطا آن‌قدر بزرگ است که تقریبا هر نتیجه‌ای ممکن است.
- یکی گرفتن همه بازارها. کالیبراسیون یک منبع روی بیت کوین را به طلا یا بورس تعمیم ندهید و هر بازار را جدا بسنجید.
- نادیده گرفتن هزینه. نرخ ۵۵ درصد با ریوارد ۱R بعد از کارمزد و لغزش ممکن است فقط سربه‌سر باشد.
سیگنال‌های هوش مصنوعی بایتیکل را چطور بسنجید؟
بایتیکل همین حالا سیگنال و تحلیل هوش مصنوعی برای نمادها ارائه می‌دهد که ابزار کمکی تحلیل است و تضمین سود نیست و نمودار بیش از ۳ میلیون نماد از بازارهای مختلف را در یک جا دارد. روش این مقاله برای سیگنال‌های بایتیکل هم کار می‌کند: هر سیگنال را با زمان، ورود، حد ضرر و تارگت ثبت کنید و بعد از چند هفته جدول کالیبراسیون خودتان را بسازید.
برای ثبت دقیق نتیجه، روی ورود، حد ضرر و تارگت هر سیگنال هشدار قیمت بگذارید. هشدار روی همه نمادها فعال می‌شود و از راه پیامک، ایمیل، نوتیفیکیشن، ربات تلگرام یا تماس خودکار به شما می‌رسد. با اتصال حساب صرافی و مدیریت معاملات هم معاملاتی را که واقعا گرفته‌اید کنار سیگنال‌ها دنبال می‌کنید. تقویم اقتصادی و اخبار بایتیکل کمک می‌کند ستون «روز خبری» جدول را درست پر کنید.
می‌توانید با پلن رایگان شروع کنید. جزئیات پلن‌ها در صفحه پلن‌ها آمده و خبرهای تازه در کانال تلگرام بایتیکل منتشر می‌شود.
جمع‌بندی
درصد اطمینان یک سیگنال ادعاست تا وقتی با نتیجه واقعی سنجیده شود. موفقیت را از قبل تعریف کنید، همه سیگنال‌ها را ثبت کنید، جدول دسته‌ها و امتیاز Brier را حساب کنید و حجم معامله را با نرخ واقعی بعد از هزینه تنظیم کنید. هیچ سیگنالی سود را تضمین نمی‌کند و این مطلب توصیه سرمایه‌گذاری نیست.
منابع
- Brier, G. W. (1950). Verification of Forecasts Expressed in Terms of Probability. Monthly Weather Review, 78(1).
- Murphy, A. H. (1973). A New Vector Partition of the Probability Score. Journal of Applied Meteorology, 12(4).
- Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. ICML. PMLR
- scikit-learn documentation: Probability calibration. scikit-learn
سؤالات متداول
کالیبراسیون سیگنال چیست؟
یعنی درصد اطمینان سیگنال با نرخ موفقیت واقعی جور باشد. از سیگنال‌های ۷۰ درصدی یک منبع کالیبره، حدود ۷۰ درصد موفق می‌شوند.
برای سنجش یک منبع سیگنال چند نمونه لازم است؟
هرچه بیشتر بهتر. با کمتر از ۳۰ نمونه در هر دسته حاشیه خطا خیلی بزرگ است. با ۵۰ نمونه و نرخ حدود ۶۰ درصد، حاشیه خطا هنوز نزدیک ±۱۴ واحد درصد است.
امتیاز Brier خوب چقدر است؟
عدد مطلق ملاک نیست. آن را با پیش‌بینی ساده‌ای مقایسه کنید که همیشه نرخ پایه را می‌گوید. اگر منبع شما از آن بهتر نباشد، درصدهایش ارزش افزوده ندارد.
سیگنالی که درصد اطمینان ندارد را چطور بسنجم؟
نرخ برد و امید ریاضی را با تعریف از پیش‌تعیین‌شده حساب کنید. ولی بدون عدد احتمال، نمی‌توانید سیگنال‌های قوی و ضعیف یک منبع را از هم جدا کنید.
آیا نرخ موفقیت بالا یعنی سودآوری؟
نه لزوما. نرخ موفقیت باید با ریوارد، ریسک و هزینه کنار هم دیده شود. با ریوارد ۱R و هزینه ۰٫۱R، نرخ ۵۵ درصد فقط سربه‌سر است.
سیگنال‌های هوش مصنوعی بایتیکل را هم می‌شود این‌طور سنجید؟
بله. سیگنال‌ها را ثبت کنید، با هشدار روی ورود و حد ضرر و تارگت نتیجه را دنبال کنید و بعد از جمع شدن نمونه کافی، جدول کالیبراسیون خودتان را بسازید.
سلب مسئولیت و شفافیت در بایتیکل
تمامی مطالب منتشر شده در بلاگ آموزشی بایتیکل، اعم از تحلیل‌های بازار، بررسی پروژه‌ها، اخبار و معرفی پتانسیل‌های دنیای کریپتوکارنسی، صرفاً با رویکرد آموزشی و اطلاع‌رسانی تهیه شده‌اند. تیم تحریریه بایتیکل تأکید می‌کند که این محتواها به هیچ عنوان «توصیه مستقیم خرید و فروش» یا «سیگنال سرمایه‌گذاری» محسوب نمی‌شوند.
با توجه به نوسانات شدید و ریسک‌های ذاتی بازارهای مالی، مسئولیت نهایی هرگونه تصمیم‌گیری اقتصادی، سود یا ضرر احتمالی، به‌طور کامل بر عهده شخص کاربر است. ما اکیداً توصیه می‌کنیم پیش از هرگونه مشارکت مالی، تحقیقات شخصی خود را (DYOR) تکمیل کرده و در صورت نیاز با مشاوران دارای صلاحیت مشورت کنید.
