تست، بک‌تست و بهینه‌سازی

تست مونت کارلو برای سنجش پایداری ربات معامله‌گر

تصویر شاخص تست مونت کارلو ربات؛ مسیرهای پراکندهٔ منحنی سرمایه روی مانیتور و دو تاس شیشه‌ای
تست مونت کارلو با به‌هم‌ریختن ترتیب معامله‌ها، مسیرهای محتمل سرمایه را نشان می‌دهد.

پاسخ کوتاه: تست مونت کارلو ترتیب معامله‌های بک‌تست را هزاران بار به‌هم می‌ریزد و بدترین افت سرمایهٔ محتمل را نشان می‌دهد. Strategy Tester متاتریدر ۵ این تست را آماده ندارد، ولی با تابع OnTester می‌شود آن را در خود اکسپرت نوشت. خروجی مهم، افت سرمایه در صدک ۹۵ است، نه سود کل.

تست مونت کارلو در ربات معامله‌گر چیست؟

بک‌تست فقط یک مسیر را نشان می‌دهد: همان ترتیبی که معامله‌ها در گذشته پشت سر هم آمدند. اگر ضررهای بزرگ ربات در آن دوره پراکنده بوده باشند، گزارش تستر افت سرمایهٔ کمی نشان می‌دهد؛ ولی هیچ تضمینی نیست که در آینده همان ضررها پشت سر هم نیایند.

تست مونت کارلو (Monte Carlo) همین فرض را می‌آزماید. نتیجهٔ معامله‌های بک‌تست را برمی‌دارد، ترتیبشان را به‌صورت تصادفی عوض می‌کند، منحنی سرمایه را از نو می‌سازد و بیشترین افت سرمایهٔ آن مسیر را ثبت می‌کند. با تکرار این کار برای هزار مسیر یا بیشتر، به‌جای یک عدد، یک توزیع دارید: در بیشتر مسیرها افت چقدر است و در بدترین مسیرها به کجا می‌رسد.

این تست جای بک‌تست را نمی‌گیرد. اگر معنی افت سرمایه برایتان روشن نیست، اول Drawdown و روش بررسی آن در تست را بخوانید.

چرا افت سرمایهٔ گزارش تستر کافی نیست؟

سود خالص به ترتیب معامله‌ها بستگی ندارد، ولی افت سرمایه کاملاً به آن بسته است. فرض کنید ربات با حجم ثابت ده معامله دارد: پنج سود ۱۰۰ دلاری و پنج ضرر ۶۰ دلاری. سود خالص در هر ترتیبی ۲۰۰ دلار است.

  • اگر سود و ضرر یکی‌درمیان بیایند، بیشترین افت ۶۰ دلار است.
  • اگر هر پنج ضرر پشت سر هم بیایند، بیشترین افت ۳۰۰ دلار است.

ربات، بازار و سود هر دو حالت یکی است، ولی افت پنج برابر شده است. کسی که حجم معامله را با افت ۶۰ دلاری تنظیم کرده باشد، در حالت دوم حسابی دارد که برایش آماده نبوده است. برای همین حداکثر Drawdown قابل قبول را نباید فقط با یک عدد گزارش تستر سنجید.

چهار روش رایج مونت کارلو برای ربات

روش چه می‌کند چه چیزی را می‌سنجد محدودیت
به‌هم‌ریختن ترتیب (Shuffle) همان معامله‌ها با ترتیب تصادفی افت سرمایه و طول دورهٔ ضرر سود خالص را عوض نمی‌کند
نمونه‌گیری با جایگذاری (Bootstrap) هر بار به تعداد معامله‌ها، یکی را تصادفی برمی‌دارد و ممکن است تکراری شود پراکندگی سود و افت با هم به تعداد کافی معامله نیاز دارد
حذف تصادفی معامله مثلاً ۵ تا ۱۰ درصد معامله‌ها را کنار می‌گذارد وابستگی نتیجه به چند معاملهٔ خوب درصد حذف انتخابی است
بدتر کردن شرایط اجرا به هر معامله هزینهٔ تصادفی اسپرد یا لغزش می‌افزاید تحمل ربات در برابر اجرای بدتر فرض شما از میزان لغزش را می‌آزماید

برای شروع، به‌هم‌ریختن ترتیب کافی است و ساده‌ترین تفسیر را دارد. اگر ربات با لبهٔ کوچکی کار می‌کند، روش چهارم را هم اجرا کنید؛ اثر اسپرد و اسلیپیج در بک‌تست معمولاً در همین ربات‌ها سرنوشت‌ساز است.

آیا Strategy Tester متاتریدر ۵ مونت کارلو دارد؟

در راهنمای رسمی Strategy Tester تستی برای به‌هم‌ریختن ترتیب معامله‌ها نیامده است. آنچه تستر آماده دارد این‌هاست:

  • تأخیر تصادفی اجرا (Random Delay): فقط تأخیر سفارش‌های ربات را تصادفی می‌کند و ترتیب معامله‌ها را به‌هم نمی‌ریزد.
  • Every tick based on real ticks: تست با تیک‌های واقعی بروکر، که دقت خود بک‌تست را بالا می‌برد.
  • Forward: بخشی از دوره را برای آزمون خارج از نمونه کنار می‌گذارد. تفاوتش را در Forward Test و Backtest نوشته‌ایم.
  • Custom max: عددی که تابع OnTester برمی‌گرداند، معیار بهینه‌سازی می‌شود. راه اجرای مونت کارلو همین است.

کد MQL5: مونت کارلو داخل OnTester

تابع OnTester بعد از پایان تست اجرا می‌شود و به تاریخچهٔ معامله‌ها دسترسی دارد. کد زیر را به اکسپرت خود اضافه کنید. نتیجهٔ هر معامله را می‌خواند، هزار بار ترتیبشان را عوض می‌کند و صدک ۵۰ و ۹۵ افت سرمایه را در تب Journal تستر چاپ می‌کند.

input int    InpMcRuns       = 1000;   // number of shuffled paths
input double InpMcStartMoney = 10000;  // start balance of each path

// Net result of every closing deal in the test
int LoadClosedResults(double &results[])
  {
   ArrayResize(results,0);
   if(!HistorySelect(0,TimeCurrent()))
      return(0);
   int deals=HistoryDealsTotal();
   for(int i=0;i<deals;i++)
     {
      ulong ticket=HistoryDealGetTicket(i);
      if(ticket==0)
         continue;
      long type=HistoryDealGetInteger(ticket,DEAL_TYPE);
      if(type!=DEAL_TYPE_BUY && type!=DEAL_TYPE_SELL)
         continue;
      if(HistoryDealGetInteger(ticket,DEAL_ENTRY)==DEAL_ENTRY_IN)
         continue;
      int n=ArraySize(results);
      ArrayResize(results,n+1,1000);
      results[n]=HistoryDealGetDouble(ticket,DEAL_PROFIT)
                +HistoryDealGetDouble(ticket,DEAL_SWAP)
                +HistoryDealGetDouble(ticket,DEAL_COMMISSION);
     }
   return(ArraySize(results));
  }

// Fisher-Yates shuffle; two MathRand calls because one only reaches 32767
void Shuffle(double &a[])
  {
   for(int i=ArraySize(a)-1;i>0;i--)
     {
      long r=(long)MathRand()*32768+MathRand();
      int  j=(int)(r%(i+1));
      double t=a[i];
      a[i]=a[j];
      a[j]=t;
     }
  }

double MaxDrawdownPercent(const double &a[],const double start)
  {
   double equity=start,peak=start,worst=0.0;
   for(int i=0;i<ArraySize(a);i++)
     {
      equity+=a[i];
      if(equity>peak)
         peak=equity;
      double dd=(peak-equity)/peak*100.0;
      if(dd>worst)
         worst=dd;
     }
   return(worst);
  }

double OnTester()
  {
   double results[],dd[];
   int trades=LoadClosedResults(results);
   if(trades<100)
      return(0.0);                    // too few trades to judge
   ArrayResize(dd,InpMcRuns);
   MathSrand(12345);                  // same seed, comparable runs
   for(int r=0;r<InpMcRuns;r++)
     {
      Shuffle(results);
      dd[r]=MaxDrawdownPercent(results,InpMcStartMoney);
     }
   ArraySort(dd);
   double dd50=dd[(int)(InpMcRuns*0.50)];
   double dd95=dd[(int)(InpMcRuns*0.95)];
   PrintFormat("Monte Carlo: trades=%d, median DD=%.2f%%, DD95=%.2f%%",trades,dd50,dd95);
   double net=TesterStatistics(STAT_PROFIT);
   if(net<=0.0 || dd95<=0.0)
      return(0.0);
   return(net/dd95);                  // Custom max: profit per unit of bad-case drawdown
  }

سه نکته دربارهٔ این کد:

  • اگر بروکر کمیسیون را هنگام باز شدن معامله کم می‌کند، این کمیسیون در معاملهٔ ورود ثبت شده و در نتیجه‌های بالا نیامده است؛ آن را هم جمع بزنید.
  • مقدار بازگشتی را در بهینه‌سازی با انتخاب Custom max به‌کار بگیرید. به این ترتیب تنظیماتی جلو می‌آیند که در مسیر بد هم نسبت سود به افتشان خوب بماند.
  • سپردهٔ InpMcStartMoney را برابر سپردهٔ تستر بگذارید تا درصدها با گزارش قابل مقایسه باشند.

نتیجهٔ تست را چطور بخوانیم؟

یک مثال فرضی: ربات ۳۰۰ معامله با حجم ثابت دارد و گزارش تستر افت ۱۲ درصد نشان داده است. اجرای کد بالا این خروجی را می‌دهد: میانهٔ افت ۱۵ درصد و صدک ۹۵ برابر ۲۴ درصد.

  • افت گزارش از میانه کمتر است: ترتیب تاریخی معامله‌ها از حد معمول مساعدتر بوده است. عدد ۱۲ درصد را مبنا نگیرید.
  • صدک ۹۵ یعنی چه؟ در ۹۵ درصد مسیرهای ساخته‌شده افت کمتر از ۲۴ درصد بوده است. این عدد سقف نیست و ۵ درصد مسیرها از آن بدترند.
  • تصمیم عملی: اگر بیش از ۱۵ درصد افت را تحمل نمی‌کنید، با حجم ثابت باید حجم را تقریباً به ۶۰ درصد برسانید (۱۵ تقسیم بر ۲۴). ماشین‌حساب لات سایز حجم هر معامله را با درصد ریسک تازه می‌دهد.

این آزمون فقط می‌گوید «اگر معامله‌های آینده شبیه همین معامله‌ها باشند، مسیر چقدر می‌تواند بد شود». اگر رفتار بازار عوض شود یا بک‌تست بیش‌برازش داشته باشد، مونت کارلو هم گمراه می‌شود.

کجا مونت کارلو جواب درست نمی‌دهد؟

  • مارتینگل و گرید: در این ربات‌ها هر معامله به معامله‌های قبلی وابسته است. به‌هم‌ریختن ترتیب این وابستگی را از بین می‌برد و نتیجه را خوش‌بینانه می‌کند. دربارهٔ این ریسک در ریسک ربات‌های مارتینگل نوشته‌ایم.
  • حجم مرکب: اگر ربات حجم را درصدی از موجودی می‌گیرد، سود دلاری معامله‌های آخر از اول بزرگ‌تر است. به‌جای دلار، درصد بازده هر معامله را به‌هم بریزید و منحنی را ضربی بسازید.
  • معامله‌های هم‌زمان: اگر چند معامله با هم باز می‌مانند، افت واقعی روی شناور شکل می‌گیرد و این کد که فقط نتیجهٔ بسته شدن را می‌بیند، افت را کمتر نشان می‌دهد.
  • تعداد کم معامله: با چند ده معامله توزیع بی‌اعتبار است. کد بالا زیر ۱۰۰ معامله عدد صفر برمی‌گرداند.

مونت کارلو کجای مسیر تست ربات قرار می‌گیرد؟

  1. بک‌تست با تیک واقعی و هزینه‌های واقعی.
  2. بهینه‌سازی محدود و آزمون خارج از نمونه، تا ثبات سوددهی ربات معلوم شود.
  3. مونت کارلو روی تنظیمات نهایی، برای تعیین حجم و سقف افت.
  4. اجرا روی حساب دمو یا حساب واقعی کوچک.

اگر استراتژی خودتان را دارید و می‌خواهید این آزمون داخل ربات نوشته شود، می‌توانید از صفحهٔ سفارش ربات متاتریدر آن را درخواست کنید.

پرسش‌های پرتکرار

چند بار تکرار برای مونت کارلو کافی است؟

معمولاً هزار مسیر برای صدک ۹۵ کافی است. برای اطمینان یک بار با ۵۰۰۰ مسیر هم اجرا کنید؛ اگر صدک ۹۵ تقریباً عوض نشد، تعداد مسیرها کافی بوده است.

مونت کارلو سود ربات را پیش‌بینی می‌کند؟

خیر. به‌هم‌ریختن ترتیب، سود خالص را عوض نمی‌کند و فقط مسیر رسیدن به آن را می‌سنجد. سنجش پراکندگی سود به روش نمونه‌گیری با جایگذاری نیاز دارد، و آن هم فقط گذشته را بازنمونه می‌کند.

فرق مونت کارلو با Walk Forward چیست؟

Walk Forward می‌پرسد آیا تنظیماتی که روی یک دوره بهینه شده‌اند، روی دورهٔ بعد هم کار می‌کنند. مونت کارلو می‌پرسد با همین معامله‌ها، بدترین مسیر محتمل چقدر بد است. اولی برای انتخاب تنظیمات است و دومی برای تعیین ریسک.

این کد در متاتریدر ۴ هم کار می‌کند؟

این نسخه خیر، چون تاریخچهٔ معامله‌ها در MQL4 با OrdersHistoryTotal و OrderSelect خوانده می‌شود. OnTester و منطق به‌هم‌ریختن همان است.

منابع

هشدار ریسک: این مطلب جنبه آموزشی دارد و توصیه سرمایه‌گذاری نیست. معامله در بازارهای مالی با ریسک از دست دادن سرمایه همراه است و نتایج گذشته یا بک‌تست تضمینی برای آینده نیست.

نویسنده

تیم متااکسپرت در طراحی و برنامه‌نویسی ربات‌های معامله‌گر و اکسپرت‌های متاتریدر با MQL4 و MQL5 تخصص دارد و تجربه‌های عملی خود را در قالب این مقالات منتشر می‌کند.

دیدگاه‌ها

دیدگاه یا سؤال خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

کد امنیتی