はじめに
こんにちは、LIBERTACTIONです。
無料EA配布サイト「シストレ.COM」の「EA人気ランキングTOP100」に、当ブログでも公開中の自作EAが5本ランクインしています（7月13日現在）。
・5位 CSMV_EURCAD（評価A）
・51位 RealWinEA_EURJPY（評価B）
・54位 BBBreakerRush_USDJPY（評価B）
・55位 BBBreakerRush_NZDJPY（評価B）
・86位 CloudBreaker_GBPJPY（評価B）
シストレ.COMには現在200本以上のEAが登録されており、その中で5本がTOP100入り、さらにCSMV_EURCADが5位という評価をいただいたことは、EA開発者として素直に嬉しく思っています。
しかし、今回私が興味を持ったのは順位そのものではありません。
「シストレ.COMはどのような基準でEAを評価しているのだろう？」
という点です。
ランキングの評価方法を調べてみると、PFや獲得pipsのような利益に関わる要素だけではなく、「回復力」や「取引実績の信頼性」、「リスク管理」といった要素まで考慮した、なかなか興味深い仕組みになっていることが分かりました。
今回はEAの運用者であり開発者、そして毎月公開している「EA評価ランキング」作成者の視点から、シストレ.COMの「EA人気ランキングTOP100」の評価方法を簡単に解説しつつ考察してみたいと思います。
※実際のランキングや各EAのフォワード成績は、シストレ.COMで誰でも確認できます
シストレ.COMのEAランキングは「利益ランキング」ではない
シストレ.COMのEAランキングを見ると、すぐに気付くことがあります。
それは累計利益やPF（プロフィットファクター）といった収益要素だけで順位が決まっていないということです。
例えば、累計収益31ドル（約5000円）のCSMV_EURCAD（5位）より順位が下のEAの中には累計収益が数万円といったEAがいくつもありますし、順位はCSMV_EURCADより上なのにPFはCSMV_EURCADより小さいEAもあります。
利益やPFだけを見ると、一見不思議な順位に見えます。
つまり、このランキングは「利益（要素）が大きいEAランキング」ではなく、別の評価基準で順位付けされていることが分かります。
評価に使われている主な項目
シストレ.COMでは、フォワード実績をもとに次のような要素を総合的に評価しています。
| 評価項目 | 内容 |
|---|---|
| PF（プロフィットファクター） | 利益効率（総利益÷総損失） |
| RF（リカバリーファクター） | ドローダウンからの回復力 |
| 取引回数 | フォワード実績の信頼性 |
| 最大保有ポジション数 | リスク管理 |
つまり「利益が大きいEA」ではなく、RFや取引回数、最大ポジション数といった要素が入ることで、「安定して利益を積み重ねられるEA」かどうかを評価しようという考え方になっていることが分かります。
「同じ条件」で比較
更にこのランキングについて個人的に特に評価したいのは、「同じ条件」で比較している点です。
シストレ.COMでは通常EAであれば0.01ロットの単利運用でフォワード実績を公開しており、ナンピンやマーチン、グリッドなどのEAでも0.01ロットスタートでのフォワード計測となっています。
販売者がリアル口座・デモ口座のどちらでフォワード運用するかを選択できるため、全EAがリアル口座の運用成績を公開しているわけではなく、デモ口座とリアル口座のフォワード成績が混在しているという部分はあるものの、この「0.01ロット」という共通条件で運用成績を計測し比較しているというところは高く評価できるところです。
※ちなみにシストレ.COMに出品しているLIBERTACTIONのEAはすべてリアル口座での運用成績を公開中です。
この点は、EA同士を比較する上で非常に公平だと感じています。
例えば、
GogoJungleでは販売者ごとに
・単利運用
・複利運用
・ロット設定
の条件が異なります。
EA-BANKでも、「最大ドローダウンが1000ドル以内」になるようEAごとにロットが調整されていますので、ロットの大きさはバラバラです。
もちろん、どちらも実運用では参考になります。
しかし、EAそのものの性能を横並びで比較するという点では条件が統一されているとは言えません。
その点、シストレ.COMではこの「0.01ロット」基準でフォワードが計測されるため、利益額だけではなく、PFやRF、ドローダウンなども含めた比較がしやすくなっています。
数式を見て感じた「なるほど」と思うポイント
シストレ.COMでは次のような数式でスコアを算出しています。
Raw Score = softcap(PF_eff, 5) × softcap(RF_eff, 3) × TR_coef × Pos_coef × DD_coef
Display Score = 10 × (1 − e−Raw/2.5)
w = 1 − e−LT/5 …損失取引数による信頼度
PF_eff = 1 + (PF − 1) × w …信頼度補正済みProfit Factor
RF_eff = RF × w …信頼度補正済みRecovery Factor
softcap(x, c) = c × (1 − e−x/c) …上限付き緩和関数
TR_coef …取引回数による微調整
Pos_coef …最大同時ポジション数 (1=1.0, 2=0.85, 3+=0.7)
引用：シストレ.COM公式サイトより
すべて説明することはできませんが、面白いと思ったこの数式のポイントを紹介します。
① PF_effとRF_eff（PFとRFの補正）
PF（プロフィットファクター）は、そのまま評価に使われるわけではありません。
損失取引数から算出した「信頼度」（w）を掛けることで、取引実績がまだ少ないEAの高いPFを過大評価しないよう補正されています。
例えば、PFが高くても損失取引数が少ない段階では、評価上のPFは低めに抑えられます。
RF（リカバリーファクター）についても同様で、損失取引数による信頼度を掛けて補正しています。運用初期にたまたま高いRFが出ただけのEAを、そのまま高評価しないための仕組みと考えられます。
② softcap（極端な数値を抑える仕組み）
個人的に一番面白いと思ったのがこれです。
例えばPFの2と10を比較してPF10だからPF2の5倍優秀とは言えませんし、2→3→5→10→100と右にPFの数値が拡大していくほど優秀なEAというわけではありません。
そこでsoftcapという関数を使い、極端な数値ほど評価の伸びを緩やかにして一定以上では頭打ちになるよう補正しています。
つまり、「極端な数値だから高評価」ということではなく、他の評価項目とのバランスも重視する設計になっています。
③ TR_coef（取引回数補正）
これは取引回数による補正です。
例えば、10回しか取引していないEAと500回以上取引しているEAでは、当然500回の方が信頼できます。
そのため、サンプル数が少ないEAは少し評価を下げる設計になっています。
フォワード重視のランキングらしい考え方ですね。
④ Pos_coef（保有ポジション補正）
こちらは最大保有ポジション数による補正です。
一般的には、保有ポジション数が多いほどリスク管理は難しくなります。
そのため、最大ポジション数が1なら「1.0」,、2なら「0.85」、 3以上なら「0.7」を掛けることで、保有ポジション数が少ないEAほど評価されやすくなっています。
ナンピンやグリッド、マーチンゲールのEAは、この点ではやや不利になるでしょう。
⑤ Display Score（10点満点への変換）
最後にRaw Scoreを0～10点へ変換しています。
指数関数を使っているため、高得点になるほどスコアをさらに伸ばすのが難しくなる設計です。
そのため、Sランク（8.0以上）は簡単には獲得できないようになっています。
なぜCSMV_EURCADは5位だったのか
今回5位となったCSMV_EURCADは、
PF：3.47
RF：12.54
勝率：約77％
最大ドローダウン：約3％
という成績になっています。
派手に利益を狙うEAではありませんが、
「ドローダウンを抑えながら安定して利益を積み上げる」
という特徴があります。
シストレ.COMに出品したのが大幅にバックテストの改善した「ver5.0」でしかもフォワード計測期間がまだ1年ほどと短くたまたま好成績になっているというのも勿論ありますが、シストレ.COMが重視する「総合力」とも相性はいいように思います。
具体的には利益だけでなくPFやRFや最大ドローダウン、最大保有ポジション数などを含めて総合評価されるため、「バランスの良さ」が評価された結果ではないかと考えています。
もちろん、ランキングは固定ではなく、今後のフォワード成績によって順位は変動します。
しかし、リアル口座での実績が評価されたことは、EA開発者として励みになります。
▼CSMV_EURCADについては下記ページでご案内しています。
ランキングは「EA選びの入口」として活用したい
今回、評価方法を詳しく見て感じたのは、シストレ.COMのランキングは利益だけではなく、「長く安心して運用しやすいEA」を評価しようという考え方が伝わってくることです。
換言するなら、「一つの指標が突出しているEA」ではなく「総合力の高いEA」を評価しようという考え方です。
EA選びにおいても、この考え方は参考になるのではないでしょうか。
もちろん、どんな評価方法にも万能なものはありません。
例えば、
・シャープレシオ
・月ごとの収益の安定性
・フォワード運用期間
など、評価に加えられる指標はまだあります。
それでも、PFやRFに加え、取引回数や保有ポジション数まで考慮している点は、EA選びの参考になるランキングだと思います。
私自身EA評価ランキングを作成していますが、このランキングについては「補正」の考え方について学ぶところも多かったです。
特に「信頼度補正」と「softcap（上限付き緩和関数）」を組み合わせている点は、よく考えられているのではないかと感じました。
「極端に良い数値をそのまま評価しない」「実績の信頼性を補正する」という考え方は、今後ランキングの作成方法を修正する場合は参考にしていきたいと思います。
※シストレ.COMのランキングやEAの成績はこちらから確認できます。