Chess2u
Would you like to react to this message? Create an account in a few clicks or log in to continue.

Chess2uLog in

Mars tests

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
Mars 2.7 x64 Gauntlet

Mars 2.7 x64 - Stockfish 5 64bit34.5-86.528.51%
Mars 2.7 x64 - Houdini 4 Pro x6434.0-87.028.10%
Mars 2.7 x64 - Gull 3 x6451.0-70.042.15%
Mars 2.7 x64 - Critter 1.6a 64-bit60.0-61.049.59%
Mars 2.7 x64 - Mars 1 x6459.0-62.048.76%
238.5-366.539.42%
605 out of 1500 games played
Level: 3 Minutes/Game

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
Vladimir wrote:
Mars 2.7 x64 Gauntlet

Mars 2.7 x64 - Stockfish 5 64bit34.5-86.528.51%
Mars 2.7 x64 - Houdini 4 Pro x6434.0-87.028.10%
Mars 2.7 x64 - Gull 3 x6451.0-70.042.15%
Mars 2.7 x64 - Critter 1.6a 64-bit60.0-61.049.59%
Mars 2.7 x64 - Mars 1 x6459.0-62.048.76%
238.5-366.539.42%
605 out of 1500 games played
Level: 3 Minutes/Game


Good result against Critter 1.6a! thumb up

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz

Code:

Mars 2.7 x64 Gauntlet

Mars 2.7 x64 - Stockfish 5 64bit       88.0 - 212.0     +28/=120/-152   29.33%
Mars 2.7 x64 - Houdini 4 Pro x64       91.0 - 209.0     +26/=130/-144   30.33%
Mars 2.7 x64 - Gull 3 x64              121.5 - 178.5    +47/=149/-104   40.50%
Mars 2.7 x64 - Critter 1.6a 64-bit     145.0 - 155.0    +49/=192/-59    48.33%
Mars 2.7 x64 - Mars 1 x64              148.0 - 152.0    +43/=210/-47    49.33%

1500 out of 1500 games played 
Level: 3 Minutes/Game
PGN: http://www.fileswap.com/dl/cyXNLGS7MM/

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
Thanx Vladimir for the test!

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
TC 120"+1"

Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Mars 2.7 AVX x64               : 3011   26  26   276    52.7 %   2992   59.8 %
  2 Mars 1 AVX x64                 : 3004   23  23   286    51.7 %   2992   66.4 %
  3 Fire 3.0 x64                   : 2992   17  17   562    47.8 %   3008   63.2 %


Code:

Individual statistics:

1 Mars 2.7 AVX x64          : 3011  276 (+ 63,=165,- 48), 52.7 %

Fire 3.0 x64                  : 276 (+ 63,=165,- 48), 52.7 %

2 Mars 1 AVX x64            : 3004  286 (+ 53,=190,- 43), 51.7 %

Fire 3.0 x64                  : 286 (+ 53,=190,- 43), 51.7 %

3 Fire 3.0 x64              : 2992  562 (+ 91,=355,-116), 47.8 %

Mars 1 AVX x64                : 286 (+ 43,=190,- 53), 48.3 %
Mars 2.7 AVX x64              : 276 (+ 48,=165,- 63), 47.3 %


Games

descriptionMars tests - Page 2 EmptyMars tests

more_horiz
I've run a test on Mars 2.7 and Mars 3.1 for 30m 0s using my own PGN (6 moves from PGN). Here is the result

1Mars_3.1_x64  10.0/2050.0· ·· ·· ·· ·· ·· ·· ·· ··1=1====0===0========
1Mars_2.7_AVX_x6410.0/2050.00=0====1===1========· ·· ·· ·· ·· ·· ·· ·· ··

Hardware: Intel(R) Core(TM) i7-2630QM CPU @ 2.00GHz with 7.9 GB Memory
Operating system:Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
GUI: Arena 3.5

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz

Code:

     Program                    Elo    +    -   Games   Score   Av.Op.  Draws

   1 Gull 3 x64               : 3101    7    7  4000    60.0 %   3030   48.6 %
   2 Critter 1.6a x64         : 3064    8    8  4000    54.1 %   3035   59.3 %

   3 Mars 3.1 x64             : 3048    7    7  4000    51.6 %   3037   61.6 %

   4 Fire 3 x64s              : 3045    6    6  5500    52.2 %   3029   60.1 %
   5 Mars 3 x64               : 3041    9    9  2500    53.2 %   3019   63.8 %
   6 Mars 2.7 x64             : 3034    8    8  3000    53.6 %   3008   62.4 %
   7 Bouquet 1.8 x64          : 3032    7    7  4000    49.1 %   3039   61.6 %
   8 Firenzina 2.4.2 x64s     : 3031    6    6  5500    50.1 %   3031   59.9 %
   9 PanChess 00.611 x64      : 3028    6    6  5500    49.5 %   3031   63.5 %
  10 Robbolito 0.085g3 x64    : 3000    6    6  5500    45.3 %   3034   60.8 %
  11 Saros eXp 6 x64s         : 2992    6    6  5000    42.9 %   3042   60.1 %
  12 Saros eXp 6h x64s        : 2953    9    9  2500    39.6 %   3028   57.3 %


Individual statistics:
Spoiler :

Code:



1 Gull 3 x64             : 3101 4000 (+1426,=1945,-629), 60.0 %

Critter 1.6a x64           : 500 (+153,=248,- 99), 55.4 %
Bouquet 1.8 x64            : 500 (+160,=272,- 68), 59.2 %
Mars 3.1 x64               : 500 (+163,=245,- 92), 57.1 %
Saros eXp 6 x64s           : 500 (+209,=220,- 71), 63.8 %
Robbolito 0.085g3 x64      : 500 (+200,=221,- 79), 62.1 %
Firenzina 2.4.2 x64s       : 500 (+192,=236,- 72), 62.0 %
PanChess 00.611 x64        : 500 (+175,=250,- 75), 60.0 %
Fire 3 x64s                : 500 (+174,=253,- 73), 60.1 %

2 Critter 1.6a x64       : 3064 4000 (+979,=2372,-649), 54.1 %

Gull 3 x64                 : 500 (+ 99,=248,-153), 44.6 %
Bouquet 1.8 x64            : 500 (+123,=305,- 72), 55.1 %
Mars 3.1 x64               : 500 (+107,=305,- 88), 51.9 %
Saros eXp 6 x64s           : 500 (+168,=288,- 44), 62.4 %
Robbolito 0.085g3 x64      : 500 (+142,=308,- 50), 59.2 %
Firenzina 2.4.2 x64s       : 500 (+136,=286,- 78), 55.8 %
PanChess 00.611 x64        : 500 (+108,=325,- 67), 54.1 %
Fire 3 x64s                : 500 (+ 96,=307,- 97), 49.9 %

3 Mars 3.1 x64           : 3048 4000 (+833,=2463,-704), 51.6 %

Gull 3 x64                 : 500 (+ 92,=245,-163), 42.9 %
Critter 1.6a x64           : 500 (+ 88,=305,-107), 48.1 %
Bouquet 1.8 x64            : 500 (+105,=324,- 71), 53.4 %
Saros eXp 6 x64s           : 500 (+124,=325,- 51), 57.3 %
Robbolito 0.085g3 x64      : 500 (+134,=311,- 55), 57.9 %
Firenzina 2.4.2 x64s       : 500 (+ 99,=322,- 79), 52.0 %
PanChess 00.611 x64        : 500 (+ 87,=337,- 76), 51.1 %
Fire 3 x64s                : 500 (+104,=294,-102), 50.2 %

4 Fire 3 x64s            : 3045 5500 (+1217,=3305,-978), 52.2 %

Gull 3 x64                 : 500 (+ 73,=253,-174), 39.9 %
Critter 1.6a x64           : 500 (+ 97,=307,- 96), 50.1 %
Bouquet 1.8 x64            : 500 (+ 94,=306,-100), 49.4 %
Mars 3.1 x64               : 500 (+102,=294,-104), 49.8 %
Mars 3 x64                 : 500 (+ 97,=315,- 88), 50.9 %
Saros eXp 6h x64s          : 500 (+167,=284,- 49), 61.8 %
Saros eXp 6 x64s           : 500 (+138,=305,- 57), 58.1 %
Robbolito 0.085g3 x64      : 500 (+125,=308,- 67), 55.8 %
Firenzina 2.4.2 x64s       : 500 (+103,=305,- 92), 51.1 %
Mars 2.7 x64               : 500 (+106,=333,- 61), 54.5 %
PanChess 00.611 x64        : 500 (+115,=295,- 90), 52.5 %

5 Mars 3 x64             : 3041 2500 (+532,=1594,-374), 53.2 %

Saros eXp 6 x64s           : 500 (+139,=310,- 51), 58.8 %
Robbolito 0.085g3 x64      : 500 (+123,=315,- 62), 56.1 %
Firenzina 2.4.2 x64s       : 500 (+ 93,=320,- 87), 50.6 %
PanChess 00.611 x64        : 500 (+ 89,=334,- 77), 51.2 %
Fire 3 x64s                : 500 (+ 88,=315,- 97), 49.1 %

6 Mars 2.7 x64           : 3034 3000 (+671,=1873,-456), 53.6 %

Saros eXp 6h x64s          : 500 (+170,=289,- 41), 62.9 %
Saros eXp 6 x64s           : 500 (+139,=304,- 57), 58.2 %
Robbolito 0.085g3 x64      : 500 (+110,=318,- 72), 53.8 %
Firenzina 2.4.2 x64s       : 500 (+110,=290,-100), 51.0 %
PanChess 00.611 x64        : 500 (+ 81,=339,- 80), 50.1 %
Fire 3 x64s                : 500 (+ 61,=333,-106), 45.5 %

7 Bouquet 1.8 x64        : 3032 4000 (+732,=2464,-804), 49.1 %

Gull 3 x64                 : 500 (+ 68,=272,-160), 40.8 %
Critter 1.6a x64           : 500 (+ 72,=305,-123), 44.9 %
Mars 3.1 x64               : 500 (+ 71,=324,-105), 46.6 %
Saros eXp 6 x64s           : 500 (+124,=299,- 77), 54.7 %
Robbolito 0.085g3 x64      : 500 (+110,=323,- 67), 54.3 %
Firenzina 2.4.2 x64s       : 500 (+ 89,=317,- 94), 49.5 %
PanChess 00.611 x64        : 500 (+ 98,=318,- 84), 51.4 %
Fire 3 x64s                : 500 (+100,=306,- 94), 50.6 %

8 Firenzina 2.4.2 x64s   : 3031 5500 (+1107,=3297,-1096), 50.1 %

Gull 3 x64                 : 500 (+ 72,=236,-192), 38.0 %
Critter 1.6a x64           : 500 (+ 78,=286,-136), 44.2 %
Bouquet 1.8 x64            : 500 (+ 94,=317,- 89), 50.5 %
Mars 3.1 x64               : 500 (+ 79,=322,- 99), 48.0 %
Mars 3 x64                 : 500 (+ 87,=320,- 93), 49.4 %
Saros eXp 6h x64s          : 500 (+166,=278,- 56), 61.0 %
Saros eXp 6 x64s           : 500 (+104,=313,- 83), 52.1 %
Robbolito 0.085g3 x64      : 500 (+133,=297,- 70), 56.3 %
Mars 2.7 x64               : 500 (+100,=290,-110), 49.0 %
PanChess 00.611 x64        : 500 (+102,=333,- 65), 53.7 %
Fire 3 x64s                : 500 (+ 92,=305,-103), 48.9 %

9 PanChess 00.611 x64    : 3028 5500 (+978,=3492,-1030), 49.5 %

Gull 3 x64                 : 500 (+ 75,=250,-175), 40.0 %
Critter 1.6a x64           : 500 (+ 67,=325,-108), 45.9 %
Bouquet 1.8 x64            : 500 (+ 84,=318,- 98), 48.6 %
Mars 3.1 x64               : 500 (+ 76,=337,- 87), 48.9 %
Mars 3 x64                 : 500 (+ 77,=334,- 89), 48.8 %
Saros eXp 6h x64s          : 500 (+141,=307,- 52), 58.9 %
Saros eXp 6 x64s           : 500 (+120,=315,- 65), 55.5 %
Robbolito 0.085g3 x64      : 500 (+103,=339,- 58), 54.5 %
Firenzina 2.4.2 x64s       : 500 (+ 65,=333,-102), 46.3 %
Mars 2.7 x64               : 500 (+ 80,=339,- 81), 49.9 %
Fire 3 x64s                : 500 (+ 90,=295,-115), 47.5 %

10 Robbolito 0.085g3 x64  : 3000 5500 (+819,=3342,-1339), 45.3 %

Gull 3 x64                 : 500 (+ 79,=221,-200), 37.9 %
Critter 1.6a x64           : 500 (+ 50,=308,-142), 40.8 %
Bouquet 1.8 x64            : 500 (+ 67,=323,-110), 45.7 %
Mars 3.1 x64               : 500 (+ 55,=311,-134), 42.1 %
Mars 3 x64                 : 500 (+ 62,=315,-123), 43.9 %
Saros eXp 6h x64s          : 500 (+150,=274,- 76), 57.4 %
Saros eXp 6 x64s           : 500 (+ 89,=328,- 83), 50.6 %
Firenzina 2.4.2 x64s       : 500 (+ 70,=297,-133), 43.7 %
Mars 2.7 x64               : 500 (+ 72,=318,-110), 46.2 %
PanChess 00.611 x64        : 500 (+ 58,=339,-103), 45.5 %
Fire 3 x64s                : 500 (+ 67,=308,-125), 44.2 %

11 Saros eXp 6 x64s       : 2992 5000 (+639,=3007,-1354), 42.9 %

Gull 3 x64                 : 500 (+ 71,=220,-209), 36.2 %
Critter 1.6a x64           : 500 (+ 44,=288,-168), 37.6 %
Bouquet 1.8 x64            : 500 (+ 77,=299,-124), 45.3 %
Mars 3.1 x64               : 500 (+ 51,=325,-124), 42.7 %
Mars 3 x64                 : 500 (+ 51,=310,-139), 41.2 %
Robbolito 0.085g3 x64      : 500 (+ 83,=328,- 89), 49.4 %
Firenzina 2.4.2 x64s       : 500 (+ 83,=313,-104), 47.9 %
Mars 2.7 x64               : 500 (+ 57,=304,-139), 41.8 %
PanChess 00.611 x64        : 500 (+ 65,=315,-120), 44.5 %
Fire 3 x64s                : 500 (+ 57,=305,-138), 41.9 %

12 Saros eXp 6h x64s      : 2953 2500 (+274,=1432,-794), 39.6 %

Robbolito 0.085g3 x64      : 500 (+ 76,=274,-150), 42.6 %
Firenzina 2.4.2 x64s       : 500 (+ 56,=278,-166), 39.0 %
Mars 2.7 x64               : 500 (+ 41,=289,-170), 37.1 %
PanChess 00.611 x64        : 500 (+ 52,=307,-141), 41.1 %
Fire 3 x64s                : 500 (+ 49,=284,-167), 38.2 %



http://spcc.beepworld.de/experiments.htm

descriptionMars tests - Page 2 EmptyRe: Mars Test

more_horiz
It prove that Mars 3.1 is better than Mars2.7. But what is your TC?

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
@hafaba wrote:
It prove that Mars 3.1 is better than Mars2.7. But what is your TC?


Yes, Mars 3.1 is stronger than Mars 2.7.
It is Stefan Pohl's testrun.
Conditions:
50 sec +0.5 sec (average game duration: 2.5 minutes), 128 MB Hash, singlecore, LittleBlitzerGUI

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
1-core, hash 128mb, TC 120+0.5

Code:

    Program                      Elo    +   -   Games   Score   Av.Op.  Draws

  1 Mars 3.2 x64               : 3006   29  29   202    51.7 %   2994   62.9 %
  2 Mars 3.1 x64               : 2994   29  29   202    48.3 %   3006   62.9 %


Code:

Individual statistics:

1 Mars 3.2 x64              : 3006  202 (+ 41,=127,- 34), 51.7 %

Mars 3.1 x64                  : 202 (+ 41,=127,- 34), 51.7 %

2 Mars 3.1 x64              : 2994  202 (+ 34,=127,- 41), 48.3 %

Mars 3.2 x64                  : 202 (+ 34,=127,- 41), 48.3 %

descriptionMars tests - Page 2 EmptyMars3.2 vs Gull 3 TC 10/0 BXX ECO

more_horiz
RankEngineScore%GuMaS-B
1Gull 3 x64 7.0/1070.0· ·· ·· ·· ··101=01111=21.00
2Mars_3.2_x643.0/1030.0010=10000=· ·· ·· ·· ··21.00
10 games played / Tournament is finished
Tournament start: 2014.09.19, 06:47:56
Latest update: 2014.09.19, 09:58:36

Level: Blitz 10/0
Hardware: Intel(R) Core(TM) i7-2630QM CPU @ 2.00GHz with 7.9 GB Memory
Operating system: Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
PGN-File: MARS3.2 VS GULL3 TC 10m.pgn
Opening: Randomly selected from 36337 games of ECO BXX for first 2 moves
Table created with: Arena 3.5

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
Results at fast TC:

Code:

  # PLAYER                : RATING  ERROR  POINTS  PLAYED    (%)

  1 Critter 1.6a 64-bit    :    5.9  10.7  2341.5    4569  51.2%
  2 Mars 3.3 x64          :    0.0  ----  1142.0    2323  49.2%
  3 Mars 3.1 x64          :  -5.8  15.1  1085.5    2246  48.3%

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
RankEngineScore%GuMaMaMaMaS-B
1Gull 3 x64   26.5/4066.2· ·· ·· ·· ··==11=1=011=01==0=====1=10=1=111=1==1=111484.00
2Mars_3.2_x64  20.0/4050.0==00=0=100· ·· ·· ·· ··=11=======0====1===1===1=10===383.25
3Mars_3.1_x64  19.0/4047.5=10==1=====00=======· ·· ·· ·· ··==0=======0======1==389.50
4Mars_2.7_AVX_x6417.5/4043.7=0=01=0=001====0===0==1=======· ·· ·· ·· ··==100=====350.50
5Mars_3.3_x64  17.0/4042.50=0==0=000===0=01===1======0====011=====· ·· ·· ·· ··334.25
40 games played / Tournament is finished
Tournament start: 2014.09.25, 01:56:45
Latest update: 2014.09.26, 19:36:51

Level: Blitz 10/0
Hardware: Intel(R) Core(TM) i7-2630QM CPU @ 2.00GHz with 7.9 GB Memory
Operating system: Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
PGN-File: MARS TEST 10m.pgn
Opening: Randomly selected from 36337 games of ECO BXX for first 2 moves
Table created with: Arena 3.5

NOTE: Gull 3.0 is used as benchmark

Last edited by hafaba on Sat Sep 27, 2014 11:08 am; edited 2 times in total (Reason for editing : Error in Number of games played)

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz

Code:

     Program                    Elo    +    -   Games   Score   Av.Op.  Draws
   1 Houdini 4 x64            : 3187    7    7  4500    69.8 %   3039   43.4 %
   2 Gull 3 x64               : 3105    7    7  4500    58.0 %   3048   48.4 %
   3 Critter 1.6a x64         : 3065    7    7  4500    51.9 %   3052   57.9 %
   4 Mars 3.3 x64             : 3050    6    6  4500    49.5 %   3054   60.4 %
   5 Fire 3 x64s              : 3043    7    7  4500    48.4 %   3055   58.7 %
   6 Bouquet 1.8 x64          : 3034    7    7  4500    47.0 %   3056   59.4 %
   7 Firenzina 2.4.2 x64s     : 3032    7    7  4500    46.7 %   3056   58.0 %
   8 PanChess 00.611 x64      : 3028    7    7  4500    46.2 %   3056   60.5 %
   9 Robbolito 0.085g3 x64    : 3000    6    6  4500    41.8 %   3060   58.5 %
  10 Saros eXp 6 x64s         : 2993    7    7  4500    40.7 %   3060   57.2 %


Code:

    Program                    Elo    +    -   Games   Score   Av.Op.  Draws
   1 Houdini 4 x64            : 3189    7    7  5000    70.0 %   3039   43.3 %
   2 Gull 3 x64               : 3104    7    7  5000    58.0 %   3048   48.5 %
   3 Critter 1.6a x64         : 3065    6    6  5000    51.9 %   3052   58.2 %
   4 Mars 3.3 x64             : 3050    7    7  4500    49.5 %   3054   60.4 %
   5 Mars 3.1 x64             : 3046    7    7  4500    49.0 %   3054   59.4 %
   6 Fire 3 x64s              : 3044    6    6  6500    50.2 %   3044   59.5 %
   7 Mars 3 x64               : 3041   10   10  2500    53.2 %   3019   63.8 %
   8 Mars 2.7 x64             : 3033    8    8  3000    53.6 %   3008   62.4 %
   9 Bouquet 1.8 x64          : 3033    7    7  5000    47.0 %   3055   59.9 %
  10 Firenzina 2.4.2 x64s     : 3032    6    6  6500    48.3 %   3044   58.8 %
  11 PanChess 00.611 x64      : 3029    6    6  6500    47.8 %   3045   62.2 %
  12 Robbolito 0.085g3 x64    : 3000    6    6  6500    43.5 %   3047   59.3 %
  13 Saros eXp 6 x64s         : 2990    6    6  6000    41.0 %   3056   58.6 %
  14 Saros eXp 6h x64s        : 2954   10   10  2500    39.6 %   3028   57.3 %


Spoiler :

Code:

Individual statistics:

1 Houdini 4 x64          : 3189 5000 (+2417,=2166,-417), 70.0 %

Mars 3.3 x64               : 500 (+223,=234,- 43), 68.0 %
Gull 3 x64                 : 500 (+181,=230,- 89), 59.2 %
Critter 1.6a x64           : 500 (+205,=238,- 57), 64.8 %
Bouquet 1.8 x64            : 500 (+239,=224,- 37), 70.2 %
Mars 3.1 x64               : 500 (+254,=212,- 34), 72.0 %
Saros eXp 6 x64s           : 500 (+297,=182,- 21), 77.6 %
Robbolito 0.085g3 x64      : 500 (+288,=188,- 24), 76.4 %
Firenzina 2.4.2 x64s       : 500 (+249,=201,- 50), 69.9 %
PanChess 00.611 x64        : 500 (+245,=222,- 33), 71.2 %
Fire 3 x64s                : 500 (+236,=235,- 29), 70.7 %

2 Gull 3 x64             : 3104 5000 (+1686,=2423,-891), 58.0 %

Mars 3.3 x64               : 500 (+171,=248,- 81), 59.0 %
Houdini 4 x64              : 500 (+ 89,=230,-181), 40.8 %
Critter 1.6a x64           : 500 (+153,=248,- 99), 55.4 %
Bouquet 1.8 x64            : 500 (+160,=272,- 68), 59.2 %
Mars 3.1 x64               : 500 (+163,=245,- 92), 57.1 %
Saros eXp 6 x64s           : 500 (+209,=220,- 71), 63.8 %
Robbolito 0.085g3 x64      : 500 (+200,=221,- 79), 62.1 %
Firenzina 2.4.2 x64s       : 500 (+192,=236,- 72), 62.0 %
PanChess 00.611 x64        : 500 (+175,=250,- 75), 60.0 %
Fire 3 x64s                : 500 (+174,=253,- 73), 60.1 %

3 Critter 1.6a x64       : 3065 5000 (+1139,=2912,-949), 51.9 %

Mars 3.3 x64               : 500 (+103,=302,- 95), 50.8 %
Houdini 4 x64              : 500 (+ 57,=238,-205), 35.2 %
Gull 3 x64                 : 500 (+ 99,=248,-153), 44.6 %
Bouquet 1.8 x64            : 500 (+123,=305,- 72), 55.1 %
Mars 3.1 x64               : 500 (+107,=305,- 88), 51.9 %
Saros eXp 6 x64s           : 500 (+168,=288,- 44), 62.4 %
Robbolito 0.085g3 x64      : 500 (+142,=308,- 50), 59.2 %
Firenzina 2.4.2 x64s       : 500 (+136,=286,- 78), 55.8 %
PanChess 00.611 x64        : 500 (+108,=325,- 67), 54.1 %
Fire 3 x64s                : 500 (+ 96,=307,- 97), 49.9 %

4 Mars 3.3 x64           : 3050 4500 (+871,=2717,-912), 49.5 %

Houdini 4 x64              : 500 (+ 43,=234,-223), 32.0 %
Gull 3 x64                 : 500 (+ 81,=248,-171), 41.0 %
Critter 1.6a x64           : 500 (+ 95,=302,-103), 49.2 %
Bouquet 1.8 x64            : 500 (+111,=307,- 82), 52.9 %
Saros eXp 6 x64s           : 500 (+132,=325,- 43), 58.9 %
Robbolito 0.085g3 x64      : 500 (+117,=322,- 61), 55.6 %
Firenzina 2.4.2 x64s       : 500 (+107,=324,- 69), 53.8 %
PanChess 00.611 x64        : 500 (+ 95,=326,- 79), 51.6 %
Fire 3 x64s                : 500 (+ 90,=329,- 81), 50.9 %

5 Mars 3.1 x64           : 3046 4500 (+867,=2675,-958), 49.0 %

Houdini 4 x64              : 500 (+ 34,=212,-254), 28.0 %
Gull 3 x64                 : 500 (+ 92,=245,-163), 42.9 %
Critter 1.6a x64           : 500 (+ 88,=305,-107), 48.1 %
Bouquet 1.8 x64            : 500 (+105,=324,- 71), 53.4 %
Saros eXp 6 x64s           : 500 (+124,=325,- 51), 57.3 %
Robbolito 0.085g3 x64      : 500 (+134,=311,- 55), 57.9 %
Firenzina 2.4.2 x64s       : 500 (+ 99,=322,- 79), 52.0 %
PanChess 00.611 x64        : 500 (+ 87,=337,- 76), 51.1 %
Fire 3 x64s                : 500 (+104,=294,-102), 50.2 %

6 Fire 3 x64s            : 3044 6500 (+1327,=3869,-1304), 50.2 %

Mars 3.3 x64               : 500 (+ 81,=329,- 90), 49.1 %
Houdini 4 x64              : 500 (+ 29,=235,-236), 29.3 %
Gull 3 x64                 : 500 (+ 73,=253,-174), 39.9 %
Critter 1.6a x64           : 500 (+ 97,=307,- 96), 50.1 %
Bouquet 1.8 x64            : 500 (+ 94,=306,-100), 49.4 %
Mars 3.1 x64               : 500 (+102,=294,-104), 49.8 %
Mars 3 x64                 : 500 (+ 97,=315,- 88), 50.9 %
Saros eXp 6h x64s          : 500 (+167,=284,- 49), 61.8 %
Saros eXp 6 x64s           : 500 (+138,=305,- 57), 58.1 %
Robbolito 0.085g3 x64      : 500 (+125,=308,- 67), 55.8 %
Firenzina 2.4.2 x64s       : 500 (+103,=305,- 92), 51.1 %
Mars 2.7 x64               : 500 (+106,=333,- 61), 54.5 %
PanChess 00.611 x64        : 500 (+115,=295,- 90), 52.5 %

7 Mars 3 x64             : 3041 2500 (+532,=1594,-374), 53.2 %

Saros eXp 6 x64s           : 500 (+139,=310,- 51), 58.8 %
Robbolito 0.085g3 x64      : 500 (+123,=315,- 62), 56.1 %
Firenzina 2.4.2 x64s       : 500 (+ 93,=320,- 87), 50.6 %
PanChess 00.611 x64        : 500 (+ 89,=334,- 77), 51.2 %
Fire 3 x64s                : 500 (+ 88,=315,- 97), 49.1 %

8 Mars 2.7 x64           : 3033 3000 (+671,=1873,-456), 53.6 %

Saros eXp 6h x64s          : 500 (+170,=289,- 41), 62.9 %
Saros eXp 6 x64s           : 500 (+139,=304,- 57), 58.2 %
Robbolito 0.085g3 x64      : 500 (+110,=318,- 72), 53.8 %
Firenzina 2.4.2 x64s       : 500 (+110,=290,-100), 51.0 %
PanChess 00.611 x64        : 500 (+ 81,=339,- 80), 50.1 %
Fire 3 x64s                : 500 (+ 61,=333,-106), 45.5 %

9 Bouquet 1.8 x64        : 3033 5000 (+851,=2995,-1154), 47.0 %

Mars 3.3 x64               : 500 (+ 82,=307,-111), 47.1 %
Houdini 4 x64              : 500 (+ 37,=224,-239), 29.8 %
Gull 3 x64                 : 500 (+ 68,=272,-160), 40.8 %
Critter 1.6a x64           : 500 (+ 72,=305,-123), 44.9 %
Mars 3.1 x64               : 500 (+ 71,=324,-105), 46.6 %
Saros eXp 6 x64s           : 500 (+124,=299,- 77), 54.7 %
Robbolito 0.085g3 x64      : 500 (+110,=323,- 67), 54.3 %
Firenzina 2.4.2 x64s       : 500 (+ 89,=317,- 94), 49.5 %
PanChess 00.611 x64        : 500 (+ 98,=318,- 84), 51.4 %
Fire 3 x64s                : 500 (+100,=306,- 94), 50.6 %

10 Firenzina 2.4.2 x64s   : 3032 6500 (+1226,=3822,-1452), 48.3 %

Mars 3.3 x64               : 500 (+ 69,=324,-107), 46.2 %
Houdini 4 x64              : 500 (+ 50,=201,-249), 30.1 %
Gull 3 x64                 : 500 (+ 72,=236,-192), 38.0 %
Critter 1.6a x64           : 500 (+ 78,=286,-136), 44.2 %
Bouquet 1.8 x64            : 500 (+ 94,=317,- 89), 50.5 %
Mars 3.1 x64               : 500 (+ 79,=322,- 99), 48.0 %
Mars 3 x64                 : 500 (+ 87,=320,- 93), 49.4 %
Saros eXp 6h x64s          : 500 (+166,=278,- 56), 61.0 %
Saros eXp 6 x64s           : 500 (+104,=313,- 83), 52.1 %
Robbolito 0.085g3 x64      : 500 (+133,=297,- 70), 56.3 %
Mars 2.7 x64               : 500 (+100,=290,-110), 49.0 %
PanChess 00.611 x64        : 500 (+102,=333,- 65), 53.7 %
Fire 3 x64s                : 500 (+ 92,=305,-103), 48.9 %

11 PanChess 00.611 x64    : 3029 6500 (+1090,=4040,-1370), 47.8 %

Mars 3.3 x64               : 500 (+ 79,=326,- 95), 48.4 %
Houdini 4 x64              : 500 (+ 33,=222,-245), 28.8 %
Gull 3 x64                 : 500 (+ 75,=250,-175), 40.0 %
Critter 1.6a x64           : 500 (+ 67,=325,-108), 45.9 %
Bouquet 1.8 x64            : 500 (+ 84,=318,- 98), 48.6 %
Mars 3.1 x64               : 500 (+ 76,=337,- 87), 48.9 %
Mars 3 x64                 : 500 (+ 77,=334,- 89), 48.8 %
Saros eXp 6h x64s          : 500 (+141,=307,- 52), 58.9 %
Saros eXp 6 x64s           : 500 (+120,=315,- 65), 55.5 %
Robbolito 0.085g3 x64      : 500 (+103,=339,- 58), 54.5 %
Firenzina 2.4.2 x64s       : 500 (+ 65,=333,-102), 46.3 %
Mars 2.7 x64               : 500 (+ 80,=339,- 81), 49.9 %
Fire 3 x64s                : 500 (+ 90,=295,-115), 47.5 %

12 Robbolito 0.085g3 x64  : 3000 6500 (+904,=3852,-1744), 43.5 %

Mars 3.3 x64               : 500 (+ 61,=322,-117), 44.4 %
Houdini 4 x64              : 500 (+ 24,=188,-288), 23.6 %
Gull 3 x64                 : 500 (+ 79,=221,-200), 37.9 %
Critter 1.6a x64           : 500 (+ 50,=308,-142), 40.8 %
Bouquet 1.8 x64            : 500 (+ 67,=323,-110), 45.7 %
Mars 3.1 x64               : 500 (+ 55,=311,-134), 42.1 %
Mars 3 x64                 : 500 (+ 62,=315,-123), 43.9 %
Saros eXp 6h x64s          : 500 (+150,=274,- 76), 57.4 %
Saros eXp 6 x64s           : 500 (+ 89,=328,- 83), 50.6 %
Firenzina 2.4.2 x64s       : 500 (+ 70,=297,-133), 43.7 %
Mars 2.7 x64               : 500 (+ 72,=318,-110), 46.2 %
PanChess 00.611 x64        : 500 (+ 58,=339,-103), 45.5 %
Fire 3 x64s                : 500 (+ 67,=308,-125), 44.2 %

13 Saros eXp 6 x64s       : 2990 6000 (+703,=3514,-1783), 41.0 %

Mars 3.3 x64               : 500 (+ 43,=325,-132), 41.1 %
Houdini 4 x64              : 500 (+ 21,=182,-297), 22.4 %
Gull 3 x64                 : 500 (+ 71,=220,-209), 36.2 %
Critter 1.6a x64           : 500 (+ 44,=288,-168), 37.6 %
Bouquet 1.8 x64            : 500 (+ 77,=299,-124), 45.3 %
Mars 3.1 x64               : 500 (+ 51,=325,-124), 42.7 %
Mars 3 x64                 : 500 (+ 51,=310,-139), 41.2 %
Robbolito 0.085g3 x64      : 500 (+ 83,=328,- 89), 49.4 %
Firenzina 2.4.2 x64s       : 500 (+ 83,=313,-104), 47.9 %
Mars 2.7 x64               : 500 (+ 57,=304,-139), 41.8 %
PanChess 00.611 x64        : 500 (+ 65,=315,-120), 44.5 %
Fire 3 x64s                : 500 (+ 57,=305,-138), 41.9 %

14 Saros eXp 6h x64s      : 2954 2500 (+274,=1432,-794), 39.6 %

Robbolito 0.085g3 x64      : 500 (+ 76,=274,-150), 42.6 %
Firenzina 2.4.2 x64s       : 500 (+ 56,=278,-166), 39.0 %
Mars 2.7 x64               : 500 (+ 41,=289,-170), 37.1 %
PanChess 00.611 x64        : 500 (+ 52,=307,-141), 41.1 %
Fire 3 x64s                : 500 (+ 49,=284,-167), 38.2 %




http://spcc.beepworld.de/experiments.htm

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
RankEngineScore%GuMaS-B
1Gull 3 x64  7.5/1075.0· ·· ·· ·· ··=11==11==118.75
2Mars_3.31_x642.5/1025.0=00==00==0· ·· ·· ·· ··18.75
10 games played / Tournament is finished
Tournament start: 2014.10.15, 17:19:33
Latest update: 2014.10.15, 20:28:29

Level: Blitz 10/0
Hardware: Intel(R) Core(TM) i7-2630QM CPU @ 2.00GHz with 7.9 GB Memory [4 cores]
Operating system: Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
Table created with: Arena 3.5

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
A small test at fast blitz TC:

Code:

  Program                        Elo    +   -   Games   Score   Av.Op.  Draws

1 Mars 3.31 x64                : 3002   20  20   360    50.7 %   2998   69.2 %
2 Mars 3.3 x64                 : 2998   20  20   360    49.3 %   3002   69.2 %

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
@hafaba wrote:
RankEngineScore%GuMaS-B
1Gull 3 x64  7.5/1075.0· ·· ·· ·· ··=11==11==118.75
2Mars_3.31_x642.5/1025.0=00==00==0· ·· ·· ·· ··18.75
10 games played / Tournament is finished
Tournament start: 2014.10.15, 17:19:33
Latest update: 2014.10.15, 20:28:29

Level: Blitz 10/0
Hardware: Intel(R) Core(TM) i7-2630QM CPU @ 2.00GHz with 7.9 GB Memory [4 cores]
Operating system: Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
Table created with: Arena 3.5


Thank you for your tests hafaba.
Could you repeat that test with checked "TM Online" option?

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
I will post the result of Mars vs gull3 with Mars TM Online checked!. The test using the same hardware and time control remain as 10 minutes / 0 increment. Hope this test will help the developer to increase its strength.

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
RankEngineScore%GuMaS-B
1Gull 3 x64  6.5/1065.0· ·· ·· ·· ··1=1=====1=22.75
2Mars_3.31_x643.5/1035.00=0=====0=· ·· ·· ·· ··22.75
10 games played / Tournament is finished
Tournament start: 2014.10.17, 00:59:49
Latest update: 2014.10.17, 04:13:36

Level: Blitz 10/0
Hardware: Intel(R) Core(TM) i7-2630QM CPU @ 2.00GHz with 7.9 GB Memory [4 cores]
Operating system: Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
PGN-File: [url=https://www.dropbox.com/s/8s8ka3029pdrj3s/MARS VS GULL TM ON]MARS VS GULL TM ONLINE CHECKED[/url]
Table created with: Arena 3.5

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
Thank you, hafaba!

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
@majortom wrote:
Thank you, hafaba!


welcome - are there any parameter that you want me to test on Mars?

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
@hafaba wrote:
@majortom wrote:
Thank you, hafaba!


welcome - are there any parameter that you want me to test on Mars?


Maybe only some tests without an increment with / without "TM Online" option against the same opponents (like you did vs the Gull) would be helpful for me.

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
New Test

1. Gull 3.0
2. Mars 3.31 TM Online ON
3. Mars 3.31 TM Online OFF

Time Control: 10 minutes with 0 increment
GUI: Arena 3.5
System: Round Robin for 10 games reverse color using BXX ECO

I will post the result once it finish

Gull 3.0 is used as Benchmark

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
Conditions:

Code:

Intel Core i7-3960x 4.1 GHz
32 GB memory
Windows 7 Ultimate
GUI cutechess-cli 0.6.0
TC 300"+3"
120 rounds (Round-robin), 1200 games
1-core per engine
128 MB hash per engine
Without any draw and resign rules
60 openings set (each opening plays twice with different colours in each match)

Participants:

Code:

1 Stockfish 151014 x64 SSE4.2
2 Mars 3.31 x64
3 Fire 2.2 xTreme NS x64 (2014)
4 Elektro 1.1b x64
5 Texel 1.05a7 x64


Results:

Code:

   # PLAYER                         : RATING  ERROR   POINTS  PLAYED    (%)

   1 Stockfish 151014 64 SSE4.2     :  333.9   35.4    382.5     480   79.7%
   2 Mars 3.31 x64                  :  164.1   31.1    262.5     480   54.7%
   3 Fire 2.2 xTreme NS 2014 x64    :   99.4   31.8    212.0     480   44.2%
   4 Elektro 1.1b                   :   91.1   31.8    205.5     480   42.8%
   5 Texel 1.05a7 64-bit            :    0.0   ----    137.5     480   28.6%


Code:

    Program                          Elo    +   -   Games   Score   Av.Op.  Draws

  1 Stockfish 151014 64 SSE4.2     : 3187   26  26   480    79.7 %   2949   35.6 %
  2 Mars 3.31 x64                  : 3023   21  21   480    54.7 %   2990   53.1 %
  3 Fire 2.2 xTreme NS 2014 x64    : 2964   21  21   480    44.2 %   3005   53.3 %
  4 Elektro 1.1b                   : 2956   22  22   480    42.8 %   3007   48.5 %
  5 Texel 1.05a7 64-bit            : 2870   25  26   480    28.6 %   3028   36.9 %

Spoiler :

Code:

1 Stockfish 151014 64 SSE4.2: 3187  480 (+297,=171,- 12), 79.7 %

Fire 2.2 xTreme NS 2014 x64   : 120 (+ 72,= 46,-  2), 79.2 %
Texel 1.05a7 64-bit           : 120 (+ 87,= 30,-  3), 85.0 %
Mars 3.31 x64                 : 120 (+ 61,= 57,-  2), 74.6 %
Elektro 1.1b                  : 120 (+ 77,= 38,-  5), 80.0 %

2 Mars 3.31 x64             : 3023  480 (+135,=255,- 90), 54.7 %

Fire 2.2 xTreme NS 2014 x64   : 120 (+ 28,= 80,- 12), 56.7 %
Stockfish 151014 64 SSE4.2    : 120 (+  2,= 57,- 61), 25.4 %
Texel 1.05a7 64-bit           : 120 (+ 66,= 45,-  9), 73.8 %
Elektro 1.1b                  : 120 (+ 39,= 73,-  8), 62.9 %

3 Fire 2.2 xTreme NS 2014 x64: 2964  480 (+ 84,=256,-140), 44.2 %

Stockfish 151014 64 SSE4.2    : 120 (+  2,= 46,- 72), 20.8 %
Texel 1.05a7 64-bit           : 120 (+ 49,= 55,- 16), 63.7 %
Mars 3.31 x64                 : 120 (+ 12,= 80,- 28), 43.3 %
Elektro 1.1b                  : 120 (+ 21,= 75,- 24), 48.8 %

4 Elektro 1.1b              : 2956  480 (+ 89,=233,-158), 42.8 %

Fire 2.2 xTreme NS 2014 x64   : 120 (+ 24,= 75,- 21), 51.2 %
Stockfish 151014 64 SSE4.2    : 120 (+  5,= 38,- 77), 20.0 %
Texel 1.05a7 64-bit           : 120 (+ 52,= 47,- 21), 62.9 %
Mars 3.31 x64                 : 120 (+  8,= 73,- 39), 37.1 %

5 Texel 1.05a7 64-bit       : 2870  480 (+ 49,=177,-254), 28.6 %

Fire 2.2 xTreme NS 2014 x64   : 120 (+ 16,= 55,- 49), 36.2 %
Stockfish 151014 64 SSE4.2    : 120 (+  3,= 30,- 87), 15.0 %
Mars 3.31 x64                 : 120 (+  9,= 45,- 66), 26.2 %
Elektro 1.1b                  : 120 (+ 21,= 47,- 52), 37.1 %



Games

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
RankEngineScore%GuMaMaS-B
1Gull 3 x64   13.5/2067.5· ·· ·· ·· ··=11====1=1==011=1=1=111.50
2Mars_3.31_TMON 8.5/2042.5=00====0=0· ·· ·· ·· ··=1==01====84.50
3Mars_3.31 TMOFF8.0/2040.0==100=0=0==0==10====· ·· ·· ·· ··85.50
20 games played / Tournament is finished
Tournament start: 2014.10.21, 07:08:51
Latest update: 2014.10.21, 16:24:26

Level: Blitz 10/0
Hardware: Intel(R) Core(TM) i7-2630QM CPU @ 2.00GHz with 7.9 GB Memory [4 cores]
Operating system: Windows 7 Home Premium Home Edition Service Pack 1 (Build 7601) 64 bit
PGN-File: MARS331_TEST.PGN
Opening: Randomly selected from 36337 games of ECO BXX for first 2 moves
Table created with: Arena 3.5

descriptionMars tests - Page 2 EmptyRe: Mars tests

more_horiz
Permissions in this forum:
You cannot reply to topics in this forum