Alexey Milovidov, [28.02.20 13:41]
[In reply to Alexander Kuzmenkov]
И правда, там красивый отчёт.

Интересно, почему тест exp2 такой отстойный? Есть гипотеза - так как он выполняется в один поток, то он может случайно попадать на более удачное ядро. Замени numbers на numbers_mt и может быть, флапов больше не будет.

Alexey Milovidov, [28.02.20 13:42]
Также подумай, может быть для тестов производительности нужно делать random CPU affinity при начале работы в потоке.

Alexander Kuzmenkov, [28.02.20 13:50]
[In reply to Alexey Milovidov]
Это ты где на него смотришь? Я открыл пару отчётов с мастера, там вроде не появляется.

Можно скачать test output внизу страницы, там есть svg-файлы с флеймграфами для флапающих запросов (думаю, что надо сделать вообще для всех). И есть файл metric-deviation.rep, там для флапающих запросов разброс по разным метрикам типа SoftPageFaults. Надо не забыть внести это тайное знание в readme.

Alexander Kuzmenkov, [28.02.20 13:57]
[In reply to Alexey Milovidov]
А какая у нас система, если в одном подключении делаешь несколько запросов подряд, они в одном и том же потоке выполнятся, или в каких попало? Можно порандомизировать ради интереса, или как самый простой вариант — переподключаться каждый раз.