Skip to content

Latest commit

 

History

History
98 lines (68 loc) · 6.13 KB

EXPERIMENTS.md

File metadata and controls

98 lines (68 loc) · 6.13 KB

Worked experiments · Experimentos comentados

README

English

The nominal dataset contains five attempts per condition, with four successes and one failure in each: 80% observed success. The interval remains wide because n=5. In the aborted-attempt example, interruptions remain in the denominator while completed-duration statistics use fewer records. The all-aborted example reports zero completed observations and null completed-duration statistics, rather than a fabricated zero duration.

For each experiment below, run the command and compare the JSON with the committed expected report. Change one assumption at a time; keep the original input as a separate file. Status is an interpretation of this model, not physical approval.

Português

O conjunto nominal contém cinco tentativas por condição, com quatro sucessos e uma falha em cada: 80% de sucesso observado. O intervalo permanece amplo porque n=5. No exemplo de interrupções, elas permanecem no denominador, enquanto as estatísticas de duração concluída usam menos registros. O exemplo totalmente interrompido informa zero observações concluídas e estatísticas de duração nulas, sem fabricar duração zero.

Em cada experimento abaixo, execute o comando e compare o JSON com o relatório esperado versionado. Altere uma hipótese por vez e preserve a entrada original em arquivo separado. O estado é uma interpretação deste modelo, não aprovação física.

Two exercise conditions · Duas condições de exercício

node scripts/analyze.mjs examples/nominal.json experiment.report.json

Input / Entrada · Expected / Esperado · complete

Metric · Métrica Expected value · Valor esperado
Total attempts / Total de tentativas 10
Conditions / Condições 2
Overall success fraction / Fração geral de sucesso 80 %
Aborted attempts / Tentativas interrompidas 0

Aborted attempts retained · Tentativas interrompidas preservadas

node scripts/analyze.mjs examples/aborts.json experiment.report.json

Input / Entrada · Expected / Esperado · review-notes

Metric · Métrica Expected value · Valor esperado
Total attempts / Total de tentativas 10
Conditions / Condições 2
Overall success fraction / Fração geral de sucesso 60 %
Aborted attempts / Tentativas interrompidas 2
  • ABORTS_RETAINED: baseline: 1 aborted attempts remain in the success denominator. / baseline: 1 tentativas interrompidas permanecem no denominador de sucesso.
  • ABORTS_RETAINED: revised: 1 aborted attempts remain in the success denominator. / revised: 1 tentativas interrompidas permanecem no denominador de sucesso.

Small sample · Amostra pequena

node scripts/analyze.mjs examples/small.json experiment.report.json

Input / Entrada · Expected / Esperado · review-notes

Metric · Métrica Expected value · Valor esperado
Total attempts / Total de tentativas 2
Conditions / Condições 1
Overall success fraction / Fração geral de sucesso 100 %
Aborted attempts / Tentativas interrompidas 0
  • SMALL_GROUP: baseline contains 2 trials, below the configured review count. / baseline contém 2 ensaios, abaixo da contagem configurada para revisão.

Missing deviation measurements · Desvios não medidos

node scripts/analyze.mjs examples/missing.json experiment.report.json

Input / Entrada · Expected / Esperado · complete

Metric · Métrica Expected value · Valor esperado
Total attempts / Total de tentativas 10
Conditions / Condições 2
Overall success fraction / Fração geral de sucesso 80 %
Aborted attempts / Tentativas interrompidas 0

Every attempt aborted · Todas as tentativas interrompidas

node scripts/analyze.mjs examples/all-aborted.json experiment.report.json

Input / Entrada · Expected / Esperado · review-notes

Metric · Métrica Expected value · Valor esperado
Total attempts / Total de tentativas 10
Conditions / Condições 2
Overall success fraction / Fração geral de sucesso 0 %
Aborted attempts / Tentativas interrompidas 10
  • ABORTS_RETAINED: baseline: 5 aborted attempts remain in the success denominator. / baseline: 5 tentativas interrompidas permanecem no denominador de sucesso.
  • ABORTS_RETAINED: revised: 5 aborted attempts remain in the success denominator. / revised: 5 tentativas interrompidas permanecem no denominador de sucesso.