Я не знаток регекспов но похоже как-то так

var re = /,|!|\.|\?/g;
var str = "Моя,, супер!!! стро???ка для..!тес,т!?а";
var newstr = str.replace(re, "+")

Точку и вопросительный знак экранируем, они специальные
g - все совпадения обработать
http://javascript.ru/RegExp
http://javascript.ru/string/replace