Метод replace поможет удалить все вхождения подстроки, а метод replaceFirst только первое вхождение.
Так как строки в Java неизменяемы, то любое удаление части строки сводится к созданию новой строки на основе старой, в которой будет отсутствовать удаляемая подстрока :