Проверил всё ещё раз, в итоге как вы описали - полноценно проблему с удалением сейчас решить можно установив новое КриптоПро 5.
===
Выпущена новая версия Драйверов Рутокен для Windows 4.9.1.0 и 4.9.1.1 для ЕГАИС
Исправления коснулись только Генератора запросов, входящего в состав Драйверов Рутокен.
Изменена логика проверки заполнения полей.
- Новая версия панели управления рутокен не решала и не решит проблемы "Ошибка при удаление "ГОСТ" совместно с КриптоПро 5", для её устранения требуется обновить ПО КриптоПро, как вариант до текущей сертифицированной версии, где данная ошибка не проявляется.
КриптоПро CSP 5.0 R2
Сертифицированная версия КриптоПро CSP 5.0.12000 (@@@@@) от 24.11.2020.
===