Проверил всё ещё раз, в итоге как вы описали - полноценно проблему с удалением сейчас решить можно установив новое КриптоПро 5.
===
Выпущена новая версия Драйверов Рутокен для Windows 4.9.1.0 и 4.9.1.1 для ЕГАИС
Исправления коснулись только Генератора запросов, входящего в состав Драйверов Рутокен.
Изменена логика проверки заполнения полей.
- Новая версия панели управления рутокен не решала и не решит проблемы "Ошибка при удаление "ГОСТ" совместно с КриптоПро 5", для её устранения требуется обновить ПО КриптоПро, как вариант до текущей сертифицированной версии, где данная ошибка не проявляется.
КриптоПро CSP 5.0 R2
Сертифицированная версия КриптоПро CSP 5.0.12000 (Kraken) от 24.11.2020.
===