Для форматирования Рутокен S с помощью rtAdmin требуется использовать дополнительно библиотеку rtPKCS11.dll. Она устанавливается по умолчанию с драйвером Рутокен.

В вашем случае форматирование через rtAdmin должно выглядеть так:

rtadmin.exe -f -z C:\Windows\***\rtPKCS11.dll -L 123 -o 87654321 -a 876543210 -u 012345678 -R 10 -r 10 -p 1

*** - если разрядность ОС 32-бита, то директория System32, если 64-бита, то SysWOW64

На win7x64 не работает.
rtadmin.exe -f -L 123 -o 87654321 -a 876543210 -u 012345678 -R 10 -r 10 -p 1
Next token... (Or press Ctrl+C) - игнорирует меня

rtadmin.exe -h показывает список команд

rtadmin.exe -i a
Next token... (Or press Ctrl+C)   -  опять игнорирует
rtControl_Panel.exe -h             молчание
rtControl_Panel_Tools.exe        молчание