Посмотрел rfc по ssh и вот что нарыл на этот счёт. Ассиметричные ключи используются для выработки общих ключей (Key exchange). Причем процесс выработки общих ключей может происходить не только в самом начале сессии, но и в процессе работы (re-exchange key). Это может происходить при достижении лимита объема зашифрованной информации. Конкретно стандарт рекомендует обновлять общий ключ через один гигабайт.

В интернете пишут, что OpenSSH имеет команду для принудительной выработки общего ключа: в терминале надо ввести ~R. По идее, если токен вытыкался в процессе работы, это должно привести к ошибке. Т.к. ключ вытаскивался, то сессия на токене закроется и доступ к закрытому ключу потеряется.

Так что токен во время ssh сессии большую часть времени действительно не используется. Тем не менее вынимать его в процессе работы не рекомендуется — это потенциально обрушит сессию в будущем:)

Насчёт того, что гаснет лампочка — ничего сказать не могу. Надо смотреть как устроена микропрограмма ридера.

Передаваемые apdu команды можно узнать запустив pcscd с такими ключами:

pcscd -f -a

Перед этим вам вероятно нужно будет «грохнуть» сервис Смарт-карт, висящий в фоне:

sudo systemctl stop pcscd.service
sudo systemctl stop pcscd.socket

Стандарт, на который опираюсь представлен здесь:
https://tools.ietf.org/html/rfc4253

Как проверить, что операций нет после установки сессии?

Уточните, пожалуйста, какой считыватель смарт-карт используется? Думаю, нужно посмотреть в документации к карт-ридеру.
У нас есть несколько ридеров в тестировании, в которых индикатор горит постоянно и указывает на то, что карта подключена. В таком случае, чип не подвергается износу.
Изнашивается чип только в случае записи в память и выполнении операции подписания.

Если же во время активной SSH сессии вытащить смарт карту и потом вставить ее обратно, то лампочка на считывателе гаснет, но SSH сессия остается активной.

Не подвержен ли чип смарткарты износу во время SSH сессии?
Какие там операции происходят? Почему горит лампочка?
Можно отследить поток APDU команд (если он есть) уже после установки SSH сессии?