Попытка удаления считывателя производится от имени администратора компьютера?

В чем именно выражается то, что "Так же при просмотре сертификата в контейнере Крипто про не видит сертификаты"? Если Вы получаете сообщение "в контейнере закрытого ключа отсутствуют сертификаты" -- это скорее всего не ошибка программы. Дело обстоит следующим образом:
контейнер находится на flash носителе и хранит в себе закрытые ключи. Сертификат может поставляться в виде файла (.cer .p7b .crt), кроме того можно(но не обязательно) специальным образом записать сертификат внутрь контейнера.
Если Вы получаете такое сообщение об ошибке, скорее всего сертификат просто не записан в контейнер.

Если у Вас есть файл сертификата, установку можно произвести с помощью кнопки "Установить личный сертификат" из "панель управления - крипто про - сервис".