Кажется разобрался как это сделать:
С помощью CryptGetProvParam получаю PP_UNIQUE_CONTAINER и выдираю строку до имени контейнера.
Но беда в том, что это имя не совпадает с именем считывателя полученным через PP_ENUMREADERS.
Так же, при вызове CryptGetProvParam с параметром PP_UNIQUE_CONTAINER появляется окошко, которое говорит, что набор ключей не существует и просит вставить носитель. Иногда, это окошко исчезает само, а иногда - так и висит, пока его не закроешь (хотя после этого, имя получается корректно). Это не есть хорошо :) Если использовать флаг CRYPT_SILENT, то возникает ошибка.

Описанные две проблемы относятся только к сменным носителям. С реестром таких проблем нет.

Можете что-нибудь подсказать?

Спасибо! Но я уже разобрался вчера. Получаю имена контейнеров с флагом CRYPT_FQCN. В такм случае, имя контейнера содержит имя считывателя. Мне этого хватило.