Добрый день.
Замечание: безопасность процесс комплексный. Если пользователь имеет разрешенный доступ к ключу и захочет подписать что-то "левое", он это сделает, не уходя с рабочего места. Нет нужды куда-то копировать ключ, Вы уже отменили все ограничения для него.

Проблема уже именно в том, что несколько человек имеют доступ к одному ключу (и что часто требуется именно подпись руководителя, что приводит к такому множественному доступу). Каждый человек и каждый компьютер - потенциальная точка утечки ключа. Это включает и доступ сисадмина - пользователь в идеале все должен сделать самостоятельно по инструкции, чтобы пароль никто не знал, периодически менять пароль. Насколько возможно нужно делегировать от руководителя нужные полномочия сотрудникам и делать им отдельные личные ключи и сертификаты.

Ответ в свете копирования пока пользователь отошел от компьютера или удаленным доступом: почти любой способ не особенно защитит от компетентного пользователя. Можно пометить ключ неэкспортируемым в криптопровайдере, но тогда пользователь попробует скопировать саму папку контейнера или раздел реестра в обход криптопровайдера. Про сохраненный пароль Вы уже сказали - можно сменить, можно просмотреть утилитой, если вошли в учетную запись пользователя, для которого пароль запомнен.

Относительно безопасный вариант против "чтобы он куда-нибудь ушел" - использовать сертифицированный токен, пометив ключ неизвлекаемым и установив нестандартный пин-код. Из любого токена ключ посложнее достать чем папку или раздел реестра, а сертифицированный еще дает некую степень гарантии от разбора токена на электромеханическом уровне. Сдаваемый под роспись в сейф в конце рабочего дня. Минус токенов: разграничить доступ к нескольким контейнерам на одном токене проблематично.

В идеале ключ в единственном экземпляре, сгенерированный в самом токене в активном режиме токена (когда все криптографические операции выполняет сам токен и на токене есть либо окно со случайным пином либо кнопка подтверждения операции). Минус: без каких-либо резервных копий.