Такая ошибка возникает,например, если файл, подпись под которым проверяется, был изменен или если сертификат, при помощи которого пытаются проверить подпись, не соответствует тому, на котором было подписано сообщение.
Опишите пожалуйста более подпобно процесс отправки протокола: какое ПО при этом используется, что включает в себя это процесс.

каким образом производилась установка и настройка сертификатов для этой системы?
уточните пожалуйста правильно ли я поняла: ошибка возникает при отправке вами сообщения и подпись не проверяется ваша?
если так, то попробуйте протестировать возможность создания подписи(таким образом, мы определим в чем проблема -- не работает csp или проблема в каких-то настройках сбис). для этого сделайте следующее:

-запустите командную строку(пуск - выполнить - cmd)
-перейдите в папку, куда установлен csp(cd "c:\program files\crypto pro\csp")
-запустите
csptest -sfsign -in "полное имя входного файла" -out "имя выходного файла" -my "название вашего сертификата" -sign
где "название сертификата" можно посмотреть в IE - сервис - свойства обозревателя - содержание - сертификаты.
а затем
csptest -sfsign -out "полное имя входного файла" -in "имя выходного файла" -my "название вашего сертификата" -verify

и сообщите мне вывод утилиты