Разобрался сам - надеюсь будет полезно.
CryptoPro JCP как выяснилось не совместимо с последними версиями xmlsec (1.0.5) (что качаются с Apache).
Корректно работает с xmlsec-1.3.0.jar, не пробовал с xmlsec-1.4.0 - может тоже работают.
Разобрался почему.
В старых версиях конфигурация алгоритмов config.xml (org.apache.xml.security.resource) не имеет понятия provider,
т.е. описание нового алгоритма выглядит так:
<JCEAlgorithmMappings>
<Algorithms>
<!-- MessageDigest Algorithms -->
<Algorithm URI="http://www.w3.org/2001/04/xmldsig-more#md5"
Description="MD5 message digest from RFC 1321"
AlgorithmClass="MessageDigest"
RequirementLevel="NOT RECOMMENDED"
SpecificationURL="http://www.ietf.org/internet-drafts/draft-eastlake-xmldsig-uri-02.txt"
JCEName="MD5"/>
Что собственно и сделано в JCP.XML в пакете CryptoPro:
<!-- CryptoPro MessageDigest
-->
<Algorithm URI="http://www.w3.org/2001/04/xmldsig-more#gostr3411"
Description="GOST R 3411 Digest"
AlgorithmClass="MessageDigest"
RequirementLevel="REQUIRED"
JCEName="GOST3411"/>
<Algorithm
URI="urn:ietf:params:xml:ns:cpxmlsec:algorithms:gostr3411"
Description="GOST R 3411 Digest"
AlgorithmClass="MessageDigest"
RequirementLevel="REQUIRED"
JCEName="GOST3411"/>
<!-- CryptoPro end
-->
В новой же версии 1.0.5 введено понятие провайдеров:
<JCEAlgorithmMappings>
<!-- Here, individual providers can be registered; each provider
is identified by Id which is referenced by ProviderId of the
Provider Element in the Algorithm Element -->
<Providers>
<Provider Id="BC"
Class="org.bouncycastle.jce.provider.BouncyCastleProvider"
Info="BouncyCastle Security Provider v1.09"
ProviderURL="http://www.bouncycastle.org/" />
<Provider Id="SUN"
Class="sun.security.provider.Sun"
Info="SUN (DSA key/parameter generation; DSA signing; SHA-1, MD5 digests; SecureRandom; X.509 certificates; JKS keystore)"
ProviderURL="http://java.sun.com/" />
.....
и уже алгоритм подключается к конкретному провайдеру:
<Algorithms>
<!-- MessageDigest Algorithms -->
<Algorithm URI="http://www.w3.org/2001/04/xmldsig-more#md5"
Description="MD5 message digest from RFC 1321"
AlgorithmClass="MessageDigest"
RequirementLevel="NOT RECOMMENDED"
SpecificationURL="http://www.ietf.org/internet-drafts/draft-eastlake-xmldsig-uri-02.txt">
<ProviderAlgo ProviderId="BC" JCEName="MD5" />
</Algorithm>
Думаю, что неплохо бы поддержать новую спецификацию в CryptoJCP.
