Судя по переписке в ЛС, решить проблему удалось (ответить может только сам автор поста).
Предположу, что вы используете ключ подписи (PrivateKey) для операции расшифрования, а не ключ обмена (ExchangeKey). Т.к. применяется согласование ключей и алгоритм GostTransport, то при вызове init() у Cipher проверяется, что ключ, который подали в setKEK(key) - ключ обмена. Эта ошибка, правда, поглощается внутри xmlsec, ее не увидать без включения логирования, например, так: -Djava.util.logging.config.file=log.properties
где log.properties содержит:
org.apache.commons.logging.Log=org.apache.commons.logging.impl.Jdk14Logger
handlers=java.util.logging.ConsoleHandler
.level=ALL
java.util.logging.ConsoleHandler.level = ALL
java.util.logging.ConsoleHandler.formatter = java.util.logging.SimpleFormatter
Тогда в логе может появиться строка вида: Original Exception was java.security.InvalidKeyException: Ключ подписи нельзя использоваться для этой операции.
Далее я использовал ключ обмена, но расшифровать, естественно, не удалось: получил ту же ошибку, т.к. нужен правильный ключ.
Также нужно сказать, что часто в коде xmlsec используется XMLCipher cipher = XMLCipher.getInstance(), т.е. без указания провайдера (его никак не передать извне). Поэтому можно вернуться к первому варианту, как в примере CryptXML из samples.jar, и использовать XMLCipher xmlCipher = XMLCipher.getInstance(), но при этом JCSP должен быть в списке java.security выше JCP, т.к. в таком случае провайдер для XMLCipher определяется по положению в списке.
Алгоритму urn:ietf:params:xml:ns:cpxmlsec:algorithms:transport-gost2001 соответствует шифратор TransportCipher. TransportCipher вызывается самим xmlsec. Но TransportCipher принимает для расшифрования только ключа обмена (не ключ подписи). Пример зашифрования есть в CryptXML в samples.jar:
SecretKey sessionKey =
X509Certificate cert =
XMLCipher keyCipher = XMLCipher.getInstance(Consts.URI_GOST_TRANSPORT);
keyCipher.init(XMLCipher.WRAP_MODE, cert.getPublicKey()); // создается эфемерный ключ E, согласуется с открытым ключом получателя O, получаем ключ согласования A, на котором в дальнейшем будет зашифрован sessionKey. Эта структура KeyTransport потом будут помещена в EncryptedKey
EncryptedKey encryptedKey = keyCipher.encryptKey(doc, sessionKey);
encryptedKey.setKeyInfo(certKeyInfo);
Далее, согласно примеру, на сессионном ключе sessionKey выполняется шифрование данных, и данные помещаются в CipherValue.
Можно и обратно извлечь все узлы и выполнить работу, которую делает xmlsec, примерно так:
XMLCipher keyCipher = XMLCipher.getInstance(Consts.URI_GOST_TRANSPORT);
keyCipher.init(XMLCipher.UNWRAP_MODE, <private_key>); // будет снова выполнено согласование эфемерного ключа E из EncryptedKey с закрытым ключом P, на полученном ключе согласования A будет расшифрован сессионный ключ sessionKey. Только ключ обмена в private_key в init!
SecretKey sessionKey = keyCipher.decryptKey(<EncryptedKey>);
...
XMLCipher xmlCipher = XMLCipher.getInstance();
xmlCipher.init(XMLCipher.DECRYPT_MODE, null);
Element encryptedDataElement = (Element) doc.getElementsByTagNameNS(
EncryptionConstants.EncryptionSpecNS,
EncryptionConstants._TAG_ENCRYPTEDDATA).item(0);
if (key != null) xmlCipher.setKEK(sessionKey);
xmlCipher.doFinal(doc, encryptedDataElement); // расшифрование CipherValue на ключе sessionKey
Более точная реализация есть прямо в xmlsec.
