Просить SslStream принять ТОЛЬКО сертификат, подписанный определенным открытым ключом

У меня есть рабочая реализация этого, но я хочу убедиться, что он безопасен. Целью является использование SSLStream и только прием сертификатов SSL с сервера, которые подписаны определенным ключом RSA.

Вот мой код подключения:

        var client = new TcpClient("server_address", port_number);
        var sslStream = new SslStream(client.GetStream(), false,
            new RemoteCertificateValidationCallback(ValidateServerCertificate), null);
        sslStream.AuthenticateAsClient("SpeechGrid");

И вот моя реализация ValidateServerCertificate:

    private static bool ValidateServerCertificate(object sender, X509Certificate certificate,
            X509Chain chain, SslPolicyErrors sslPolicyErrors) {

        // Only accept our specific key pair
        foreach (var cert in chain.ChainElements) {
            if (cert.Certificate.GetPublicKeyString() == k_prodPublicKey) {
                return true;
            }
        }

        return false;
    }

Из-за богатства объекта X509Chain я хочу убедиться, что мне не нужно проверять такие вещи, как X509ChainStatusFlags.NotSignatureValid и т.д.

Например, может ли злоумышленник "требовать" быть подписанным моим открытым ключом, отправить недопустимую подпись, и эта атака будет работать, потому что .NET предполагает, что я проверяю все эти флаги?

Спасибо!!

ОБНОВЛЕНИЕ: Хорошо, до сих пор я решил поставить следующие проверки выше оригинального foreach. Обратите внимание, что это несколько специфическое приложение; например, если мне нужны сертификаты для истечения срока действия, я бы проверял NotTimeValid и т.д.

        foreach (var status in chain.ChainStatus) {
            switch (status.Status) {
                case X509ChainStatusFlags.Cyclic:
                case X509ChainStatusFlags.NotSignatureValid:
                case X509ChainStatusFlags.PartialChain:
                    return false;
            }
        }