Android Https和WebView
前言
今天公司说要把项目的网络请求改成https，如果证书是那种权威机构颁发的，则代码不需要做做任何修改，只需要网址改成https即可，不巧的是，我们公司的项目作用于内网，使用权威机构颁发的证书没什么用，因为要进行认证肯定要连外网才能认证得到，我们是内网，而且权威证书是要花钱买的，于是打算用一个自定义的证书（即自己生产的证书）。于是我又得花一翻功夫去修改代码以便可以访问https的请求，最开始是直接搜索的OkHttp信认证书、WebView信任证书，后来发现谷歌有一个更简单的设置信任证书的办法，那就是在xml中直接配置即可，不需要修改任何的Java代码，哎，所以有说，有时间还是要多逛逛Android官方文档，网上的答案很多都不是最好的，而官方上的东西则一般是最新的，最推荐使用的。
关于Https的攻击，还有：https://books.nowsecure.com/secure-mobile-development/en/sensitive-data/fully-validate-ssl-tls.html、https://owasp.org/www-community/controls/Certificate_and_Public_Key_Pinning#Android
官方中信任自定义证书的示例：https://developer.android.com/training/articles/security-ssl.html#UnknownCa
一、信任指定的证书
在res目录下创建一个xml文件，然后创建一个network_security_config.xml（官方用的是这个名字，用其他名字应该也没问题），然后就是在这个文件中写入一些关于https的配置，这跟Application一样，文件有了还不会生效，需要在清单文件中声明，如下：
<application
android:icon="@mipmap/ic_launcher"
android:label="@string/app_name"
android:networkSecurityConfig="@xml/network_security_config">
</application>
假设我们有一个xxx.crt的证书文件，按照谷歌的要求，需要放到res/raw/目录下面，接下来就是如何在network_security_config文件中配置我们的网络信任这个证书了，有两种方式，如下：
方式一：
<?xml version="1.0" encoding="utf-8"?>
<network-security-config>
<base-config>
<trust-anchors>
<certificates src="@raw/xxx" />
</trust-anchors>
</base-config>
</network-security-config>
方式二：
<?xml version="1.0" encoding="utf-8"?>
<network-security-config>
<domain-config>
<domain includeSubdomains="true">baidu.com</domain>
<trust-anchors>
<certificates src="@raw/xxx"/>
</trust-anchors>
</domain-config>
</network-security-config>
注：我们公司使用的是内网，又没有dns服务器，所以访问api接口都是直接使用ip的，所以上面的baidu.com的地方可以直接修改成ip地址，那个证书里面是要设置一个域名的，同时还要设置对应的ip，对应的ip可以设置多个的，如果证书里面没有指定的ip，则这个证书是无效的，使用时会报错。
这两种方式的区别，方式二使用domain-config限制了baidu.com或它的子域名都信任我们指定的xxx证书，而方式一使用base-config则表示应用的访问的所有域名的资源都信任我们指定的xxx证书。要按安全性来说的话首先方式二，就为它的限制更高一些。
用于配置我们要信任什么证书，直接使用@raw/xxx为配置信任自定义的证书，如果要指定信任预安装的证书，需要另外指定，预安装的证书有系统和用户两种类型，如下：
<?xml version="1.0" encoding="utf-8"?>
<network-security-config>
<base-config>
<trust-anchors>
<certificates src="@raw/dazhoucn" /> <!--信任自定义的CA证书-->
<certificates src="system" /> <!--信任系统预装的CA证书-->
<certificates src="user" /> <!--信任用户安装的CA证书-->
</trust-anchors>
</base-config>
</network-security-config>
可以看到，我们可以指定信任多个证书，或者某一类型的证书（如预装的系统证书），这是使用方式一的好处，而使用方式二，一个domain-config中或以指定多个domain，但是这一个或多个domain只能指定信任一个指定的证书。如果不同的网站信任不同的证书，则可以配置多个domain-config标签来实现。
在Android6.0及以下版本默认是会信任用户安装的CA证书的，7.0及更高版本默认就只信任预装的系统CA证书了，所以我们最好不要配置信任用户安装的CA证书，因为有可能黑客往手机装了一个证书进去呢！
假如我们希望配置我们指定的网站只能使用https，而其他网站可以使用明文http，而且也信任系统证书，配置如下：
<?xml version="1.0" encoding="utf-8"?>
<network-security-config xmlns:tools="http://schemas.android.com/tools">
<base-config cleartextTrafficPermitted="true"
tools:ignore="InsecureBaseConfiguration">
<!--base-config中设置了允许明文传输-->
<trust-anchors>
<certificates src="system"/> <!--信任系统证书-->
<certificates src="@raw/xxx"/>
</trust-anchors>
</base-config>
<domain-config cleartextTrafficPermitted="false">
<!--domain-config中限制了xxx.com不能明文传输-->
<domain includeSubdomains="true">xxx.com</domain>
<trust-anchors>
<certificates src="@raw/xxx"/>
</trust-anchors>
</domain-config>
</network-security-config>
在Android10中测试，如果不指定信任系统证书的话，WebView加载https网站是没问题的，但是OkHttp请求Https时就会报异常。
二、WebView加载网站出不来的问题
配置好Https之后当然要测试一下了，我就随便拿了个百度（https://m.baidu.com）来试，OkHttp请求是没问题的，但是WebView加载出不了，后来发现百度里面用到了JS，所以需要允许JS，如下：
webView.settings.javaScriptEnabled = true
系统会提示说不安全，因为网站通过js就能调用你的android代码，如果你确认你的网站没用到JS的话就不要打开这个开关，如果用到了，就添加一个注解忽略它就行了。
后来就使用我们公司的网站了，发现也出不来，后来发现公司网站用到了dom存储，所以还需要打开这个开关：
webView.settings.domStorageEnabled = true
xml配置自定义证书对WebView也是生效的，但是我们上面也说了，xml配置的方式只对Android7.0或更高版本才有用，那在低版本中如何让WebView信任自定义证书呢？网上的答案是直接忽略证书，如下：
webView.webViewClient = object: WebViewClient() {
override fun onReceivedSslError(view: WebView?, handler: SslErrorHandler?, error: SslError) {
handler?.proceed()
}
这个onReceivedSslError函数默认是调用handler?.cancel()来处理SSL错误的，调用cancel即表示不与服务器进行通信，调用proceed即表示要与服务器通信（虽然证书有问题）。
这样的做法是不安全的，而且这样的代码也无法把app上传到谷歌市场，因为必须要有对应的cancel调用，说白了就是要我们自己去验证证书的合法性，合法就调用proceed，否则调用cancel，代码如下（用到了OkHttp的相关类）：
webView.webViewClient = object: WebViewClient() {
override fun onReceivedSslError(view: WebView?, handler: SslErrorHandler?, error: SslError) {
val message = when (error.primaryError) {
SslError.SSL_DATE_INVALID -> "证书日期无效"
SslError.SSL_EXPIRED -> "证书已过期。"
SslError.SSL_IDMISMATCH -> "主机名不匹配。"
SslError.SSL_INVALID -> "发生一般错误"
SslError.SSL_MAX_ERROR -> "不同SSL错误的数量。"
SslError.SSL_NOTYETVALID -> "证书尚未生效。"
SslError.SSL_UNTRUSTED -> "证书颁发机构不受信任。" // 自定义证书会执行到这个分支来
else -> "SSL证书错误,错误码：${error.primaryError}"
}
Timber.i("SSL错误：$message")
if (error.primaryError == SslError.SSL_UNTRUSTED) {
// 证书颁发机构不受信任，则我们需要判断一下是否是我们自己的自定义证书，是的话就忽略这个错误
val certificateFactory: CertificateFactory = CertificateFactory.getInstance("X.509")
val certificate = certificateFactory.generateCertificate(resources.openRawResource(R.raw.xxx)) as X509Certificate
val mX509CertificateFiled = SslCertificate::class.java.getDeclaredField("mX509Certificate").apply { isAccessible = true }
val mX509Certificate = mX509CertificateFiled.get(error.certificate) as X509Certificate
val certificates = HandshakeCertificates.Builder()
.addTrustedCertificate(certificate) // 信任指定的自定义证书
.addPlatformTrustedCertificates() // 信任系统的预装证书，如果不信任系统证书的话，比如在访问https://m.baidu.com时将会出错
.build()
try {
certificates.trustManager.checkServerTrusted(arrayOf(mX509Certificate), "RSA")
Timber.i("是我们的自定义证书")
handler?.proceed()
} catch (e: java.lang.Exception) {
Timber.e(e, "非法证书")
handler?.cancel()
}
}
} else {
super.onReceivedSslError(view, handler, error)
}
}
}
上面代码做了版本判断，因为Android7.0或以上版本直接使用xml中的配置。
主要原理就是把手机本地的自定义证书实例化到代码中，并封装到X509TrustManager对象中，此对方就能用于判断服务器的证书和我们的证书是否是在一个合法的证书链里面的，通过调用error.certificate.x509Certificate得到服务器上的证书，通过trustManager.checkServerTrusted(arrayOf(mX509Certificate), “RSA”)来检查服务器的证书和我们的证书是否是在一个合法的链上的，如果合法就正常通过调用，不合法就抛出异常。
开始我是直接比较本地的证书和服务器的证书是否一样来实现的，后来服务器改了，服务器先生成一个证书，再通过这个证书又签名出另一个证书，证书还能再签名出别的证书，这就是一条链，现在手机端和服务器端上的证书是不一样的了，但是因为他们是在同一个链的，所以也能认证通过，所以这种情况下不能使用比较是否是同一个证书的做法，而是比较是否是同一个链。
比较是否是同一个证书的代码也很简单，如下：
val isSameCertifiate = certificate == error.certificate.x509Certificate
这里用的是kotlin语言，实现是调用equals方法比较的，equals方法中的实现是把证书读取为编码后的字节数据，然后比较两个数组是否一样。
当服务器端和客户端一个是根证书，一个是由根证书颁发的子证书时，还可以用另一种方法验证，先说明一下证书生成的情况：
一、根证书
- 根公钥
- 根私钥
- 根证书（装有根公钥，使用根私钥签名）
二、中间证书1
- 中间公钥1
- 中间私钥1
- 中间证书1 (装有中间公钥1，并用根私钥签名）
三、中间证书2
- 中间公钥2
- 中间私钥2
- 中间证书2 (装有中间公钥2，并用根私钥签名）
我们知道rsa签名的规则为：私钥签名，对应的公钥验证签名。中间证书1和中间证书2都是用根证书的私钥签名的，所以可使用根证书中的公钥进行验证中间证书1和2中的签名。
反过来就不行了，根证书中的签名无法使用中间证书中的公钥验证，因为根证书的签名不是用中间证书的私钥签名的。
中间证书1的签名也无法用中间证书2的公钥进行验证，因为中间证书1的签名不是使用中间证书2的私钥签名的。
OK，了解了这个原理之后，我们就可以实现在WebView中，使用公钥来验证服务器的证书是否是我们公司的证书。在我们公司的项目中，也存在上面结构的一些证书，根证书放在手机端，中间证书放在了服务器端，所以可以使用根证书的公钥来验证中间证书的签名，如果能验证通过，说明服务器上的证书是可信（不是别人公司的），伪代码如下：
中间证书.验证签名(根证书.公钥），翻译成代码如下：
middleCert.verifySign(rootCert.publicKey)
真实代码如下：
val certificateFactory: CertificateFactory = CertificateFactory.getInstance("X.509")
val rootCert = certificateFactory.generateCertificate(resources.openRawResource(R.raw.rootCert))
val middleCert = error.certificate.x509Certificate
try {
middleCert.verify(rootCert.publicKey)
Timber.i("验证通过")
} catch (e: java.lang.Exception) {
Timber.e(e,"验证失败")
}
中间证书也可能会颁发子证书，但是只能使用父证书的公钥来验证子证书的签名，反过来就不行。
三、Android6.0及更低版本的CA证书信任处理
测试的时候发现上面的设置方法对于Android6.0及更低版本无效，通过了解才知道了原因：
在Android 6.0的时候，在清单文件的application节点中新增了一个属性android:usesCleartextTraffic，含义为“使用明文通信”，设置为true则为允许使用http（明文）请求，设置为false则不允许使用http请求，只能使用https（加密）请求。
在Android7.0的时候，新增了通过network_security_config.xml的方式来配置https请求。
所以，xml配置https是在7.0的时候才出来的，用到更低的版本上肯定是不生效的，谷歌官网上只是说了在Android6.0的版本时它的默认设置是怎样的，并没有说我们在xml中的设置可以在Android6.0中起作用。
谷哥说的各种版本的https默认配置如下：
Android 9（API 级别 28）及更高版本为目标平台的应用的默认配置如下所示：
<base-config cleartextTrafficPermitted="false">
<trust-anchors>
<certificates src="system" />
</trust-anchors>
</base-config>
可以看到，当你在gradle中把目标版本设置为false时，默认的https配置是不允许使用明文通信的（http通信），而且默认信任系统类型的预装CA证书。所以，当我们他创建一个新项目的时候，默认目标版本都29或30或更高，我们声明了网络访问权限，确发现访问http时访问不了，就是因为默认不允许使用http了，如果你坚持想要使用http（明文通信），则可以把cleartextTrafficPermitted设置为true即可。
Android 7.0（API 级别 24）到 Android 8.1（API 级别 27）为目标平台的应用的默认配置如下所示：
<base-config cleartextTrafficPermitted="true">
<trust-anchors>
<certificates src="system" />
</trust-anchors>
</base-config>
以 Android 6.0（API 级别 23）及更低版本为目标平台的应用的默认配置如下所示：
<base-config cleartextTrafficPermitted="true">
<trust-anchors>
<certificates src="system" />
<certificates src="user" />
</trust-anchors>
</base-config>
这只是说明Android6.0中关于https的默认行为配置是这样的，并不等于你可以在xml中修改一下就能修改到这些配置，因为在Android6.0的时候还没有使用xml进行配置的方式。
那Android6.0及更低版本应该如何处理呢？看国外文章有说可以使用：https://github.com/datatheorem/TrustKit-Android，该库可使用和高版本的方式一样配置，并兼容低版本，但是我使用时不行，不知道是不是因为我使用的是ip访问，而不是域名方法，它的初始化代码中使用到了域名。
还有另一个库也可以：https://github.com/commonsguy/cwac-netsecurity/blob/master/README-original.markdown
一个可以支持证书的自定义WebView：https://github.com/yonekawa/webview-with-client-certificate
一个很多人讨论的关于WebView中使用自定义证书的事：https://issuetracker.google.com/issues/36917164
实现双向认证：https://www.cdsy.xyz/computer/programme/android/230205/cd40191.html
https的版本支持：https://www.cdsy.xyz/computer/programme/android/230205/cd40192.html
最后，还是通过设置OkHttp来完成低版本的Https认证，如下：
val builder = OkHttpClient.Builder()
if (Build.VERSION.SDK_INT < Build.VERSION_CODES.N) {
val certificateFactory: CertificateFactory = CertificateFactory.getInstance("X.509")
val certificate = certificateFactory.generateCertificate(resources.openRawResource(R.raw.xxx)) as X509Certificate
val certificates = HandshakeCertificates.Builder()
.addTrustedCertificate(certificate) // 信任指定的自定义证书
.addPlatformTrustedCertificates() // 信任系统的预装证书，如果不信任系统证书的话，比如在访问https://m.baidu.com时将会出错
.build()
builder.sslSocketFactory(certificates.sslSocketFactory(), certificates.trustManager)
}
val okHttpClient = builder.build()
这里也做了版本判断，因为Android7.0或以上版本直接使用xml中的配置即可。
谷歌官方实现链接：https://developer.android.google.cn/training/articles/security-ssl#UnknownCa，因为没有用到OkHttp，所以会麻烦一些。代码如下：
// Load CAs from an InputStream
// (could be from a resource or ByteArrayInputStream or ...)
val cf: CertificateFactory = CertificateFactory.getInstance("X.509")
// From https://www.washington.edu/itconnect/security/ca/load-der.crt
val caInput: InputStream = BufferedInputStream(FileInputStream("load-der.crt"))
val ca: X509Certificate = caInput.use {
cf.generateCertificate(it) as X509Certificate
}
System.out.println("ca=" + ca.subjectDN)
// Create a KeyStore containing our trusted CAs
val keyStoreType = KeyStore.getDefaultType()
val keyStore = KeyStore.getInstance(keyStoreType).apply {
load(null, null)
setCertificateEntry("ca", ca)
}
// Create a TrustManager that trusts the CAs inputStream our KeyStore
val tmfAlgorithm: String = TrustManagerFactory.getDefaultAlgorithm()
val tmf: TrustManagerFactory = TrustManagerFactory.getInstance(tmfAlgorithm).apply {
init(keyStore)
}
// Create an SSLContext that uses our TrustManager
val context: SSLContext = SSLContext.getInstance("TLS").apply {
init(null, tmf.trustManagers, null)
}
// Tell the URLConnection to use a SocketFactory from our SSLContext
val url = URL("https://certs.cac.washington.edu/CAtest/")
val urlConnection = url.openConnection() as HttpsURLConnection
urlConnection.sslSocketFactory = context.socketFactory
val inputStream: InputStream = urlConnection.inputStream
copyInputStreamToOutputStream(inputStream, System.out)
后来发现公司创建的证书有问题，公司创建了根证书，又创建了子证书，使用时在android5.0、6.0、8.0、9.0、10.0都没问题，就是在Android7.0出了问题，刚开始以为是代码哪里不对，于是我按着Google官方Demo也创建了一个证书，也自己搭了服务器，证书用在Android7.0是没问题的，证明是证书的问题，但是证书是哪里设置有问题了导致不兼容Android7.0，服务器人员也不知道（服务器人员创建的证书），所以解决方案就是在Android7.0的时候不验证证书，直接忽略，实现代码如下:
/** 获取一个SSLSocketFactory */
val sSLSocketFactory: SSLSocketFactory
get() = try {
val sslContext = SSLContext.getInstance("SSL")
sslContext.init(null, arrayOf(trustManager), SecureRandom())
sslContext.socketFactory
} catch (e: Exception) {
throw RuntimeException(e)
}
/** 获取一个忽略证书的X509TrustManager */
val trustManager: X509TrustManager
get() = object : X509TrustManager {
override fun checkClientTrusted(chain: Array<X509Certificate>, authType: String) { }
override fun checkServerTrusted(chain: Array<X509Certificate>, authType: String) { }
override fun getAcceptedIssuers(): Array<X509Certificate> { return arrayOf() }
}
把这两个对象设置到OkHttp中即可实现忽略证书：
val builder = OkHttpClient.Builder()
builder.sslSocketFactory(sSLSocketFactory, trustManager)
val okHttpClient = builder.build()
细节
- 加载网络图片时使用了Glide框架，也需要证书配置，可看这篇文章
- 基于Android版本的不同表现，代码中根据版本进行相应的设置，比如对于OkHttp，在Android版本为7.x时使用忽略证书的设置，在低于Android7的版本中使用OkHttp配置自定义证书，在Android8.0以及更高的版本中，不设置Okhttp的证书设置，因为这些高版会直接使用xml中的配置即可，这也是最好的，什么OkHttp请求，什么WebView，什么Glide，在高版本统统不需要设置，只要配置好了xml即可。
湘公网安备 43102202000103号