前情提要:

这会是一篇系列文章，本想先从 SSL 基本概念科普讲起，结果坑越挖越大。为了不鸽太久，就先把最近刚更完的证书相关操作先来逐步填坑，等后续再反补科普向内容（但愿）。

本系列内容大致分为四篇:

• SSL 相关基础知识-科普向 （有生之年）
• acme.sh 快速入门-主要功能及申请SSL证书实践
• acme.sh 最佳实践-自动申请证书与自动部署群晖 DSM
• acme.sh 进阶版-多域名自动化管理 （本篇）
• acme.sh 阶段性终结-批量部署

在上一篇 acme.sh 最佳实践-自动申请证书与自动部署群晖 DSM 中，我们已经完成了单个域名的证书申请及自动化维护。但在我们日常生活中，难免会有多个域名、多个 NS 托管商，进而需要申请和维护多套 SSL 证书的情况，这时候光靠简单的指令执行可能不利于集中维护。

因此，本篇将以笔者个人用途场景出发，以简单脚本的方式统一维护多域名、多 NS 配置，实现多套 SSL 证书的便捷维护操作。

环境准备

在开始”最佳实践”之前，重申一下后续执行 acme.sh 的相关环境，方便还没阅读过前文的读者直接上手。

基础环境

在开始之前需要升级系统的 CA 证书，以避免后续在申请 SSL 证书时遇到问题。

yum install -y ca-certificates

安装 acme.sh

在本例中将以 root 用户进行安装。

export ACME_HOME="/usr/local/acme.sh"mkdir -p $ACME_HOME/datacd /usr/local/srccurl -so acme.sh https://raw.githubusercontent.com/acmesh-official/acme.sh/master/acme.shchmod +x acme.sh && ./acme.sh --install-online \--home $ACME_HOME \--cert-home $ACME_HOME/data \--accountemail "nestealin@gmail.com" \--nocronls ./acme.sh && rm -f ./acme.sh && cd $ACME_HOME && ls -l

参数释义:

• --home: 表示安装主目录(默认含 config-home)，用于安装 acme.sh。默认情况下，它安装在 ~/.acme.sh。
• --cert-home: 用于保存你签发的证书 ( 如: /usr/local/acme.sh/data/ )。默认情况下，它跟随 --config-home 默认值。
• --accountemail: 用于在 Let’s Encrypt 注册账户的电子邮件地址，以便后续收到续期通知邮件。
• --nocron: 安装 acme.sh 后不自动创建定时任务。

更换签发 CA

注: 该步骤非必须，可以根据实际情况按需修改。

由于 acme.sh 默认向 ZeroSSL CA 申请 SSL 证书。然而，本次笔者将其修改为 Let’s Encrypt 作为证书的 CA。

acme.sh --set-default-ca --server letsencrypt

以上，完成环境的基本准备，可以开始实践操作。

工具下载

在本仓库 Release 中已提供 Linux 系统打包好的二进制文件，可以在有限的操作系统中做到”开箱即用”。

mkdir /usr/local/acme.sh/scriptscd /usr/local/acme.sh/scriptscurl -sL https://github.com/nestealin/acme_cli/releases/download/v1.0.0/acme_cli -o acme_clichmod +x ./acme_cliln -s /usr/local/acme.sh/scripts/acme_cli /usr/local/bin/acme_clicurl -sL https://github.com/nestealin/acme_cli/releases/download/v1.0.0/domains_config.yaml.sample -o domains_config.yaml

基本配置

参照 domains_config.yaml 内容，结合域名、NS特性进行修改。

cd /usr/local/acme.sh/scriptsvim domains_config.yaml

主域名证书

以下是一个 example.com 域名将 DNS 托管在 Cloudflare，打算申请 example.com 及 *.example.com 域名证书的配置格式:

domains:  # Cloudflare-SingleDomain  # issue for example.com and *.example.com  - domain_name: example.com    domain_ns: dns_cf    ns_key: CF_Token    ns_key_value: ABCDEFG1234567890    ns_secret: CF_Account_ID    ns_secret_value: HIJKLMN0987654321    SAN_domains: ""

参数释义:

• domain_name: 证书主域名，即主要签发的域名，默认签发三级泛域名 *.foo.org；
• domain_ns: 主域名所属 DNS 服务商，语法格式遵循acme.sh DNS API 简称；
• ns_key: DNS API 参数环境变量”Key”名称，遵循acme.sh DNS API 变量；
• ns_key_value: DNS API 参数环境变量”Key”对应值；
• ns_secret: DNS API 参数环境变量”Secret”名称，遵循acme.sh DNS API 变量；
• ns_secret_value: DNS API 参数环境变量”Secret”对应值
• SAN_domains: 证书是否需要签发多个子域名，如果不存在则保持 "" 即可，如果存在则以列表格式追加；

多SAN证书

以下是一个主域名为 foo.net，其 DNS 托管在 DNSPod，打算申请:

• foo.net
• *.foo.net
• dev.foo.net
• *.dev.foo.net
• test.foo.net
• *.test.foo.net

多SAN域名证书的配置格式:

domains:  # DNSPod-MultiSANs  # issue for foo.net, *.foo.net, dev.foo.net, *.dev.foo.net, test.foo.net and *.test.foo.net  - domain_name: foo.net    domain_ns: dns_dp    ns_key: DP_Id    ns_key_value: 123456    ns_secret: DP_Key    ns_secret_value: ABCDEFG1234567890    SAN_domains:    - dev.foo.net    - test.foo.net

注:

• 更多供应商配置信息请参考: 自动 DNS API 简称及变量速查 | Nes的草稿箱

基本功能

前提条件:

• 已经安装 acme.sh 基本环境；
• 已经完成 domains_config.yaml 文件的域名与DNS API配置；

以下，将主要介绍二进制工具的管理功能。

查询当前托管中的证书

acme_cli list

效果:

# acme_cli listMain_Domain     KeyLength  SAN_Domains                                                                             CA               Created               Renewexample.com      "ec-256"   *.example.com,*.dev.example.com,*.pre.example.com                                          LetsEncrypt.org  2024-08-30T14:37:23Z  2024-10-28T14:37:23Z

续期单一证书

acme_cli renew ${CERT_DOMAIN}

注意: 这里的 CERT_DOMAIN 指的是证书的主域名，即使用 acme_cli list 输出中的 “Main_Domain” 字段。

该指令允许使用 --force 参数可以实现强制更新，如: 即使当前证书距离到期大于30天，也可以执行强制更新。

更新单一域名 | 新增 SAN 域名

该功能具备如下几种能力:

• 可以是新增域名时的首次证书申请；
• 可以是在已有证书的情况下追加SAN域名重新签发；
• 可以是对现有证书执行更新，效果等同于 acme_cli renew ${CERT_DOMAIN}；

acme_cli issue example.com --force

可以增加 --force 参数可以实现强制更新，如: 即使当前证书距离到期日期大于30天，也可以执行强制更新。

续期所有证书

acme_cli renew_all

该指令默认为强制更新维护中的所有证书。

移除证书

acme_cli remove example.com

该功能会同时移除 acme.sh 维护中的证书，以及本地证书目录，避免需要人为二次清理。（因为删除操作是高危操作，所以会有二次确认的交互内容）

注: 由于该工具只是根据笔者习惯简单封装了 acme.sh 的几个常用核心功能，如有自定义扩展需求，可以拉取仓库源码自定义扩展/修改。

最佳实践

1. 新增域名

假设现在有一个新的域名(foo.org)，其 DNS 托管在”阿里云DNS”上，现在要签发一套 foo.org 和 *.foo.org 域名的 SSL 证书。可以参照如下流程进行:

在配置文件中新增域名

cd /usr/local/acme.sh/scriptsvim domains_config.yaml

新增域名 foo.org 如:

- domain_name: foo.org  domain_ns: dns_ali  ns_key: Ali_Key  ns_key_value: LTA123456  ns_secret: Ali_Secret  ns_secret_value: ABCDEFG1234567890  SAN_domains: ""

参数释义:

• domain_name: 证书主域名，即主要签发的域名，默认签发三级泛域名 *.foo.org；
• domain_ns: 主域名所属 DNS 服务商，语法格式遵循acme.sh DNS API 简称；
• ns_key: DNS API 参数环境变量”Key”名称，遵循acme.sh DNS API 变量；
• ns_key_value: DNS API 参数环境变量”Key”对应值；
• ns_secret: DNS API 参数环境变量”Secret”名称，遵循acme.sh DNS API 变量；
• ns_secret_value: DNS API 参数环境变量”Secret”对应值
• SAN_domains: 证书是否需要签发多个子域名，如果不存在则保持 "" 即可，如果存在则以列表格式追加；

执行新增

acme_cli issue foo.org

静候执行结束即可。

2. 追加SAN域名

假设现在要给以前发过证书的 foo.org 域名证书中追加 SAN 域名，其中 SAN 域名有:

• dev.foo.org
• bar.foo.org
  那么，签发后的证书理论上应该包含如下几个域名:
• foo.org
• *.foo.org
• dev.foo.org
• *.dev.foo.org
• bar.foo.org
• *.bar.foo.org

可以参照如下流程进行:

在配置文件中新增域名

cd /usr/local/acme.sh/scriptsvim domains_config.yaml

找到已存在的域名 foo.org，对 SAN_domains 字段追加预期的子域名:

- domain_name: foo.org  domain_ns: dns_ali  ns_key: Ali_Key  ns_key_value: LTA123456  ns_secret: Ali_Secret  ns_secret_value: ABCDEFG1234567890  SAN_domains:  - dev.foo.org  - bar.foo.org

参数释义:

• domain_name: 证书主域名，即主要签发的域名，默认签发三级泛域名 *.foo.org；
• domain_ns: 主域名所属 DNS 服务商，语法格式遵循acme.sh DNS API 简称；
• ns_key: DNS API 参数环境变量”Key”名称，遵循acme.sh DNS API 变量；
• ns_key_value: DNS API 参数环境变量”Key”对应值；
• ns_secret: DNS API 参数环境变量”Secret”名称，遵循acme.sh DNS API 变量；
• ns_secret_value: DNS API 参数环境变量”Secret”对应值
• SAN_domains: 因为存在多个 SAN 域名，则以列表格式追加；

执行新增

acme_cli issue foo.org --force

静候执行结束即可。

总结

本篇主要讲述如何使用 acme_cli 工具简单实现多域名、多 NS 托管商的统一管理，来进一步降低用户的维护复杂度。

前情提要:

这会是一篇系列文章，本想先从 SSL 基本概念科普讲起，结果坑越挖越大。为了不鸽太久，就先把最近刚更完的证书相关操作先来逐步填坑，等后续再反补科普向内容（但愿）。

本系列内容大致分为四篇:

• SSL 相关基础知识-科普向 （有生之年）
• acme.sh 快速入门-主要功能及申请SSL证书实践
• acme.sh 最佳实践-自动申请证书与自动部署群晖 DSM （本篇）
• acme.sh 进阶版-多域名自动化管理
• acme.sh 阶段性终结-批量部署

本篇文章将基于之前入门篇介绍的基本功能，结合最佳实践，进一步深入讲解如何自动签发和续期证书，以及如何通过该工具部署和更新群晖 DSM 上的证书。

环境准备

在开始”最佳实践”之前，先来一下后续执行 acme.sh 的相关环境，方便还没阅读过前文的读者直接上手。

基础环境

在开始之前需要升级系统的 CA 证书，以避免后续在申请 SSL 证书时遇到问题。

yum install -y ca-certificates

安装 acme.sh

在本例中将以 root 用户进行安装。

export ACME_HOME="/usr/local/acme.sh"mkdir -p $ACME_HOME/datacd /usr/local/srccurl -so acme.sh https://raw.githubusercontent.com/acmesh-official/acme.sh/master/acme.shchmod +x acme.sh && ./acme.sh --install-online \--home $ACME_HOME \--cert-home $ACME_HOME/data \--accountemail "nestealin@gmail.com" \--nocronls ./acme.sh && rm -f ./acme.sh && cd $ACME_HOME && ls -l

参数释义:

• --home: 表示安装主目录(默认含 config-home)，用于安装 acme.sh。默认情况下，它安装在 ~/.acme.sh。
• --cert-home: 用于保存你签发的证书 ( 如: /usr/local/acme.sh/data/ )。默认情况下，它跟随 --config-home 默认值。
• --accountemail: 用于在 Let’s Encrypt 注册账户的电子邮件地址，以便后续收到续期通知邮件。
• --nocron: 安装 acme.sh 后不自动创建定时任务。

更换签发 CA

注: 该步骤非必须，可以根据实际情况按需修改。

由于 acme.sh 默认向 ZeroSSL CA 申请 SSL 证书。然而，本次笔者将其修改为 Let’s Encrypt 作为证书的默认 CA。

acme.sh --set-default-ca --server letsencrypt

以上，完成环境的基本准备，可以开始实践操作。

最佳实践

1. 使用 Cloudflare API Token 自动签发及更新 SSL 证书

前置说明:

• 本方法所使用的是 Cloudflare API Token 方式对个别 zone 实现 DNS 单独管理；
• 如果有多个 zone 或使用 Global API Key 可参考: dnsapi · acmesh-official/acme.sh Wiki · GitHub

获取 API Token

1. 访问 Cloudflare 控制台 获取 token。出于安全考虑，建议不要使用秘钥，而是为 Certbot / acme.sh 创建单独的 API 令牌。

2. 选择 API 令牌模板为“编辑区域 DNS”

3. 填写令牌信息，选择要管理的域名（Zone）

启用编辑设定”Token 名称”（例如: “For Certbot Auto Confirm”）

4. 确认摘要信息

5. 创建成功，请妥善保管你的 token （红框内容已脱敏）

记下最后创建的 API Token。

获取账户 ID

进入 zone 概述页面，右下角（下图红框）即可看到:

记下账户 ID（Account ID）。

编辑隐私文件

注: 在本文中，acme.sh 的安装目录在 /usr/local/acme.sh

vim /usr/local/acme.sh/account.conf

将获取到的 Cloudflare API Token 以如下格式追加到文件中

export CF_Token="<API Token>"export CF_Account_ID="<Account ID>"

然后保存并退出即可

申请证书

通过执行以下命令实现自动签发 SSL 证书:

acme.sh --set-default-ca --server letsencryptacme.sh --issue \--dns dns_cf \-d "nestealin.com" \-d "*.nestealin.com"

命令释义:

• --set-default-ca --server letsencrypt: 显式告诉 acme.sh 修改 SSL 证书默认申请的 CA 为 Let’ Encrypt；（默认为ZeroSSL）
• --issue: 申请证书参数，如果需要续期可将参数改为 --renew 即可；
• --dns dns_cf: 使用 Cloudflare 的 DNS API 模块自动申请证书；
• -d 域名: 用来声明 SSL 证书所需要签发的域名有哪些，如有多个域名则继续追加 -d 参数即可；（具体限制详见: ）

执行过程参考:

# 部分内容有做脱敏[Sat Aug 31 16:03:26 CST 2024] Using CA: https://acme-v02.api.letsencrypt.org/directory[Sat Aug 31 16:03:26 CST 2024] Creating domain key[Sat Aug 31 16:03:26 CST 2024] The domain key is here: /usr/local/acme.sh/data/nestealin.com_ecc/nestealin.com.key[Sat Aug 31 16:03:26 CST 2024] Multi domain='DNS:nestealin.com,DNS:*.nestealin.com'[Sat Aug 31 16:03:30 CST 2024] Getting webroot for domain='nestealin.com'[Sat Aug 31 16:03:30 CST 2024] Getting webroot for domain='*.nestealin.com'[Sat Aug 31 16:03:30 CST 2024] Adding TXT value: YzuIQsaUWFaPxiYmHfMEvW2spm3Ezz2cpZ0R02F-7F8 for domain: _acme-challenge.nestealin.com[Sat Aug 31 16:03:34 CST 2024] Adding record[Sat Aug 31 16:03:35 CST 2024] Added, OK[Sat Aug 31 16:03:35 CST 2024] The TXT record has been successfully added.[Sat Aug 31 16:03:35 CST 2024] Adding TXT value: iS4HZJtsG9e-2iQyINf6r3N1PUbkpWD2_3g_c_vf8Dw for domain: _acme-challenge.nestealin.com[Sat Aug 31 16:03:38 CST 2024] Adding record[Sat Aug 31 16:03:39 CST 2024] Added, OK[Sat Aug 31 16:03:39 CST 2024] The TXT record has been successfully added.[Sat Aug 31 16:03:39 CST 2024] Let's check each DNS record now. Sleeping for 20 seconds first.[Sat Aug 31 16:04:00 CST 2024] You can use '--dnssleep' to disable public dns checks.[Sat Aug 31 16:04:00 CST 2024] See: https://github.com/acmesh-official/acme.sh/wiki/dnscheck[Sat Aug 31 16:04:00 CST 2024] Checking nestealin.com for _acme-challenge.nestealin.com[Sat Aug 31 16:04:02 CST 2024] Success for domain nestealin.com '_acme-challenge.nestealin.com'.[Sat Aug 31 16:04:02 CST 2024] Checking nestealin.com for _acme-challenge.nestealin.com[Sat Aug 31 16:04:03 CST 2024] Success for domain nestealin.com '_acme-challenge.nestealin.com'.[Sat Aug 31 16:04:03 CST 2024] All checks succeeded[Sat Aug 31 16:04:03 CST 2024] Verifying: nestealin.com[Sat Aug 31 16:04:04 CST 2024] Pending. The CA is processing your order, please wait. (1/30)[Sat Aug 31 16:04:08 CST 2024] Success[Sat Aug 31 16:04:08 CST 2024] Verifying: *.nestealin.com[Sat Aug 31 16:04:09 CST 2024] Pending. The CA is processing your order, please wait. (1/30)[Sat Aug 31 16:04:13 CST 2024] Success[Sat Aug 31 16:04:13 CST 2024] Removing DNS records.[Sat Aug 31 16:04:13 CST 2024] Removing txt: YzuIQsaUWFaPxiYmHfMEvW2spm3Ezz2cpZ0R02F-7F8 for domain: _acme-challenge.nestealin.com[Sat Aug 31 16:04:17 CST 2024] Successfully removed[Sat Aug 31 16:04:17 CST 2024] Removing txt: iS4HZJtsG9e-2iQyINf6r3N1PUbkpWD2_3g_c_vf8Dw for domain: _acme-challenge.nestealin.com[Sat Aug 31 16:04:21 CST 2024] Successfully removed[Sat Aug 31 16:04:21 CST 2024] Verification finished, beginning signing.[Sat Aug 31 16:04:21 CST 2024] Let's finalize the order.[Sat Aug 31 16:04:21 CST 2024] Le_OrderFinalize='https://acme-v02.api.letsencrypt.org/acme/finalize/123123/456789'[Sat Aug 31 16:04:23 CST 2024] Downloading cert.[Sat Aug 31 16:04:23 CST 2024] Le_LinkCert='https://acme-v02.api.letsencrypt.org/acme/cert/abcd'[Sat Aug 31 16:04:24 CST 2024] Cert success.-----BEGIN CERTIFICATE-----................==-----END CERTIFICATE-----[Sat Aug 31 16:04:24 CST 2024] Your cert is in: /usr/local/acme.sh/data/nestealin.com_ecc/nestealin.com.cer[Sat Aug 31 16:04:24 CST 2024] Your cert key is in: /usr/local/acme.sh/data/nestealin.com_ecc/nestealin.com.key[Sat Aug 31 16:04:24 CST 2024] The intermediate CA cert is in: /usr/local/acme.sh/data/nestealin.com_ecc/ca.cer[Sat Aug 31 16:04:24 CST 2024] And the full-chain cert is in: /usr/local/acme.sh/data/nestealin.com_ecc/fullchain.cer

如上述输出，全程由 acme.sh 的 DNS API 模块自动完成两次 DNS Challenge 验证，并最终签发证书。

注: DNS API 模块除了在验证过程中自动添加 TXT 记录外，在验证通过后还会自动删除对应解析记录，避免残留不必要的解析记录。

至此，就已经完成了域名证书的自动签发，可以根据输出提示拿到证书及私钥文件使用了。

注: 在 Nginx 使用场景中，建议使用 fullchain.cer 作为证书文件，因为它包含了域名证书和中间证书（即具备完整证书链），从而确保客户端能够正确验证服务器的身份。

证书续期

对于证书续期，完全参照”申请证书”的步骤即可，全程也是由 DNS API 模块完成自动化操作。

acme.sh --renew \--dns dns_cf \-d "nestealin.com" \-d "*.nestealin.com"

默认情况下，当证书距离到期日大于 30 天是不会进行续期操作的，当然也可以增加 --force 参数来实现强制更新。更新后的证书将直接覆盖原有的证书内容。

2. 将证书部署到群晖 DSM | 更新群晖 DSM 证书

在群晖 DSM 中，默认情况下只有 Synology 默认证书，此时如果想以自有域名将群晖服务对外暴露，此时就需要用到我们申请的 SSL 证书。

然而，默认情况下只能通过页面后台进行替换，但对于三个月一换的证书来说还是非常繁琐的。恰好 acme.sh 也集成了群晖的证书部署模块，所以下文将介绍如何使用该模块进行远程部署与更新群晖 DSM 证书。

acme.sh 集成了群晖的三种更新方式:

• 支持临时管理员更新（推荐，但只能将 acme.sh 部署在群晖本机上）
• 支持用户直接使用账号密码登录，即”常规登录“；
• 支持基于 OTP 的双重验证登录，但是对于脚本执行上会与”常规登录”有配置差异，请在使用时注意；

可以根据实际情况自行选择，由于笔者不想把群晖当做”有状态”服务器来维护，所以本次将主要介绍如何使用”常规登录“的方式，即通过 HTTPS 远程(管理机)登录的方式，部署/更新群晖 DSM 证书。

常规登录

前置说明:

• 本样例中，群晖属于内网后端，有前置的 Nginx 实现反向代理，即访问群晖域名时，会先经过独立的 Nginx 才会访问到群晖；
• 在执行 acme.sh 脚本节点上存在已签发证书；

创建独立的管理用户

为了管理方便，避免管理员变动影响证书更新，在本示例中新建了一个独立的管理用户来维护证书更新。

首先，登陆群晖 DSM，进入控制面板 - 用户与群组 - 用户账号 - 新增

简单输入账号及密码

需要加入管理员群组(administrators)

文件夹访问权限、配额、速率限制保持默认即可

应用访问权限可以先全部拒绝，只开放 DSM 权限即可

权限总览

点击保存后完成管理员账号创建

然后进入控制面板 - 用户与群组 - 用户账号 - 找到并选择刚才创建的管理员账号 - 编辑

在应用程序中找到 DSM，将”允许”改为”按 IP“

依次选择”添加 IP 地址“-“来源 IP“-“子网“，然后填写管控机所在的网络段即可 （或者限制单一主机）

注: 由于是内部管控用户，所以建议按 IP / 子网来限制网络登录。

最后依次保存退出即可。

创建执行脚本

为了后续能够通过定时任务自动执行，所以采取脚本形式包装执行内容。

创建并进入脚本路径，创建公共变量(var)及部署脚本文件(ssl_cert_deploy_to_synologyDSM.sh):

mkdir -p /usr/local/acme.sh/scriptscd /usr/local/acme.sh/scriptscat << EOF > var#!/bin/bash# ACME ENVexport ACME_HOME="/usr/local/acme.sh"export PATH=\$ACME_HOME:\$PATHexport ACME_SSL_CERT_DATA_PATH="\$ACME_HOME/data"EOFcat << EOF > ssl_cert_deploy_to_synologyDSM.sh#!/bin/bash# Load ENVSCRIPT_PATH=\$(cd \$(dirname "\$0");pwd). \$SCRIPT_PATH/varexport CERT_DOMAIN="example.com"export LOCAL_SSL_CERT_FILE="\$ACME_SSL_CERT_DATA_PATH/\${CERT_DOMAIN}_ecc/fullchain.cer"   # 默认签发ECC证书export SYNO_SCHEME="https"export SYNO_HOSTNAME="synology.example.com"export SYNO_PORT="443"export SYNO_Username="acme-user"export SYNO_Password="123456789ABCDEFG"export SYNO_Certificate=\$CERT_DOMAIN  # 可选，描述证书的名称export SYNO_Create=1  # 如果证书不存在则创建function check_local_cert() {    # 检查本地证书路径，如果不存在则提示需要执行证书签发    if [ ! -f "\$LOCAL_SSL_CERT_FILE" ]; then        # 目录不存在，打印需要执行的命令        echo "Error: Cert file \$LOCAL_SSL_CERT_FILE does not exist."        echo "Please execute the following command to issue the certificate:"        echo "./acme.sh --issue --dns dns_cf -d '\$CERT_DOMAIN' -d '*.\$CERT_DOMAIN'"        exit 1    else        echo "Cert file \$LOCAL_SSL_CERT_FILE exists."    fi}function deploy_ssl_cert_to_synology_DSM() {    echo "Deploying SSL Cert: \$CERT_DOMAIN to synology DSM."    deploy_status=\$( cd \$ACME_HOME && acme.sh --deploy --home \$ACME_HOME -d "\$CERT_DOMAIN" --deploy-hook synology_dsm )    if [ \$? -eq 0 ]; then        echo "证书更新成功: \$deploy_status"    else        echo "错误信息: \$deploy_status"        exit 1    fi}check_local_certdeploy_ssl_cert_to_synology_DSMEOFchmod +x ssl_cert_deploy_to_synologyDSM.sh

参数释义:

• CERT_DOMAIN: 在 acme.sh 维护签发的证书名称，详见: acme.sh --list 结果中的”Main_Domain“；

• SYNO_SCHEME: 登陆群晖的 HTTP 协议，由于做了强制 HTTPS 所以此处使用 HTTPS 作为交互协议；

• SYNO_HOSTNAME: 登陆群晖的请求域名，由于前置了 Nginx，所以此处使用域名交互；

• SYNO_PORT: 登陆群晖的端口，由于登录协议采用了 HTTPS 并且在前置 Nginx 上监听的是 HTTPS 的默认端口，所以在脚本中填写 443，如果使用其他端口直接修改即可；

• SYNO_Username: 群晖中的管理员账户，即第一步创建的管理账户名称；

• SYNO_Password: 群晖中的管理员账户密码，即第一步创建的管理账户密码；

• SYNO_Certificate: 用于在群晖证书中显示的”描述“名称，这里采取与证书域名相同名称进行填充，可选项；

  • 

• SYNO_Create: 用于声明群晖证书中如果不存在证书是否自动创建，如果值为 1 则表示自动创建，默认不自动创建，可选项；

注: 脚本内容已对敏感参数进行脱敏，请根据实际情况进行修改。包括:

• CERT_DOMAIN
• SYNO_HOSTNAME
• SYNO_Username
• SYNO_Password

执行更新

通过以下命令即可完成证书的首次部署或更新部署:

cd /usr/local/acme.sh/scriptssh ssl_cert_deploy_to_synologyDSM.sh

输出过程:

[Sun Aug 18 15:27:48 CST 2024] Logging into synology.nestealin.com:443...[Sun Aug 18 15:27:50 CST 2024] Getting certificates in Synology DSM...[Sun Aug 18 15:27:50 CST 2024] Generating form POST request...[Sun Aug 18 15:27:50 CST 2024] Upload certificate to the Synology DSM.[Sun Aug 18 15:27:50 CST 2024] Restart HTTP services failed.[Sun Aug 18 15:27:51 CST 2024] Success

出现以上输出则代表执行成功。

结果验证

登陆 DSM 确认证书已更新: 登陆 DSM - 控制面板 - 安全性 - 证书

在 Synology Drive 查看执行状态

上传结果正常，表明证书更新正常。

2FA 登陆 | OTP 验证

如果群晖的管理员开启了双重认证，则需要通过以下方式进行配置。

在”常规登录”的基础上，需要额外声明 SYNO_DEVICE_ID 和 SYNO_OTP_CODE 参数使用。

具体详见: deployhooks · acmesh-official/acme.sh Wiki · GitHub

ref: Synology NAS Guide · acmesh-official/acme.sh Wiki · GitHub

3. 定时自动更新 SSL 证书

由于”最佳实践1. 使用 Cloudflare API Token 自动签发及更新 SSL 证书“已经完成了 SSL 证书全流程的自动申请，这时候我们只需要利用 --renew-all 参数即可对所有已申请的证书统一执行续期，然后让定时任务(crontab)定期执行即可。

cat << EOF >> /var/spool/cron/`whoami`# Ansible acme.sh Auto Renew Cert## Per 2 month0 1 1 */2 * /bin/bash /usr/local/acme.sh/acme.sh --renew-all --ecc > /dev/null 2>&1EOF

执行说明:

• 0 1 1 */2 *: 表示每两个月的第一天凌晨 1 点整执行一次。
• 即该 cron 表达式实际上表示的是，每隔两个月，在每个月的 1 号凌晨 1 点执行任务。例如，如果从 1 月份开始执行，那么下一次执行将是 3 月份的 1 号凌晨 1 点，然后是 5 月份的 1 号，以此类推。

注意:

• --renew-all 命令用于统一续期证书，其执行范围仅限于 acme.sh 所在的本Certbot来确认。
• 默认情况下，**renew 命令仅更新 acme.sh 的本地证书存储位置** (如: /usr/local/acme.sh/data/xxx_ecc)，如果证书有在其他路径使用，如: 群晖 DSM 或 Nginx 等，仍需要在每次证书自动更新后手动更新/部署。

可能遇到的问题

too many certificates already issued

如果你在使用acme.sh申请证书时遇到”too many certificates already issued”的错误，可能是因为你超过了这些速率限制

[Sun Aug 18 18:16:14 CST 2024] Using CA: https://acme-v02.api.letsencrypt.org/directory[Sun Aug 18 18:16:14 CST 2024] Creating domain key[Sun Aug 18 18:16:14 CST 2024] The domain key is here: /usr/local/acme.sh/nestealin.com_ecc/nestealin.com.key[Sun Aug 18 18:16:14 CST 2024] Multi domain='DNS:nestealin.com,DNS:*.nestealin.com'[Sun Aug 18 18:16:15 CST 2024] Error creating new order. Le_OrderFinalize not found. {  "type": "urn:ietf:params:acme:error:rateLimited",  "detail": "Error creating new order :: too many certificates (5) already issued for this exact set of domains in the last 168 hours: *.nestealin.com,nestealin.com, retry after 2024-08-19T15:38:38Z: see https://letsencrypt.org/docs/duplicate-certificate-limit/",  "status": 429}[Sun Aug 18 18:16:15 CST 2024] Please add '--debug' or '--log' to see more information.[Sun Aug 18 18:16:15 CST 2024] See: https://github.com/acmesh-official/acme.sh/wiki/How-to-debug-acme.sh

Cannot find DNS API hook for: dns_cf

问题描述

在使用 DNS 期望自动添加解析并签发证书时，出现如下错误:

[Sat Aug 17 23:04:08 CST 2024] Please make sure to prepend '_acme-challenge.' to your domain[Sat Aug 17 23:04:08 CST 2024] so that the resulting subdomain is: _acme-challenge.nestealin.com[Sat Aug 17 23:04:08 CST 2024] Cannot find DNS API hook for: dns_cf[Sat Aug 17 23:04:08 CST 2024] You need to add the TXT record manually.[Sat Aug 17 23:04:08 CST 2024] Add the following TXT record:[Sat Aug 17 23:04:08 CST 2024] Domain: '_acme-challenge.nestealin.com'[Sat Aug 17 23:04:08 CST 2024] TXT value: '...-of7w'[Sat Aug 17 23:04:08 CST 2024] Please make sure to prepend '_acme-challenge.' to your domain[Sat Aug 17 23:04:08 CST 2024] so that the resulting subdomain is: _acme-challenge.nestealin.com[Sat Aug 17 23:04:08 CST 2024] Please add the TXT records to the domains, and re-run with --renew.[Sat Aug 17 23:04:08 CST 2024] Please add '--debug' or '--log' to see more information.[Sat Aug 17 23:04:08 CST 2024] See: https://github.com/acmesh-official/acme.sh/wiki/How-to-debug-acme.sh

意味着需要手动添加解析。

原因

• 安装过程有所遗漏，没有使用 --install-online 参数安装依赖。

解决方式

• 重新安装 acme.sh，并在安装时指定 --install-online 参数。

./acme.sh --install-online

总结

通过本篇前两个自动化实践内容，我们实现了证书的自动申请与部署。这一改进不仅简化了证书管理流程，还通过设置定时任务，实现了单个域名证书签发、部署及更新的自动化闭环管理，从而大幅降低了用户的维护成本。

前情提要:

这会是一篇系列文章，本想先从 SSL 基本概念科普讲起，结果坑越挖越大。为了不鸽太久，就先把最近刚更完的证书相关操作先来逐步填坑，等后续再反补科普向内容（但愿）。

本系列内容大致分为四篇:

• SSL 相关基础知识-科普向 （有生之年）
• acme.sh 快速入门-主要功能及申请SSL证书实践 （本篇）
• acme.sh 最佳实践-自动签发与自动部署群晖 DSM
• acme.sh 进阶版-多域名自动化管理
• acme.sh 阶段性终结-批量部署

背景

早年间，因 certbot-auto 是基于 Python 2 编写的，而 Python 2 即将寿终正寝，将 certbot-auto 迁移至 Python 3 需要大量工作且非常困难，因此团队决定放弃 certbot-auto 的维护。所以笔者在后续改用了 Let’s Encrypt 上首推的 ACME 客户端（Certbot）来实现自助申请、更新 SSL 证书。

ref: 利用certbot工具申请let’s encrypt证书。

但因为 Certbot 本身强依赖 Python 3 运行环境，导致并不是所有客户端都能完美适用。而接着这次破站证书即将到期，重新看了一下目前的 ACME 客户端，从中找到了一款同样是针对 ACME 协议编写的工具 – acme.sh。

acme.sh 是什么

acme.sh 是一个基于 Shell 脚本的开源工具，用于自动化管理和获取 SSL/TLS 证书。它提供了一种简单而灵活的方法来与 Let’s Encrypt 进行交互，并支持其他证书颁发机构（CA）。

使用对比

Certbot 和 acme.sh 都是用于自动化管理和获取 SSL/TLS 证书的工具，但它们在实现方式和功能上有一些区别。下面是它们之间的两个主要对比：

实现语言和依赖关系:

• Certbot 是使用 Python 编写的，因此在使用之前需要确保系统上已经安装了 Python 解释器和相关依赖库。这意味着您需要处理 Python 环境的配置和维护。
• acme.sh 是一个基于 Shell 脚本的工具，它在各种 Linux 系统上运行，并且没有其他依赖关系。由于使用 Shell 脚本，它通常更加轻量级和易于安装和使用。

接口和功能：

• Certbot 提供了一个命令行接口和一个简单的交互式界面，使得使用和管理证书变得更加方便。它有更多的配置选项和功能，例如支持多种 Web 服务器软件和自动配置文件更新。
• acme.sh 同样提供了命令行接口，并且通过简单的命令和选项可以执行证书管理任务。虽然它的功能相对较少，但是它具有可扩展性和自定义性，通过插件机制可以添加更多功能，例如 DNS 验证插件。

以下，将围绕 acme.sh 来做主要的功能介绍，让你对该工具有个初步认识。

快速入门

环境准备

在开始之前需要升级系统的 CA 证书，以避免后续在申请 SSL 证书时遇到问题。

CentOS

yum install -y ca-certificates

Debian

apt update ; apt install -y ca-certificates

安装 acme.sh

快速安装

curl https://get.acme.sh | sh -s email=nestealin@gmail.com

安装程序将执行以下 3 个操作：

1. 创建并复制 acme.sh 到你的主目录（$HOME）：~/.acme.sh/。所有的证书也将放置在这个文件夹中。
2. 创建别名，例如：设置 alias acme.sh=~/.acme.sh/acme.sh。
3. 创建每日定时任务来检查并更新证书（如果需要）。

注: acme.sh 工具的安装与执行操作均不需要 root 权限，允许在其他系统用户下直接安装与执行。

手动安装

虽然普通用户和 root 用户都可以安装使用，但在本例中将以 root 用户进行安装。

使用如下命令自动安装:

export ACME_HOME="/usr/local/acme.sh"mkdir -p $ACME_HOME/datacd /usrCertbotithubusercontent.com/acmesh-official/acme.sh/master/acme.shchmod +x acme.sh && ./acme.sh --install-online \--home $ACME_HOME \--cert-home $ACME_HOME/data \--accountemail "nestealin@gmail.com" \--nocronls ./acme.sh && rm -f ./acme.sh && cd $ACME_HOME && ls -l

安装过程输出:

[Sat Aug 17 00:39:43 CST 2024] It is recommended to install socat first.[Sat Aug 17 00:39:43 CST 2024] We use socat for the standalone server, which is used for standalone mode.[Sat Aug 17 00:39:43 CST 2024] If you don't want to use standalone mode, you may ignore this warning.[Sat Aug 17 00:39:43 CST 2024] Installing to /usr/local/acme.sh[Sat Aug 17 00:39:43 CST 2024] Installed to /usr/local/acme.sh/acme.sh[Sat Aug 17 00:39:43 CST 2024] Installing alias to '/root/.bashrc'[Sat Aug 17 00:39:43 CST 2024] Close and reopen your terminal to start using acme.sh[Sat Aug 17 00:39:43 CST 2024] Installing alias to '/root/.cshrc'[Sat Aug 17 00:39:43 CST 2024] Installing alias to '/root/.tcshrc'[Sat Aug 17 00:39:43 CST 2024] bash has been found. Changing the shebang to use bash as preferred.[Sat Aug 17 00:39:44 CST 2024] OK

如果一切顺利出现上述输出，则表示安装完成。

根据上述输出，安装过程中会进行如下操作:

• 创建并复制 acme.sh 到你显式指定的主目录（--home）: /usr/local/acme.sh/ ，并且工具文件 acme.sh 也放于此，包括所有的证书也将放置在这个文件夹中（--config-home）: /usr/local/acme.sh/data。
• 创建别名，例如：在 /root/.bashrc 环境文件中设置 . "/usr/local/acme.sh/acme.sh.env" 环境声明。
• 创建每日定时任务来检查并更新证书（本次安装已显式忽略）。

acme.sh.env 文件内容参考:

export LE_WORKING_DIR="/usr/local/acme.sh"alias acme.sh="/usr/local/acme.sh/acme.sh"

或参考官方默认安装 （方式二选一即可）

git clone --depth 1 https://github.com/acmesh-official/acme.sh.gitcd acme.sh./acme.sh --install-online \--home ~/myacme \--config-home ~/myacme/data \--cert-home  ~/mycerts \--accountemail  "my@example.com" \--accountkey  ~/myaccount.key \--accountconf ~/myaccount.conf \--useragent  "this is my client."

参数释义:

• --home: 表示安装主目录(默认含 config-home)，用于安装 acme.sh。默认情况下，它安装在 ~/.acme.sh。
• --config-home: 证书配置文件目录，需要是一个当前用户可写的文件夹，acme.sh 会在这里写入所有文件（主要是证书/密钥的配置文件）。默认情况下，它位于 --home。
• --cert-home: 用于保存你签发的证书 ( 如: /usr/local/acme.sh/data/ )。默认情况下，它保存在 --config-home。
• --accountkey: 是保存你账户私钥的文件。默认情况下，它保存在 --config-home。
• --accountemail: 用于在 Let’s Encrypt 注册账户的电子邮件地址，以便后续收到续期通知邮件。
• --useragent: 是 acme.sh 发送给 CA 时的 UA 值。
• --nocron: 安装 acme.sh 后不自动创建定时任务。

Crontab 示例:

0 0 * * * "/home/user/.acme.sh"/acme.sh --cron --home "/home/user/.acme.sh" > /dev/null

再次提醒:

• acme.sh 的安装不需要 root 权限，安装过程不会污染已有的系统任何功能和文件，所有的修改都被限制在 ~/.acme.sh/ 中
• 如果你想在安装的时候指定各种参数，也可以克隆 GitHub 仓库手动安装，更多详细参数可参考官方说明

申请证书 | 手动签发

使用 Let’s Encrypt 作为签发 CA

acme.sh --set-default-ca --server letsencrypt

申请证书

./acme.sh --issue \-d "nestealin.com" \-d "*.nestealin.com"

参数释义:

• 默认以第一个 -d 参数域名作为证书主域名，如有多个域名，则继续用 -d 以 SAN 域名进行追加即可，各 CA 证书支持域名的数量上限详见: 申请限制；
• 默认采用”DNS-01“方式验证；
• 默认采用”ec-256“ KeyLength 申请；如需特殊需求可用 --keylength 参数声明，如: 2048, 3072, 4096, 8192 or ec-256, ec-384, ec-521 ；
• 如果需要使用网页验证，需要用 -w /html/path 方式声明；

提示: 后续步骤中的所有证书操作，均以”证书主域名”为准，如有 SAN 域名无需携带。

关于如何联动各 DNS API 实现自动签发，查看: 最佳实践

查看维护中的证书

acme.sh --list

移除证书 | 删除证书

通过如下命令只会移除本地证书文件，不会注销证书

acme.sh --remove -d nestealin.com

移除后提示:

[Sun Aug 18 00:58:18 CST 2024] The domain 'nestealin.com' seems to already have an ECC cert, let's use it.[Sun Aug 18 00:58:18 CST 2024] nestealin.com has been removed. The key and cert files are in /usr/local/acme.sh/data/nestealin.com_ecc[Sun Aug 18 00:58:18 CST 2024] You can remove them by yourself.

意味着管理脚本已经移除域名管控，但证书文件仍在本地保留，需要手动移除。

证书续期

默认情况下，acme.sh 会在安装后默认添加 crontab 定时任务，每 60 天执行一次自动续期。

当然也可以根据实际情况使用如下命令进行手动续期。

acme.sh --renew -d nestealin.com --force

对于 ECC 证书:

acme.sh --renew -d nestealin.com --force --ecc

ref: acme.sh 使用说明 - ECC 证书

吊销证书

如果确认证书不需要了，可以通过如下命令先向 CA 注销，然后再删除本地证书文件。

首先通过下列命令吊销证书:

acme.sh --revoke -d nestealin.com

出现Revoke success说明吊销成功

此时，只是 CA 注销成功，但证书文件还残留在服务器上，需要通过下列命令移除:

acme.sh --remove -d nestealin.com

然后手动删除本地证书文件:

rm -rf /usr/local/acme.sh/data/nest申请限制期定时任务```bash/usr/local/acme.sh/acme.sh --cron --home /usr/local/acme.sh/

升级 acme.sh | 更新 acme.sh

目前由于 ACME 协议和各大 CA 都会频繁地更新, 因此 acme.sh 也要经常更新以保持同步。或在每次执行前手动更新一次。

升至最新版

升级 acme.sh 到最新版:

acme.sh --upgrade

开启自动升级

如果你不想手动升级, 可以开启自动升级:

acme.sh --upgrade --auto-upgrade

之后，acme.sh 就会自动保持更新了。

还原环境

同样地，如果遭遇环境破坏，还可以通过 --force --upgrade 的方式修复:

cd /usr/local/acme.sh./acme.sh --force --upgrade --nocron --home /usr/local/acme.sh

ref: Synology NAS Guide · acmesh-official/acme.sh Wiki · GitHub

关闭自动升级

你也可以随时关闭自动更新:

acme.sh --upgrade --auto-upgrade 0

更换签发 CA

其实，acme.sh 脚本并不只是针对 Let’s Encrypt 单一 CA 进行证书申请，它还支持向其它 CA 申请，如: Buypass、ZeroSSL、SSL.com 和 Google Public CA，而 acme.sh 当前默认的 CA 是 ZeroSSL。

ref: Server · acmesh-official/acme.sh Wiki · GitHub

注:

• 本篇文章使用 Let’s Encrypt 来做讲解；
• 如果 CA 不变，则命令只需要执行一次，可以不必每次执行 acme.sh 前都进行 --set-default-ca --server xxx；
• Google Public CA 需要按照官方博客申请内测，然后获取 Key；

切换 Let’s Encrypt

acme.sh --set-default-ca --server letsencrypt

只需执行一次，切换后在下次执行 acme.sh --issue ... 时默认就会向 Let’s Encrypt 进行申请。

切换 Buypass

acme.sh --set-default-ca --server buypass

切换 ZeroSSL

acme.sh --set-default-ca --server zerossl

如果已有 ZeroSSL 帐号，可以在后台控制面板拿到 API Key，然后执行如下命令：

apt updateapt install -y jqcurl -s -X POST "https://api.zerossl.com/acme/eab-credentials?access_key=你的API_Key" | jq

输出内容如下：

{  "success": true,  "eab_kid": "kid字符串",  "eab_hmac_key": "hmac_key字符串",}

然后手动添加帐号：

acme.sh --register-account --server zerossl \        --eab-kid kid字符串  \        --eab-hmac-key hmac_key字符串

切换 SSL.com

acme.sh --set-default-ca --server ssl.com

切换 Google Public CA

acme.sh --set-default-ca --server google

更换证书链

如果 ACME CA 提供多个证书链，可以使用 --preferred-chain 选择其中一个。 否则，它将获取默认链。

例如 Let’s Encrypt 在测试环境提供了两种证书链:

可以根据关键名称（Name）任选一种关键字输入:

acme.sh --issue -d example.com .....  --test --preferred-chain  "(STAGING) Pretend Pear X1"acme.sh --issue -d example.com .....  --test --preferred-chain  "X1"acme.sh --issue -d example.com .....  --test --preferred-chain  "x1"

ref: Preferred Chain · acmesh-official/acme.sh Wiki · GitHub

注意事项

申请限制

使用 acme.sh 申请证书时，证书的数量受到 Let’s Encrypt 的速率限制的影响。以下是主要的限制信息：

1. 每个注册域名的证书数量：每周最多可以为每个注册域名申请 50 份证书。例如，如果你的域名是example.com，那么在一周内，你最多可以申请 50 个不同的证书。
2. 每个账户的订单限制：每个账户每三小时最多可以创建 300 份新订单。每次申请证书时，都会生成一个新订单。
3. 每份证书的域名数量：每份证书最多可以包含 100 个域名。这意味着你可以在一张证书中为多个域名申请 SSL/TLS 证书。
4. 续期证书的特殊规则：续期证书不计入每个注册域名的证书数量限制，但每周最多只能续期 5 张重复证书。如果你尝试续期的证书与已有证书的域名列表完全相同，就会触发限制。

目前支持的 CA 厂商特性如下：

ref: CA · acmesh-official/acme.sh Wiki · GitHub

小提示: 如果证书域名触发了申请上限，可以尝试增删或更改证书 SAN 域名进行规避。

注: 因为 SSL 证书签发限制只以域名组合（主域名 + SAN 域名）作为唯一判断，例如 SAN 域名的增删都会被认为是一个新的域名组合。

环境变量

• 如果准备使用脚本二次封装执行，请勿使用 CERT_PATH 和 SSL_CERT_FILE 否则可能引起各种问题；

后记

1. 关于域名验证方式

通常情况下，可以支持两种域名验证方式:

• 端口验证，有且只能使用 80、443 端口访问测试；
• TXT 记录验证，通过添加指定域名的 TXT 记录验证归属；

此外，还支持一种隐式验证，即 DNS 别名模式，详情查看: DNS alias mode · acmesh-official/acme.sh Wiki · GitHub

2. 修改 acme.sh 安装目录 | config-home 路径修改

假设初始安装 acme.sh 的 config-home 目录位于 /opt/acme 目录，即执行 acme.sh 的执行脚本位于 /opt/acme/acme.sh 现在想将 config-home 路径修改至 /usr/local/acme.sh 可以通过如下方式修改。

修改流程

迁移目录:

mv /opt/acme /usr/local/acme.sh

修改环境变量:

vim ~/.bashrcvim ~/.cshrcvim ~/.tcshrc

一共需要修改上述三个环境变量文件

修改内容前后对照:

# ~/.bashrc- . "/opt/acme/acme.sh.env"+ . "/usr/local/acme.sh/acme.sh.env"# ~/.cshrc- source "/opt/acme/acme.sh.csh"+ source "/usr/local/acme.sh/acme.sh.csh"# ~/.tcshrc- source "/opt/acme/acme.sh.csh"+ source "/usr/local/acme.sh/acme.sh.csh"

原理说明

1. 例如在 bash shell 下时，登陆时默认加载 ~/.bashrc 文件
2. 在 ~/.bashrc 文件内默认加载 /usr/local/acme.sh/acme.sh.env 环境变量
3. /usr/local/acme.sh/acme.sh.env 环境变量默认声明 export LE_WORKING_DIR="/usr/local/acme.sh"

注:

• 如果 config-home 与 home 有单独拆分路径，可能还会有 export LE_CONFIG_HOME="/usr/local/acme.sh/data" 单独的环境变量。
• ref: GitHub - acme.sh | 4-updating-cert

3. 自动 DNS API 简称及变量速查

更多 dnsapi 的使用，可以查看文档。

4. 转换为p12证书

虽然acme.sh生成的证书可以直接配置到 Nginx、Apache 等等 Web 服务器使用，不过有少数时候如果说想直接配置证书到 Tomcat 中（Spring Boot）那就需要将证书转换成p12格式了！

生成证书后，将证书文件和证书密钥文件复制出来，通过openssl命令转换：

openssl pkcs12 -export -in "证书文件路径" -inkey "证书密钥文件路径" -out "指定生成的p12证书文件路径"

执行命令会让你设定p12证书的密码，自行设定即可。

然后在 Spring Boot 配置文件配置如下：

# SSL证书设置server.ssl.key-store=证书p12文件所在位置server.ssl.key-store-password=证书密码server.ssl.keyStoreType=PKCS12

server.ssl.key-store配置项需要以classpath:或者file:开头，一般classpath:开头的表示jar包内路径，Maven 项目中src\main\resources文件夹即可对应为classpath的根目录，而file:对应的是jar包外相对路径或者绝对路径。

# classpath路径server.ssl.key-store=classpath:ssl.p12# jar包外路径server.ssl.key-store=file:ssl/ssl.p12

5. 创建腾讯云 DNSPod Token

DNSPod - 账号中心 | API 密钥 ，在API秘钥 -> DNSPod Token 下创建一个秘钥

接着复制 ID 和 Token，执行如下命令将其配置到环境变量中：

export DP_Id="<DNSPod_Token_ID>"export DP_Key="<DNSPod_Token>"

6. 创建阿里云 Key 和 Secret

阿里云 - RAM 访问控制 | AccessKey，点击”创建 AccessKey“

接着复制 AccessKey ID 和 Secret，执行如下命令将其配置到环境变量中：

export Ali_Key="<AccessKey_ID>"export Ali_Secret="<AccessKey_Secret>"

References

• 验证方式 - Let’s Encrypt - 免费的 SSL/TLS 证书
• ACME 客户端 - Let’s Encrypt
• acme.sh 使用教程-阿里云开发者社区
• 自动化部署证书 acme.sh 使用教程_acme.sh 部署命令-CSDN 博客
• 通过 ACME 让群晖（Synology）自动申请部署 Let’s Encrypt 的 SSL 证书 - M 学院
• 快速且自动化的证书申请-acme.sh 申请和管理证书如果是个人部署网站，那么现在有许多免费的证书供我们选择，例如 Let’ - 掘金

在早前 初识Nginx中server和location的匹配顺序 中有简单提到 server_name 的匹配顺序。然而，在日常的使用过程中不免会遇到一些”坑”，在不断踩坑的过程中加深了对现有知识的理解，并借此机会进行了补充。

关于 server_name 的匹配顺序

以下内容其实在 How nginx processes a request 也有说明，下文主要是基于日常配置过程中加以补充。

1. listen 匹配（作为大前提，如果访问端口都不对，就不会进行后续的域名匹配）
2. 精确域名匹配
3. 以 * 开头，最长匹配的泛域名匹配，如: *.test.com
4. 以 * 结尾，最长匹配的泛域名匹配，如: www.test.*
5. 正则域名匹配，如: ~^\.www\.test\.com$
6. 如果都不匹配
   1. 优先选择 listen 配置项后有 default 或 default_server 的 server 块匹配
   2. 根据 server_name localhost 匹配 （当且仅当请求 Host 为 localhost 且 server_name 也为 localhost 时才生效）
   3. 根据 Nginx 配置文件/目录中， ls -l 结果从上至下（按 0-9 -> a-z）顺序匹配，匹配到的第一个符合条件的即止
      • 例如: 有 80 监听的第一个 server 块，忽略 server_name，直接匹配对应 location

注意事项

• 在条件允许的情况下，请尽量使用精确域名；
• 当出现多个相同的 server_name 时，会根据站点配置文件排序优先匹配；
• 在普通 server_name 配置下，* 符号可以代表多字符匹配，但只能用在 server_name 的开头或末尾；
  • 例如: www.*.example.org 和 w*.example.org 是无效的
• Nginx 的正则表达式与 Perl 语言（PCRE）使用的正则表达式兼容；
• 正则匹配必须以 ~ 开头（否则将会认为是精确字符匹配），并建议使用 ^ 和 $ 符号分别作为”开头”和”结束”的锚点；
  • 例如: server_name ~^www\d+\.example\.net$;
• 正则域名下允许在 server_name 中使用 * 符号匹配多字符；
  • 例如: ~^w.*\.example\.org$ 不仅匹配 www.example.org，还匹配 www.sub.example.org

关于泛域名匹配

泛域名配置

根据 Server names#wildcard_names 中说明，在普通泛域名配置中，* 符号只能对域名”前缀”或”后缀”进行配置，其他位置则不生效。

server {    listen       80;    server_name  *.example.org;    ...}server {    listen       80;    server_name  mail.*;    ...}

正则泛域名配置

如果想对固定域名的部分字符进行泛域名匹配时（例如匹配: api.dev.nestealin.com、api.pre.nestealin.com、api.prod.nestealin.com 等 api.*.nestealin.com 格式的域名），则可以使用正则表达式的方式进行。

参考: Server names#regex_names

server {    listen       80;    server_name  ~^api\.*\.nestealin\.com$;    ...}

泛域名误区 - “无意义域名”

在一些教程网站中，也有一些配置会用 server_name "" 或 server_name _ 来表示”泛域名”匹配，但这其实并不完全符合匹配原则，只是”恰好”在规则条件上得以命中，看似解决了这方面问题罢了。下面将针对最常见的几个”泛域名” server_name 配置进行主要说明。

server_name “”

Nginx 的官方文档是这么描述 server_name "" 的：

If it is required to process requests without the “Host” header field in a server block which is not the default, an empty name should be specified.

也就是说，如果想让一个没有被标注为 default_server 的 server 块来处理一个没有带有 Host header 的请求的话，就需要使用 server_name "" 指令。但问题是，在 RFC 7230, Section 5.4 中 HTTP/1.1 （也就是当前主流的 HTTP version）对 Host 的规定[^3]，如果一个请求没有带有 Host header 的话，服务器必须得返回 400（Bad Request）：

所以，使用了 server_name "" 的非 default server 块压根就没有机会去处理一个没有带有 Host header 的请求，因为在把这个请求交给 server 块之前就已经先被 Nginx 处理然后响应 400 状态码了。（即便客户端为 HTTP/1.0 结果也是同样）

因此，当 server_name "" 单独使用时，该 server 块是处理不了任何请求的（按正常匹配顺序来说），它通常要跟 listen 中的 default 或 default_server 配合使用，表示这个 server 块可以集中处理那些无法被其他 server 块处理的请求。

server_name _ | server_name $ | server_name @

server_name _ 是可以匹配到 Host header 的值的，因为它可以匹配到 Host header 值为 “_“ 的请求。但是这种匹配其实也是没有意义的，因为对于浏览器而言，请求中的 Host header 的值就是你所输入的网站地址（可以是 IP 地址也可以是域名），但是 “_“ 根本就不是一个域名，它根本就无法被解析成 ip 地址，无法被解析成 ip 地址就意味着这个请求根本就没办法发送到对应的服务器上，所以 server_name _ 跟 server_name "" 一样根本就没有用武之地。

同样地，我们可以认为 server_name _ 跟 server_name "" 一样本身是没有任何意义；其实除了 server_name _ 之外，像 server_name !、 server_name $ 、 server_name @、server_name -- 等这类都是属于”无意义域名”。

因此，server_name _ 其实跟 server_name "" 一样，在 server_name _ 单独使用的 server 块中是处理不了任何请求的，一般也是要跟 listen 中的 default 或 default_server 一起配合使用才有最佳效果，也是表示这个 server 块可以集中处理那些无法被其他 server 块处理的请求。

关于国际化域名

什么是国际化域名

在全球域名规范中，除了英文点分域名格式以外，还可能存在中文、俄文等国家文字作为域名，统称为国际化域名( Internationalized Domain Names (IDNs) )[^1][^2]。

如何配置国际化域名

假设现在要为一个俄文域名（пример.испытание）进行配置，此时就需要将域名转为 ASCII (Punycode) 格式。

例如:

server {    listen       80;    server_name  xn--e1afmkfd.xn--80akhbyknj4f;  # 实际域名: пример.испытание    ...}

Punycode 转换

在线转换工具: Punycode编码转换

关于匹配规则的实验

环境说明

服务端(Nginx)

Nginx IP: 192.168.7.27

在 Nginx 配置目录（/usr/local/nginx/conf/sites）下创建两个配置文件:

注: 为了避免”兜底配置”在站点文件的首位，因此，在本次实验中会将”兜底配置”文件根据匹配规则放到目录”末尾”。

正常域名配置: （a-test.conf）

server {    listen 80;    server_name abc.nestealin.com;    location / {        add_header content-type application/json;        return 200 '{"status": "This is the a-test.conf"}';    }}

兜底域名配置: （z-default_test.conf）

server {    #listen 80 default_server ;    listen 80 ;    #server_name "";    server_name _;    #server_name $;    #server_name localhost;    #server_name ~^(.+)$;    #server_name ~^.*$;    #server_name ~. "";    location / {        add_header content-type application/json;        return 200 '{"status": "This is the z-default_test.conf"}';    }}

客户端

使用 curl 命令进行请求测试:

• curl 版本: 8.4.0
• 请求协议版本: HTTP/1.1

验证方式

在”正常域名”配置不变的情况下，不断修改兜底域名配置，客户端重复请求进行验证。

实验过程

server_name “” 并且是 default_server

客户端请求携带 Host

# curl http://192.168.7.27 -v*   Trying 192.168.7.27:80...* Connected to 192.168.7.27 (192.168.7.27) port 80> GET / HTTP/1.1> Host: 192.168.7.27> User-Agent: curl/8.4.0> Accept: */*>< HTTP/1.1 200 OK< Server: nginx< Date: Fri, 05 Apr 2024 07:47:51 GMT< Content-Type: application/octet-stream< Content-Length: 37< Connection: close< content-type: application/json<* Closing connection{"status": "This is the a-test.conf"}

客户端请求不携带 Host

# curl 192.168.7.27 -v -H "Host: "*   Trying 192.168.7.27:80...* Connected to 192.168.7.27 (192.168.7.27) port 80> GET / HTTP/1.1> Host:> User-Agent: curl/8.4.0> Accept: */*>< HTTP/1.1 400 Bad Request< Server: nginx< Date: Fri, 05 Apr 2024 03:51:50 GMT< Content-Type: text/html; charset=utf-8< Content-Length: 150< Connection: close<<html><head><title>400 Bad Request</title></head><body><center><h1>400 Bad Request</h1></center><hr><center>nginx</center></body></html>* Closing connection

server_name “” 但不是 default_server

Nginx 兜底域名配置改为如下

server {    listen 80;    server_name "";    location / {        add_header content-type application/json;        return 200 '{"status": "ok"}';    }}

客户端请求携带 Host

# curl 192.168.7.27 -v*   Trying 192.168.7.27:80...* Connected to 192.168.7.27 (192.168.7.27) port 80> GET / HTTP/1.1> Host: 192.168.7.27> User-Agent: curl/8.4.0> Accept: */*>< HTTP/1.1 200 OK< Server: nginx< Date: Fri, 05 Apr 2024 08:16:27 GMT< Content-Type: application/octet-stream< Content-Length: 45< Connection: close< content-type: application/json<* Closing connection{"status": "This is the z-default_test.conf"}

客户端请求不携带 Host

# curl http://192.168.7.27 -v -H "Host: "*   Trying 192.168.7.27:80...* Connected to 192.168.7.27 (192.168.7.27) port 80> GET / HTTP/1.1> Host:> User-Agent: curl/8.4.0> Accept: */*>< HTTP/1.1 400 Bad Request< Server: nginx< Date: Fri, 05 Apr 2024 03:49:14 GMT< Content-Type: text/html; charset=utf-8< Content-Length: 150< Connection: close<<html><head><title>400 Bad Request</title></head><body><center><h1>400 Bad Request</h1></center><hr><center>nginx</center></body></html>* Closing connection

实验结果

由于繁复性结果相近，所以省略了其他过程内容，以下是整体结果:

当兜底配置的 listen 仅为 80 时

即类似如下配置:

server{    listen 80;    server_name XXXX;    ...}

注:

• 表格首列为客户端的请求 Host；
• 表格首行为 Nginx 站点配置中的 server_name 配置；
• 表格内容为 Nginx 的响应状态码/请求命中的站点配置；

当兜底配置的 listen 为 80 default_server 时

即类似如下配置:

server{    listen 80 default_server;    server_name XXXX;    ...}

注:

• 表格首列为客户端的请求 Host；
• 表格首行为 Nginx 站点配置中的 server_name 配置；
• 表格内容为 Nginx 的响应状态码/请求命中的站点配置；

实验小结

• 无论是否存在默认监听（listen ${Port} default_server;），当请求 Host 为空时，响应结果均为 400；
• 当没有默认监听且请求 Host 为 localhost 时，如果存在 server_name localhost 的话，在 Nginx 看来该 server_name 也是一个”精确域名”，可以命中对应 server 配置；
• 当没有默认监听且请求 Host 不为空时，server_name 匹配顺序: 精准域名 > 泛域名 > 正则域名 > localhost （如果恰好有 Host 也为 localhost 的话） > 站点(配置文件)顺序；即”无意义域名”（server_name _ 等）并非真正意义上的”兜底域名”；
• 当存在默认监听且请求 Host 不为空时，”无意义域名”、”localhost”、”~^.*$“配置等价，都能作为”兜底域名”存在，实现拦截对应 listen 端口中所有 server 配置外的 HTTP 请求；

总结

• 在条件允许的情况下，应尽量使用精确域名，其次泛域名，最后是正则域名，请尽量少用无意义域名；
• 在使用正则域名时，必须以 ~ 开头（否则将会认为是精确字符匹配），并建议使用 ^ 和 $ 符号分别作为”开头”和”结束”的锚点；
• 在 listen 指令中，default 与 default_server 作用相同，在 0.8.21 及以后的 Nginx 版本中，推荐使用 default_server 更符合官方规范；
• 当请求 Host 为空时，Nginx 会遵循 RFC 7230, Section 5.4 中的规定[^3]直接响应 400 状态码，无视所有匹配规则；
• 当 server_name "" 等无意义域名期望作为”兜底配置”存在时，其 listen 指令必须要有 default_server 参数，否则可能会因匹配顺序而无法实现相应兜底逻辑；
• 当没有默认监听且请求 Host 为 localhost 时，如果存在 server_name localhost 的配置，则该 server_name 也是一个”精确域名”，可以命中对应 server 配置；

最佳实践

1. 匹配 80 端口的所有 HTTP 请求 （兜底）

写法一: 正则域名

server {listen       80 default_server;server_name  ~^.*$;access_log logs/default.access.log main;...}

通常，这种配置会作为兜底模块，其 listen 也建议设置成 default_server 进行兜底拦截，实现捕获所有规则外的请求。

注: 在 Nginx 0.8.21 之前的版本里，需要”默认监听”使用”default“进行声明；从 0.8.21 开始的版本新加入了”default_server“参数，其作用与”default“等价并兼容旧版本写法，可以选择任一声明。

写法二: 无意义域名

server {listen       80 default_server;server_name  _;access_log logs/default.access.log main;...}

虽然不推荐这种方式，但其匹配顺序可以作为正则域名后的补充，可以提供参考。（例如: 存在大量正则域名，怕影响现存正则写法的情况。）

注意: 该配置的 default_server 不能去除，否则可能导致配置无效。

2. 匹配 80 端口所有 HTTP 请求并响应断开连接 （兜底）

如果 Nginx 对客户端请求有要求，客户端必须携带合规的 “Host” 标头字段才能访问（即自己没有配置的 server_name 都不允许访问），则可以定义一个 server 块来直接丢弃非法请求：

注: “Host”字段可以是 IP 地址，也可以是域名。

写法一: 正则域名

server {listen       80 default_server;server_name  ~^.*$;access_log logs/default.access.log main;return      444;}

写法二: 无意义域名

server {listen       80 default_server;server_name  _;access_log logs/default.access.log main;return      444;}

References

• Nginx Doc - Server names
• 我所理解的 nginx 中 server_name “” 与 server_name _ 之间的区别 - Nginx - NICECHI 博客
• virtualhost - What is the difference between server_name _ and server_name “” in Nginx? - Server Fault
• How nginx processes a request
• Server Block Examples | NGINX
• nginx中server_name查询顺序 — Learning Notebook v1.0 documentation
• Nginx常见问题 - gong^_^ - 博客园

[^1]: Internationalized Domain Name - ICANNWIki
[^2]: Internationalized domain name - Wikipedia
[^3]: RFC 7230 - Hypertext Transfer Protocol (HTTP/1.1): Message Syntax and Routing

对于混合部署的实例需要共存多个 Python 环境，为了避免依赖冲突本脚本使用了 virtualenv 管理虚拟环境，实现相互隔离。

脚本说明

该脚本默认是基于 OpenSSL-1.1.1 来安装 3.7.11 版本的 Python 。

源码包目录，默认位于执行脚本当前目录的 packages 中。（ 如有自定义路径需求，请修改脚本中 packages_dir 变量。 ）

安装目录，默认分别位于 /usr/local/openssl-1.1.1k 及 /usr/local/python-3.7.11 中。 （ 脚本内写死 ）

虚拟环境目录，默认位于 /data1/virtualpython 目录下。 （ 脚本内写死 ）

注意事项

• 对于环境变量的改变:
  • 安装完 Python 后，默认会将新版 OpenSSL 加载至系统环境中，加载配置文件 /etc/ld.so.conf.d/openssl-1.1.1k-x86_64.conf 。
  • 安装完 Python 后，默认会添加 /usr/local/python3 、 /usr/bin/python3 、 /usr/bin/pip3 三个软链。

最佳实践

脚本内容

创建脚本文件

vim py3_auto_install.sh

脚本内容

#!/bin/bash# Author: nestealin# Created: 2022-12-11# Update: 2023-05-13 change openssl version from 1.1.1a to 1.1.1k# Update: 2023-09-23 promt Python and Openssl version to variablescommand=$1install_script_dir="$( cd "$( dirname "$0"  )" && pwd  )"packages_dir="$install_script_dir/packages"PYTHON_VERSION="3.7.11"PYTHON_MAIN_VERSION=$(echo "$PYTHON_VERSION" | cut -d. -f1-2)OPENSSL_VERSION="1.1.1k"# EnvPreparefunction Setup_Install_Env() {    yum install gcc zlib-devel make libffi-devel -y    yum install -y ca-certificates    [ ! -d $packages_dir ] && mkdir $packages_dir    echo -e "\033[32mpackages directory: $packages_dir\033[0m"}# Download Packagesfunction Download_Python_Package() {    cd $packages_dir    tarball="Python-${PYTHON_VERSION}.tar.xz"    if [ ! -f $tarball ]; then        echo "Downloading $tarball"        wget https://www.python.org/ftp/python/${PYTHON_VERSION}/$tarball    [ ! -f $tarball ] && echo -e "\033[31mfail to download $tarball\033[0m" && exit 1    fi}function Download_Openssl_Packages() {    cd $packages_dir    tarball="openssl-${OPENSSL_VERSION}.tar.gz"    if [ ! -f $tarball ]; then        echo "Downloading $tarball"        wget https://www.openssl.org/source/$tarball        echo "Downloading cacert.pem"        wget http://curl.haxx.se/ca/cacert.pem    [ ! -f $tarball ] && echo -e "\033[31mfail to download $tarball\033[0m" && exit 1    fi}function Download_Pip3_Package() {    cd $packages_dir    tarball="ez_setup.py"    if [ ! -f $tarball ]; then        echo "Downloading $tarball"        wget https://bootstrap.pypa.io/$tarball --no-check-certificate    [ ! -f $tarball ] && echo -e "\033[31mfail to download $tarball\033[0m" && exit 1    fi}function Install_Openssl() {    install_dir="/usr/local/openssl-${OPENSSL_VERSION}"    cd $packages_dir    tarball="openssl-${OPENSSL_VERSION}.tar.gz"    tar -zxvf $tarball    cd openssl-${OPENSSL_VERSION}    ./config --prefix=$install_dir --openssldir=$install_dir    make -j `cat /proc/cpuinfo | grep -i name | wc -l` && make install    if [ -d $install_dir ]; then        mv $packages_dir/cacert.pem /usr/local/openssl-${OPENSSL_VERSION}/cert.pem        echo "/usr/local/openssl-${OPENSSL_VERSION}/lib" > /etc/ld.so.conf.d/openssl-${OPENSSL_VERSION}-x86_64.conf        ldconfig    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi}function Install_Python3() {    install_dir="/usr/local/python-${PYTHON_VERSION}"    openssl_dir="/usr/local/openssl-${OPENSSL_VERSION}"    cd $packages_dir    tar xvf Python-${PYTHON_VERSION}.tar.xz    cd Python-${PYTHON_VERSION}    ./configure --prefix=/usr/local/python-${PYTHON_VERSION} --enable-optimizations --with-openssl=$openssl_dir    make -j `cat /proc/cpuinfo | grep -i name | wc -l` && make install    if [ -d $install_dir ]; then        ln -s /usr/local/python-${PYTHON_VERSION} /usr/local/python3        ln -s /usr/local/python-${PYTHON_VERSION}/bin/python${PYTHON_MAIN_VERSION} /usr/bin/python3        ln -s /usr/local/python-${PYTHON_VERSION}/bin/pip3 /usr/bin/pip3    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi}function Install_Pip3() {    install_dir="/usr/local/python-${PYTHON_VERSION}/bin"    cd $packages_dir    if [ -d $install_dir ]; then        $install_dir/python3 ez_setup.py    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi}function Install_Virtualenv() {    install_dir="/usr/local/python-${PYTHON_VERSION}/bin"    if [ -d $install_dir ]; then        $install_dir/pip3 install virtualenv virtualenvwrapper    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi    virtualenvwrapper_script="virtualenvwrapper.sh"    if [ -f $install_dir/virtualenvwrapper.sh ]; then        mkdir -p /data1/virtualpython/virtualenvs && mkdir /data1/virtualpython/PyEnv        mkdir -p /data1/virtualpython_others/virtualenvs && mkdir /data1/virtualpython_others/PyEnv        env=$(cat <<EOF >>~/.bashrc# 为非root用户提供if [ `id -u` != '0' ]; then    export WORKON_HOME=/data1/virtualpython_others/virtualenvs    export PROJECT_HOME=/data1/virtualpython_others/PyEnvs    source /usr/local/python-${PYTHON_VERSION}/bin/virtualenvwrapper.shfi# 如果root用户添加如下:export WORKON_HOME=/data1/virtualpython/virtualenvsexport PROJECT_HOME=/data1/virtualpython/PyEnvsexport VIRTUALENVWRAPPER_PYTHON=/usr/local/python-${PYTHON_VERSION}/bin/python${PYTHON_MAIN_VERSION}export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/python-${PYTHON_VERSION}/bin/virtualenvsource /usr/local/python-${PYTHON_VERSION}/bin/virtualenvwrapper.shEOF)        $env        source ~/.bashrc    [ ! -f $install_dir/virtualenvwrapper.sh ] && echo -e "\033[31mfail to install virtualenvwrapper.sh\033[0m" && exit 1    fi}# HELP，-p|--python-only 仅安装python，默认项 , -v|--with-virtualEnv 虚拟环境function help(){    echo -e "\033[31musage: $0 Options: [-d|-p] [-v]\033[0m"    echo -e "\033[31mOPTIONS:\033[0m"    echo -e "\033[31m    -d|-p|--python-only    install python only, Default option\033[0m"    echo -e "\033[31m    -v|--with-virtualEnv   instal python with virtualEnv\033[0m"}case $command in    (-d|-p|--python-only)        Setup_Install_Env        Download_Openssl_Packages        Install_Openssl        Download_Python_Package        Download_Pip3_Package        Install_Python3        Install_Pip3        ;;    (-v|--with-virtualEnv)        Setup_Install_Env        Download_Openssl_Packages        Install_Openssl        Download_Python_Package        Download_Pip3_Package        Install_Python3        Install_Pip3        Install_Virtualenv        ;;    (-h|--help|help)        help        ;;    (*)        echo "Error command"        help        ;;esac

使用方式

chmod +x py3_auto_install.sh# 只安装Python3./py3_auto_install.sh -d# 安装Python3，同时安装并配置虚拟环境./py3_auto_install.sh -v

当使用 urllib.urlopen 或 socket 打开一个 HTTPS 链接时抛出如下异常：

urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1076)>

原因

• OpenSSL 本地 CA 证书不存在。

解决方法

1. 查看默认证书位置

import sslprint(ssl.get_default_verify_paths())

• 执行结果：

  DefaultVerifyPaths(cafile=None, capath='/usr/local/openssl-1.1.1/certs', openssl_cafile_env='SSL_CERT_FILE', openssl_cafile='/usr/local/openssl-1.1.1/cert.pem', openssl_capath_env='SSL_CERT_DIR', openssl_capath='/usr/local/openssl-1.1.1/certs')

  • 由结果可见，CA 文件不存在。

2. 下载 CA 文件

• 将下载的 CA 文件放到 openssl_cafile 指定位置，并创建 openssl_capath 指定目录

  mkdir /usr/local/openssl-1.1.1/certs# 切换到当前openssl目录，并下载ca文件cd /usr/local/openssl-1.1.1/wget http://curl.haxx.se/ca/cacert.pemmv cacert.pem cert.pem

注意事项

• 可能存在系统差异，openssl 的目录会有所变化，以具体 print(ssl.get_default_verify_paths()) 的执行结果输出为准。

本文将以两种方式安装 Python3、PiP3及虚拟环境(virtualenv)

手动安装

准备环境

安装依赖

libffi-devel 一定要装，否则报错 No module named '_ctypes' .

yum install gcc zlib-devel make libffi-devel -y

升级OpenSSL

如果仅安装 Python2 可以选择忽略该步骤。

为 Python3 单独升级 openssl；为了避免与系统已有 openssl 冲突，因此安装到其他路径:

wget https://www.openssl.org/source/openssl-1.1.1k.tar.gz --no-check-certificatetar -zxvf openssl-1.1.1k.tar.gzcd openssl-1.1.1k./config --prefix=/usr/local/openssl-1.1.1 --openssldir=/usr/local/openssl-1.1.1 make && make install# 方法一，声明临时变量，怕影响线上服务推荐使用该方法# 包括后续引用库文件都要提前声明export LD_LIBRARY_PATH=/usr/local/openssl-1.1.1/lib:$LD_LIBRARY_PATH# 方法二，永久声明变量echo "/usr/local/openssl-1.1.1/lib" >> /etc/ld.so.conf.d/openssl-1.1.1-x86_64.confldconfig

安装Python

Python2

以安装 Python-2.7.18 为例。

wget https://www.python.org/ftp/python/2.7.18/Python-2.7.18.tar.xztar xf Python-2.7.18.tar.xzcd Python-2.7.18sudo ./configure --prefix=/usr/local/python-2.7.18 --enable-optimizationssudo make && sudo make installsudo ln -s /usr/local/python-2.7.18 /usr/local/python2.7sudo ln -s /usr/local/python-2.7.18/bin/python2.7 /usr/bin/python2.7

安装 pip2

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.pysudo python2.7 get-pip.py

Python3

以安装 Python-3.7.11 为例。

下载源码

下载 Python 版本

wget https://www.python.org/ftp/python/3.7.11/Python-3.7.11.tar.xztar xvf Python-3.7.11.tar.xz

编译安装

解压缩、编译和安装

cd Python-3.7.11sudo ./configure --prefix=/usr/local/python-3.7.11 --enable-optimizations --with-openssl=/usr/local/openssl-1.1.1sudo make && sudo make install

更新环境

做个软连接到当前用户的 bin 目录

ln -s /usr/local/python-3.7.11 /usr/local/python3ln -s /usr/local/python-3.7.11/bin/python3.7 /usr/bin/python3ln -s /usr/local/python-3.7.11/bin/pip3 /usr/bin/pip3

升级安装好新版本 Python 以后，需要将工程文件 Python2.6 的文件头部 #!/usr/bin/python 修改为 Python3 的路径，例如: #!/opt/python3/bin/python3 。

扩展说明: 假设要安装3.8.5，可参考如下:

export PYTHON_VERSION="3.8.5"cd /usr/local/srcwget https://www.python.org/ftp/python/$PYTHON_VERSION/Python-$PYTHON_VERSION.tar.xztar xf Python-$PYTHON_VERSION.tar.xzcd Python-$PYTHON_VERSION/./configure --prefix=/usr/local/python-$PYTHON_VERSION --enable-optimizations --with-openssl=/usr/local/openssl-1.1.1make -j `cat /proc/cpuinfo | grep -i "model name" | wc -l` && make installln -s /usr/local/python-3.8.5/bin/python3.8 /usr/bin/python3.8ln -s /usr/local/python-3.8.5/bin/pip3 /usr/bin/pip3.8

安装 pip3 和 easy_install

安装完检查下服务器上面是否有了 pip3 命令和 easy_install-3.6 如果没有的话按以下步骤安装。

# 下载setuptools,easy_install 的安装包wget https://bootstrap.pypa.io/ez_setup.py --no-check-certificate# 安装easy_install# 记得用python3安装python3 ez_setup.py#安装完成后/usr/local/bin/目录下出现easy_install#安装pip3easy_install-3.6 pip#安装完成后/usr/local/bin/目录下出现pip3.6#升级pip3.6版本pip3 install --upgrade pip

检查openssl版本

通过终端检查

# 从终端进入pythonpython>>> import ssl>>> ssl.OPENSSL_VERSION>>> 'OpenSSL 1.1.1k  25 Mar 2021'

通过脚本检查

#!/usr/bin/python3# -*- coding: UTF-8 -*-import sslprint(ssl.OPENSSL_VERSION)

一键脚本安装

简要说明

该脚本默认是基于 OpenSSL-1.1.1 来安装 3.7.11 版本的 Python 。

源码包目录，默认位于执行脚本当前目录的 packages 中。（ 如有自定义路径需求，请修改脚本中 packages_dir 变量。 ）

安装目录，默认分别位于 /usr/local/openssl-1.1.1k 及 /usr/local/python-3.7.11 中。 （ 脚本内写死 ）

虚拟环境目录，默认位于 /data1/virtualpython 目录下。 （ 脚本内写死 ）

• 对于环境变量的改变:
  • 安装完 Python 后，默认会将新版 OpenSSL 加载至系统环境中，加载配置文件 /etc/ld.so.conf.d/openssl-1.1.1k-x86_64.conf 。
  • 安装完 Python 后，默认会添加 /usr/local/python3 、 /usr/bin/python3 、 /usr/bin/pip3 三个软链。

快速安装

# 安装Python3及PiP3source <(curl -sL https://github.com/nestealin/python3-installer/releases/download/v1.0.0/py3_auto_install.sh) -d# 安装Python3，同时安装并配置虚拟环境source <(curl -sL https://github.com/nestealin/python3-installer/releases/download/v1.0.0/py3_auto_install.sh) -v

脚本内容

如果脚本下载困难，可以通过如下脚本复制粘贴使用。

详见: Python3及虚拟环境(virtualenv)一键安装脚本(含升级OpenSSL-1.1.1)

可能遇到的问题

1.pip安装提示SSL报错

报错信息如下

WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not availableCould not fetch URL https://pypi.org/simple/pip/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/pip/ (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.")) - skipping

手动在 Python 中引入 ssl 模块也会有如下报错

# /usr/local/python-3.7.11/bin/python3Python 3.7.11 (default, Nov 20 2022, 21:58:43)[GCC 4.4.7 20120313 (Red Hat 4.4.7-23)] on linuxType "help", "copyright", "credits" or "license" for more information.>>> import sslTraceback (most recent call last):  File "<stdin>", line 1, in <module>  File "/usr/local/python-3.7.11/lib/python3.7/ssl.py", line 98, in <module>    import _ssl             # if we can't import it, let the error propagateImportError: libssl.so.1.1: cannot open shared object file: No such file or directory

原因是安装时引入了非系统原生版本的openssl依赖库，需要手动声明环境变量，或写入系统中

方法一

# 方法一，声明临时变量，怕影响线上服务推荐使用该方法# 包括后续执行python、引用库文件前都要提前声明export LD_LIBRARY_PATH=/usr/local/openssl-1.1.1/lib:$LD_LIBRARY_PATH

方法二

# 方法二，永久声明变量echo "/usr/local/openssl-1.1.1/lib" >> /etc/ld.so.conf.d/openssl-1.1.1-x86_64.confldconfig

• 配置后建议检查并修复:

TODO

2.编译 Python-3.8.X 时出现 Could not import runpy module 报错

异常现象

Could not import runpy moduleTraceback (most recent call last):  File "/root/0tmp/Python-3.8.16/Lib/runpy.py", line 15, in <module>    import importlib.util  File "/root/0tmp/Python-3.8.16/Lib/importlib/util.py", line 14, in <module>    from contextlib import contextmanager  File "/root/0tmp/Python-3.8.16/Lib/contextlib.py", line 4, in <module>    import _collections_abcSystemError: <built-in function compile> returned NULL without setting an errorgenerate-posix-vars failedmake[1]: *** [pybuilddir.txt] Error 1make[1]: Leaving directory `/root/0tmp/Python-3.8.16'make: *** [profile-opt] Error 2

原因

• 在低版本的gcc版本中带有 --enable-optimizations 参数时会出现上面问题
• 在 gcc 8.1.0 版本后修复此问题

解决方式

1. 升级gcc至8.1.0【不推荐】

2. ./configure 参数中去掉 --enable-optimizations

   cd $PYTHON_PACKAGE_PATHmake clean./configure --prefix=/usr/local/python-3.8.16 --with-openssl=/usr/local/openssl-1.1.1make && make install

参考文档: python 3.8.0 编译报错 Could not import runpy module 解决方案_whatday的博客-CSDN博客

glibc 是 GNU 发布的 libc 库，即 c 运行库。glibc 是 linux 系统中最底层的 api，几乎其它任何运行库都会依赖于glibc。glibc除了封装 linux 操作系统所提供的系统服务外，它本身也提供了许多其它一些必要功能服务的实现。由于 glibc 囊括了几乎所有的 UNIX 通行的标准，可以想见其内容包罗万象。而就像其他的 UNIX 系统一样，其内含的档案群分散于系统的树状目录结构中，像一个支架一般撑起整个操作系统。在 GNU/Linux 系统中，其 C 函数库发展史点出了GNU/Linux 演进的几个重要里程碑，用 glibc 作为系统的 C 函式库，是 GNU/Linux 演进的一个重要里程碑。

而当前在面对 nodejs 18 时就出现了 glibc 版本过旧的问题导致不得不对其进行升级。

特别注意

• 错误地升级 glibc 会导致系统工具失效甚至系统崩溃，

  请谨慎操作

• 以下全部操作都是用 root 账户进行的

• 推荐全程在 screen 中运行，防止意外断开造成不可意料的后果

glibc 不可用会导致：bash 无法使用、yum/rpm 无法使用、无法解析名称空间、无法切换用户等，基本相当于系统不可用。同样的，如果有其他工具服务依赖 glibc，也会因此造成不可用。

升级流程

1.安装Python-3.7.11

本次安装基于一键脚本实现 Python-3.7.11 版本安装。

创建脚本文件

vim py3_auto_install.sh

脚本内容

#!/bin/bash# Author: nestealin# Created: 2022-12-11# Update: 2023-05-13 change openssl version from 1.1.1a to 1.1.1k# Update: 2023-09-23 promt Python and Openssl version to variablescommand=$1install_script_dir="$( cd "$( dirname "$0"  )" && pwd  )"packages_dir="$install_script_dir/packages"PYTHON_VERSION="3.7.11"PYTHON_MAIN_VERSION=$(echo "$PYTHON_VERSION" | cut -d. -f1-2)OPENSSL_VERSION="1.1.1k"# EnvPreparefunction Setup_Install_Env() {    yum install gcc zlib-devel make libffi-devel -y    yum install -y ca-certificates    [ ! -d $packages_dir ] && mkdir $packages_dir    echo -e "\033[32mpackages directory: $packages_dir\033[0m"}# Download Packagesfunction Download_Python_Package() {    cd $packages_dir    tarball="Python-${PYTHON_VERSION}.tar.xz"    if [ ! -f $tarball ]; then        echo "Downloading $tarball"        wget https://www.python.org/ftp/python/${PYTHON_VERSION}/$tarball    [ ! -f $tarball ] && echo -e "\033[31mfail to download $tarball\033[0m" && exit 1    fi}function Download_Openssl_Packages() {    cd $packages_dir    tarball="openssl-${OPENSSL_VERSION}.tar.gz"    if [ ! -f $tarball ]; then        echo "Downloading $tarball"        wget https://www.openssl.org/source/$tarball        echo "Downloading cacert.pem"        wget http://curl.haxx.se/ca/cacert.pem    [ ! -f $tarball ] && echo -e "\033[31mfail to download $tarball\033[0m" && exit 1    fi}function Download_Pip3_Package() {    cd $packages_dir    tarball="ez_setup.py"    if [ ! -f $tarball ]; then        echo "Downloading $tarball"        wget https://bootstrap.pypa.io/$tarball --no-check-certificate    [ ! -f $tarball ] && echo -e "\033[31mfail to download $tarball\033[0m" && exit 1    fi}function Install_Openssl() {    install_dir="/usr/local/openssl-${OPENSSL_VERSION}"    cd $packages_dir    tarball="openssl-${OPENSSL_VERSION}.tar.gz"    tar -zxvf $tarball    cd openssl-${OPENSSL_VERSION}    ./config --prefix=$install_dir --openssldir=$install_dir    make -j `cat /proc/cpuinfo | grep -i name | wc -l` && make install    if [ -d $install_dir ]; then        mv $packages_dir/cacert.pem /usr/local/openssl-${OPENSSL_VERSION}/cert.pem        echo "/usr/local/openssl-${OPENSSL_VERSION}/lib" > /etc/ld.so.conf.d/openssl-${OPENSSL_VERSION}-x86_64.conf        ldconfig    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi}function Install_Python3() {    install_dir="/usr/local/python-${PYTHON_VERSION}"    openssl_dir="/usr/local/openssl-${OPENSSL_VERSION}"    cd $packages_dir    tar xvf Python-${PYTHON_VERSION}.tar.xz    cd Python-${PYTHON_VERSION}    ./configure --prefix=/usr/local/python-${PYTHON_VERSION} --enable-optimizations --with-openssl=$openssl_dir    make -j `cat /proc/cpuinfo | grep -i name | wc -l` && make install    if [ -d $install_dir ]; then        ln -s /usr/local/python-${PYTHON_VERSION} /usr/local/python3        ln -s /usr/local/python-${PYTHON_VERSION}/bin/python${PYTHON_MAIN_VERSION} /usr/bin/python3        ln -s /usr/local/python-${PYTHON_VERSION}/bin/pip3 /usr/bin/pip3    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi}function Install_Pip3() {    install_dir="/usr/local/python-${PYTHON_VERSION}/bin"    cd $packages_dir    if [ -d $install_dir ]; then        $install_dir/python3 ez_setup.py    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi}function Install_Virtualenv() {    install_dir="/usr/local/python-${PYTHON_VERSION}/bin"    if [ -d $install_dir ]; then        $install_dir/pip3 install virtualenv virtualenvwrapper    [ ! -d $install_dir ] && echo -e "\033[31mfail to install $install_dir\033[0m" && exit 1    fi    virtualenvwrapper_script="virtualenvwrapper.sh"    if [ -f $install_dir/virtualenvwrapper.sh ]; then        mkdir -p /data1/virtualpython/virtualenvs && mkdir /data1/virtualpython/PyEnv        mkdir -p /data1/virtualpython_others/virtualenvs && mkdir /data1/virtualpython_others/PyEnv        env=$(cat <<EOF >>~/.bashrc# 为非root用户提供if [ `id -u` != '0' ]; then    export WORKON_HOME=/data1/virtualpython_others/virtualenvs    export PROJECT_HOME=/data1/virtualpython_others/PyEnvs    source /usr/local/python-${PYTHON_VERSION}/bin/virtualenvwrapper.shfi# 如果root用户添加如下:export WORKON_HOME=/data1/virtualpython/virtualenvsexport PROJECT_HOME=/data1/virtualpython/PyEnvsexport VIRTUALENVWRAPPER_PYTHON=/usr/local/python-${PYTHON_VERSION}/bin/python${PYTHON_MAIN_VERSION}export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/python-${PYTHON_VERSION}/bin/virtualenvsource /usr/local/python-${PYTHON_VERSION}/bin/virtualenvwrapper.shEOF)        $env        source ~/.bashrc    [ ! -f $install_dir/virtualenvwrapper.sh ] && echo -e "\033[31mfail to install virtualenvwrapper.sh\033[0m" && exit 1    fi}# HELP，-p|--python-only 仅安装python，默认项 , -v|--with-virtualEnv 虚拟环境function help(){    echo -e "\033[31musage: $0 Options: [-d|-p] [-v]\033[0m"    echo -e "\033[31mOPTIONS:\033[0m"    echo -e "\033[31m    -d|-p|--python-only    install python only, Default option\033[0m"    echo -e "\033[31m    -v|--with-virtualEnv   instal python with virtualEnv\033[0m"}case $command in    (-d|-p|--python-only)        Setup_Install_Env        Download_Openssl_Packages        Install_Openssl        Download_Python_Package        Download_Pip3_Package        Install_Python3        Install_Pip3        ;;    (-v|--with-virtualEnv)        Setup_Install_Env        Download_Openssl_Packages        Install_Openssl        Download_Python_Package        Download_Pip3_Package        Install_Python3        Install_Pip3        Install_Virtualenv        ;;    (-h|--help|help)        help        ;;    (*)        echo "Error command"        help        ;;esac

执行安装

chmod +x py3_auto_install.sh./py3_auto_install.sh -d

2.升级make-4.3

在阿里云镜像上找到想要升级的 make 版本，这里以 4.3 为例

wget https://mirrors.aliyun.com/gnu/make/make-4.3.tar.gz tar -zxf make-4.3.tar.gz  cd make-4.3/  mkdir buildcd build../configure --prefix=/usr && make && make installmake -v

3.升级gcc-8.2.0

安装依赖

# 未安装c编译器报错# no acceptable C compiler found in $PATHyum -y install bison wget bzip2 gcc gcc-c++ glibc-headers

下载源码

• 清华镜像站: Index of /gnu/gcc/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
• 阿里云镜像站: gnu-gcc安装包下载_开源镜像站-阿里云

# 下载并解压  wget https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-8.2.0/gcc-8.2.0.tar.gz --no-check-certificatetar xf gcc-8.2.0.tar.gzcd gcc-8.2.0# 下载gmp mpfr mpc等供编译需求的依赖项  ./contrib/download_prerequisitesmkdir buildcd build

编译安装

../configure --prefix=/usr/local/gcc-8.2.0 --enable-bootstrap --enable-checking=release --enable-languages=c,c++ --disable-multilibmake -j `cat /proc/cpuinfo | grep "model name" | wc -l`make installsudo ln -sv /usr/local/gcc-8.2.0/include/ /usr/include/gcc

编译参数释义:

• ../configure: 跨上一级文件夹编译器配置；
• --prefix=/usr/local/gcc-8.2.0: 指定安装目录；
• --enable-checking=release: 在编译器中执行内部一致性检查；
• --enable-languages=c,c++: 指定支持的语言；
• --disable-multilib: 禁止编译适用于多重架构体系的库，就是 X86 X64 兼容之类的；

更新环境

移除旧版本

yum -y remove gcc g++

配置新版本全局可用

ln -s /usr/local/gcc-8.2.0/bin/gcc /usr/bin/gccln -s /usr/local/gcc-8.2.0/bin/g++ /usr/bin/g++

更新动态库

# 查看当前的动态库strings /usr/local/gcc-8.2.0/lib64/libstdc++.so.6 | grep CXXABI# 更改动态库cp /usr/local/gcc-8.2.0/lib64/libstdc++.so.6.0.25 /usr/lib64/ldconfig# 查看更新后的默认动态库strings /usr/lib64/libstdc++.so.6 | grep CXXABI

版本检查

# 查看安装库cd /usr/lib64 && ll libstdc++*# 或者gcc --versiongcc -v

4.升级glibc-2.31

下载源码

• 官方下载地址: http://ftp.gnu.org/gnu/glibc/
• 阿里云镜像站: gnu-glibc安装包下载_开源镜像站-阿里云

wget https://mirrors.aliyun.com/gnu/glibc/glibc-2.31.tar.gztar -zxf glibc-2.31.tar.gzcd glibc-2.31/# 检查依赖的，没有更新的都yum -y install一下，之前装过的就不 用了cat INSTALL | grep -E "or newer|or later"

编译安装

# 修改 scripts/test-installation.pl 避免引发安装问题sed -e '128s/.*/         \&\& \$name ne "nss_test1" \&\& \$name ne "nss_test2" \&\& \$name ne "libgcc_s") {/' scripts/test-installation.pl > tmpfile && mv tmpfile scripts/test-installation.plmkdir buildcd build../configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin --disable-sanity-checks --disable-werror --enable-obsolete-nslmake -j `cat /proc/cpuinfo | grep "model name" | wc -l`make installmake localedata/install-locales -j `cat /proc/cpuinfo | grep "model name" | wc -l`

编译参数释义:

• ../configure: 跨上一级文件夹编译器配置；
• --prefix=/usr: 指定安装目录，切勿修改；
• --disable-profile: 关掉 profiling 信息相关的库文件编译；
• --enable-add-ons: 指示 glibc 使用附加的 NPTL 包作为线程库；
• --with-headers=/usr/include: 指示 glibc 按照这个目录中的内核头文件编译自己，从而精确的知道内核的特性以根据这些特性对自己进行最佳化编译；
• --with-binutils=/usr/bin: 保证在编译 glibc 时不会用错 Binutils；

如果出现如下报错，可以忽略:

版本检查

# 检查 ldd --version strings /lib64/libc.so.6 | grep GLIBC

至此，如果没有出现其他报错，则代表升级完成。

可能出现的问题

1.glibc在make install时出现”cannot find -lnss_test2”报错

/bin/ld: cannot find -lnss_test2collect2: error: ld returned 1 exit statusExecution of gcc failed!The script has found some problems with your installation!Please read the FAQ and the README file and check the following:- Did you change the gcc specs file (necessary after upgrading from  Linux libc5)?- Are there any symbolic links of the form libXXX.so to old libraries?  Links like libm.so -> libm.so.5 (where libm.so.5 is an old library) are wrong,  libm.so should point to the newly installed glibc file - and there should be  only one such link (check e.g. /lib and /usr/lib)You should restart this script from your build directory after you'vefixed all problems!Btw. the script doesn't work if you're installing GNU libc not as yourprimary library!make[1]: *** [Makefile:120: install] Error 1make[1]: Leaving directory '/tmp/glibc-2.31'make: *** [Makefile:12: install] Error 2

这个报错网上说可以忽略，但实际上在机器作为 jenkins slave 时会因为环境问题导致无法被 master 接管，在条件允许的情况下应该考虑解决这个错误。

当然，也可以在编译时想办法消除该告警，可以参考如下操作。

解决方式

在 glibc 源码目录下修改 scripts/test-installation.pl 文件约 128 行内容:

参考如下操作:

cd /tmp/glibc-2.31sed -i '128s/.*/         \&\& \$name ne "nss_test1" \&\& \$name ne "nss_test2" \&\& \$name ne "libgcc_s") {/' scripts/test-installation.pl

然后清理编译数据重新执行编译即可

cd /tmp/glibc-2.31rm -rf buildmkdir buildcd build../configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin --disable-sanity-checks --disable-werror --enable-obsolete-nslmake -j `cat /proc/cpuinfo | grep "model name" | wc -l`make installmake localedata/install-locales

2.系统登陆后出现”cannot change locale”

在忽略”cannot find -lnss_test2”报错，升级完 glibc 以后，每次在登录操作系统后都会出现一个提示:

-bash: warning: setlocale: LC_TIME: cannot change locale (en_US.UTF-8)

以上提示可以有三种解决方式，推荐使用”解决方式3“。

解决方式

• （临时）解决方式1: 在区域文件中添加 LC_TIME，具体为编辑文件 /etc/locale.conf，命令：

vi /etc/locale.conf

内容为：

LANG="en_US.UTF-8"LC_TIME="POSIX"

重新登陆后告警消失。

• （临时）解决方式2: 但是如果你已经删除了编译 glibc 的 build 目录或者不知道 build 的目录在哪里，请按照以下步骤:

查看 libc.so.6 软连接指向

ls -la /lib64/libc.so.6# >>> 终端输出/lib64/libc.so.6 -> libc-2.14.so

查看 locale-archive 归档文件目录

strings /lib64/libc.so.6 | grep locale-archive# >>> 终端输出/usr/local/glibc-2.14/lib/locale/locale-archive

这个目录是在升级 libc 的时候 build 的目录

添加软链接

ls -la /usr/local/glibc-2.14/lib/locale/locale-archive

发现文件并不存在，那么

ln -s /usr/lib/locale/locale-archive /usr/local/glibc-2.14/lib/locale/locale-archive

重新执行 locale 已经正常了 ！

• （永久，推荐）解决方式3: 如果你还没有删除 glibc 的编译目录，则进入 glibc 的编译目录，也就是 build 目录执行 make localedata/install-locales 即可解决。

cd /tmp/glibc-2.31/buildmake localedata/install-locales -j `cat /proc/cpuinfo | grep "model name" | wc -l`

注: 在主机没有重 CPU 任务负载时，建议增加 -j 参数提高编译效率，该步骤非常耗时。

# 省略过程输出...zh_CN.GB18030... donezh_CN.GBK... donezh_CN.UTF-8... donezh_CN.GB2312... donezh_HK.UTF-8... donezh_HK.BIG5-HKSCS... donezh_SG.UTF-8... donezh_SG.GBK... donezh_SG.GB2312... donezh_TW.EUC-TW... donezh_TW.UTF-8... donezh_TW.BIG5... donezu_ZA.UTF-8... donezu_ZA.ISO-8859-1... done done done done done done done donemake[2]: Leaving directory '/tmp/glibc-2.31/localedata'make[1]: Leaving directory '/tmp/glibc-2.31'

待编译完成后即可解决该问题。

3.升级glibc后系统命令无法使用

如果 glibc 挂了会导致系统很多命令不可用

ls ls: error while loading shared libraries: /lib64/libc.so.6: invalid ELF header

可以使用一个正常的 libc 进行恢复，注意此时 ln 命令已经不可用，但 sln 还可以使用

sln /lib64/libc-2.17.so /lib64/libc.so.6

4.glibc安装时出现动态库报错undefined reference to '_nsl_default_nss@GLIBC_PRIVATE'

这个看下nis/Makefile

71 ifeq ($(build-obsolete-nsl),yes)72 libnsl-routines += nss-default

在编译阶段 configure 增加 --enable-obsolete-nsl 参数即可

# configure --help  --enable-obsolete-nsl   build and install the obsolete libnsl   library and depending NSS modules

按照下面格式重新调整一下，重新编译就可以了

../configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin --disable-sanity-checks --disable-werror --enable-obsolete-nsl

5.升级glibc后yum执行无任何反应

原因

• 可能是因为 rpm 数据库有问题导致卡死。

解决方式

rm -f /var/lib/rpm/__db.00*rpm --rebuilddbyum clean all

• rm -f /var/lib/rpm/__db.00*: 删除 rpm 数据库文件；
• rpm --rebuilddb: 重建 rpm 数据库；
• yum clean all: 清理可能的缓存；

然后你的 yum 应该能用了。

6.遇到 lib64/libstdc++.so.6: undefined symbol: libiconv

原因

• libstdc++ 版本不匹配。

解决方式

将 libstdc++ 的软连接改回老版本

cd /lib64rm -rf libstdc++.so.6ln -s libstdc++.so.6.0.19 libstdc++.so.6

7.遇到 Error: /usr/lib64/libstdc++.so.6: version CXXABI_1.3.*' not found

原因

• libstdc++ 版本不够新

解决方式

首先找到你的 gcc 源码编译文件夹，比如我的在 /tmp/gcc-8.2.0，然后将最新的 libstdc++.so.6 复制到 /usr/lib64/

cd /tmp/gcc-8.2.0/build/x86_64-pc-linux-gnu/libstdc++-v3/src/.libscp libstdc++.so.6.0.25 /usr/lib64/cd /usr/lib64rm -rf libstdc++.so.6ln -s libstdc++.so.6.0.25 libstdc++.so.6

• rm -rf libstdc++.so.6: 删除老的软连接；
• ln -s libstdc++.so.6.0.25 libstdc++.so.6: 将新版本的 libstdc++.so.6.0.25 软连接到 libstdc++.so.6；

Reference

centos7安装glibc-2.29_卓力特

Glibc 版本 not found

CentOs7升级gcc、glibc | PasseRR’s Blog

GCC编译环境升级部署_-lnss_test2-CSDN博客

CentOS7升级Glibc到2.28 - 风继续吹

CentOS 升级libc后导致中文乱码 locale: Cannot set LC_CTYPE to default locale: No such file or directory - jasondayee - 博客园

centos7 glibc2.17升级到glibc2.28_glibc 2.28-CSDN博客

centos7 升级 glibc && gcc – GarlicSpace

线上某个中台服务在资源创建时如果执行过程超长，就会触发服务端响应 ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))，导致资源创建失败。

排查过程

1、抓包分析

在出现这个问题之初是因为近期更了新版本才出现了这个问题，回滚旧版本后问题消失，因此本次的排查是在部署新版本后进行抓包分析。

基本信息:

• 服务网关(enovy):

  • 10.20.30.93
  • 10.20.30.237

• 服务端:

  • 10.20.30.52

• 中台服务:

  • 10.20.30.73

• 请求链路:

  • 客户端（页面） -> DPVS(外网) -> Nginx -> 中台服务 -> DPVS(内网) -> Nginx -> 服务网关 -> 服务端

  即”用户”在中台页面发起资源创建后，会先经过外网 DPVS 透传至 Nginx 并转发至”中台服务”，再由”中台服务”发起 HTTP 请求向内网 DPVS 透传至 Nginx 并转发至”服务网关”，最终由”服务网关”路由到目标”服务端”发起资源创建。

抓包详情如下:

当请求服务端正常接口时表现如下:

从上面几个完整连接过程来看，基本都在 HTTP 响应后，如果超过60s没有继续请求就会触发 FIN，ACK （结束连接）。

当请求服务端耗时超长的接口时表现如下:

而从上面的请求过程来看，当请求超过 90s 没有响应后，就会触发网关 FIN，ACK （结束连接），但因为此时服务端没有回应 FIN，ACK 进而导致网关在 45s 后触发 RST （强制中断）。

已知信息:

• 服务端与服务网关的 TCP Keep-alive 是每 15s 一次，由服务端主动发起
• HTTP正常响应后 60s 的闲置连接就会触发主动中断，由服务端主动发起
• HTTP未能立即响应（响应超时）后 90s 就会触发异常中断，由网关主动发起

如果同时拿”客户端”与”服务端”的抓包结果对比观察:

可以看出客户端和服务端都是在 90s 分别收到来自网关和 DPVS 的 RST 报文，此时有理由怀疑网关或 DPVS 存在超时相关设置问题。

2、检查enovy信息

• 当前配置

  admin:  access_log_path: /log/admin_access.log  address:    socket_address: { address: 0.0.0.0, port_value: 1023 }static_resources:  listeners:  - name: listener_0    address:      socket_address: { address: 0.0.0.0, port_value: 1024 }    filter_chains:    - filters:      - name: envoy.http_connection_manager        config:          upgrade_configs:          - upgrade_type: websocket          stat_prefix: ingress_http          idle_timeout: 600s          codec_type: AUTO          access_log:          - name: envoy.file_access_log            config:              path: "/log/info.log"          route_config:            name: local_route            # 已忽略其余配置            virtual_hosts:            - name: web_service              domains: ["*"]              # 已忽略其余配置              routes:              - match:                  prefix: "/upstream_server/"                route:                  cluster: upstream_server_apiserver_service                  timeout: 6000s          http_filters:          - name: envoy.router  clusters:  - name: upstream_server_apiserver_service    connect_timeout: 5s    type: LOGICAL_DNS    lb_policy: ROUND_ROBIN    hosts: [ { socket_address: { address: upstream_server-apiserver-service, port_value: 9113 } } ]    common_http_protocol_options:      idle_timeout: 180s

https://www.bookstack.cn/read/envoyproxy-1.10/144d336a80f65388.md

排查几项超时参数都是远大于 90s，与本次问题无关，初步排除网关问题。

3、本地复现

在初步排除服务网关后，于是尝试在本地通过模拟请求的方式复现并排查问题触发时机，本次分别使用 curl 与 Python requests 进行对比测试。（因为线上使用的是 Python requests）

requests版本:

• 线上:
  • 2.22.0
• 本地:
  • 2.23.0
  • 2.31.0 （测试时最新版: https://pypi.org/project/requests/#history）

省略测试过程。

测试结果:

• 在 curl 测试中，无论域名请求 DPVS VIP 还是直接请求 Nginx，都无法复现请求超过 90s 后因为 RST 原因导致连接异常断开的现象。测试结果均为 300s 服务端未响应而触发的客户端请求超时(408 Rquest Timeout)，但这种连接中断不是因为 Nginx 响应 RST 而触发异常断开，而是正常的 “TCP挥手” 流程。

  

• 在 Python requests 测试中，当客户端直接向 Nginx 请求时，不会出现 Connection Reset 的问题，与 curl 请求结果一致；但如果目标地址为 DPVS VIP 时就会在 90s 时复现 RST 问题。

  requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))

问题得到复现，抓包过程与线上一致不再重复贴图。

4、尝试解决

通过查找相似问题的 issue 可以看出，在代码前增加如下片段可以解决这类问题，因此对请求样例头部添加相关代码，然后再次进行请求验证:

#!/usr/bin/python3# -*- coding: UTF-8 -*-import requestsimport jsonimport timeimport socketfrom urllib3.connection import HTTPConnectionHTTPConnection.default_socket_options = (    HTTPConnection.default_socket_options + [        (socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1),        (socket.SOL_TCP, socket.TCP_KEEPIDLE, 45),        (socket.SOL_TCP, socket.TCP_KEEPINTVL, 10),        (socket.SOL_TCP, socket.TCP_KEEPCNT, 6)    ])# 省略业务代码...print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))response = requests.request("POST", url, headers=headers, data=payload, timeout=360)print(response.text)print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))

客户端输出:

2023-10-20 10:37:56stream timeout2023-10-20 10:42:56

从结果可以看出，即便还是请求 DPVS VIP，但在添加了相关代码后不再出现 RST 问题，也能够像 curl 一样超过 90s 最终触发客户端请求超时(408 Rquest Timeout)。

至此，已经可以确认问题是由 DPVS 产生的，并且有了临时的解决方式，但仍不知根本原因。

模拟环境

为了进一步验证其根本原因，即为何添加了相关代码后能够不会复现问题，并且为什么只有请求 DPVS VIP 时才会出现这个问题，由此进行了模拟环境测试。

0. 基本信息

• 客户端: 192.168.7.91
• Nginx: 192.168.7.27
• 服务端: 192.168.7.92
• DPVS: 192.168.7.82
• VIP: 192.168.7.182
• LIP: 192.168.7.185

注:

• VIP: 作为DPVS的高可用IP，用于接收客户端请求的入口IP
• LIP: 作为DPVS的转发IP，用于转发流量时向后端(RS)通信用的Local IP，而不是用DPVS IP向后端建连

1. 客户端请求VIP-requests下表现

客户端使用 Python requests 方式请求测试域名，分别在观察几个网络阶段的表现。

客户端侧抓包

• 客户端 -> DPVS

  

• 客户端输出

  Traceback (most recent call last):  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 803, in urlopen    **response_kw,  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 537, in _make_request    response = conn.getresponse()  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connection.py", line 461, in getresponse    httplib_response = super().getresponse()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 1373, in getresponse    response.begin()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 319, in begin    version, status, reason = self._read_status()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 280, in _read_status    line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")  File "/usr/local/python-3.7.11/lib/python3.7/socket.py", line 589, in readinto    return self._sock.recv_into(b)ConnectionResetError: [Errno 104] Connection reset by peerDuring handling of the above exception, another exception occurred:Traceback (most recent call last):  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/adapters.py", line 497, in send    chunked=chunked,  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 846, in urlopen    method, url, error=new_e, _pool=self, _stacktrace=sys.exc_info()[2]  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/util/retry.py", line 470, in increment    raise reraise(type(error), error, _stacktrace)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/util/util.py", line 38, in reraise    raise value.with_traceback(tb)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 803, in urlopen    **response_kw,  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 537, in _make_request    response = conn.getresponse()  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connection.py", line 461, in getresponse    httplib_response = super().getresponse()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 1373, in getresponse    response.begin()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 319, in begin    version, status, reason = self._read_status()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 280, in _read_status    line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")  File "/usr/local/python-3.7.11/lib/python3.7/socket.py", line 589, in readinto    return self._sock.recv_into(b)urllib3.exceptions.ProtocolError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))During handling of the above exception, another exception occurred:Traceback (most recent call last):  File "clientTest.py", line 45, in <module>    response = requests.request("POST", url, headers=headers, data=payload, stream=True, timeout=360)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/api.py", line 59, in request    return session.request(method=method, url=url, **kwargs)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/sessions.py", line 589, in request    resp = self.send(prep, **send_kwargs)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/sessions.py", line 703, in send    r = adapter.send(request, **kwargs)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/adapters.py", line 501, in send    raise ConnectionError(err, request=request)requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))

DPVS侧抓包

• 客户端 -> DPVS

  

• DPVS -> Nginx

  

Nginx侧抓包

• DPVS -> Nginx

  

• 请求日志:

  192.168.7.185:1026 80 - [21/Oct/2023:15:20:40 +0800] "POST /test HTTP/1.1" 499 0 434 "-" "python-requests/2.27.1" - 192.168.7.92:51020 - 90.817 90.818 opstest.nestealin.com "- - -" "192.168.7.185"

从上述抓包表现可以看出，在客户端请求后 90s 左右，DPVS分别向客户端、服务端发送了 RST 致使连接中断。

2. 客户端请求VIP-curl下表现

客户端侧抓包

DPVS侧抓包

• 客户端 -> DPVS

  

• DPVS -> Nginx

  

Nginx侧抓包

将本次测试请求的抓包过程与前一次使用 requests 方法对比可以发现，客户端在使用 curl 请求的第 60s 时会发送一次 TCP Keep-Alive 请求，而客户端使用 Python requests 方法请求时全程没有发起 TCP Keep-Alive 请求；而这种”请求保活”的方式也是客户端在使用 curl 时连接过程得以延续的关键。

3. 客户端直接请求Nginx

在客户端下继续使用 requests 向 Nginx 直接发起请求。

客户端侧抓包

Nginx侧抓包

当客户端直接向 Nginx 请求时，请求过程仍旧没有发送，但不会触发 Connection Reset 能够完成 HTTP 请求。

此时可以确认本次”异常断开”的行为是与 DPVS 有直接关系。

4. 客户端增加Keep-Alive

在客户端下继续使用 requests 向 DPVS VIP 发起请求，但本次在代码中添加”临时方法”，实现定期发送 Keep-Alive 请求，并抓取请求过程。

客户端侧抓包

DPVS侧抓包

• 客户端 -> DPVS

  

• DPVS -> Nginx

  

Nginx侧抓包

可见，在客户端开启 Keep-Alive 后，DPVS 也不会主动终止 TCP 连接，进而确认本次异常与 DPVS 的连接管理有关。（缩小问题范围）

5. 源码分析

通过源码分析可以大致看出在 DPVS 的 TCP 连接管理中是有一个定时器来实现超时处理的，再结合 dpvs/src/ipvs/ip_vs_proto_tcp.c at master · iqiyi/dpvs 初始化方法可以看出”监听状态”的超时参数是由 /etc/dpvs.conf 中的 ipvs_defs.tcp.timeout.established 定义的。

接下来为了进一步验证配置有效性，通过修改相关文件增加日志输出:

# 以下均为编辑tcp_send_rst方法vi src/ipvs/ip_vs_proto_tcp.c +999    if (conn->state != DPVS_TCP_S_ESTABLISHED) {        RTE_LOG(WARNING, IPVS, "%s: only RST in ESTABLISHED.\n", __func__);        return EDPVS_OK;    }    // 方法末行增加    RTE_LOG(WARNING, IPVS, "%s: IDLE ESTABLISHED RST Sended.\n", __func__);    return EDPVS_OK;}

重新编译并重启DPVS

cd /usr/local/dpvs-1.9.0export DPVS_PATH=/usr/local/dpvs-1.9.0export PKG_CONFIG_PATH=$DPVS_PATH/dpdk/dpdklib/lib64/pkgconfig:/usr/lib64/pkgconfigexport LIBDPDKPC_PATH=$DPVS_PATH/dpdk/dpdklib/lib64/pkgconfig/libdpdk.pcmake -j 20make install -j 20

待编译通过后重启 DPVS 及 Keepalived 。

6. 效果验证

客户端直接请求VIP

curl 192.168.7.182 -v# 因为没有携带域名请求不会命中测试配置，会立刻得到Nginx响应，连接终止

• DPVS日志

  # 待请求完成后约7s出现如下日志tailf /data/logs/dpvs/dpvs.logIPVS: tcp_send_rst: only RST in ESTABLISHED.IPVS: tcp_send_rst: only RST in ESTABLISHED.

7s后进行连接回收是受限于 ipvs_defs.tcp.timeout.time_wait 参数，默认值为7

此处验证日志输出有效。

接下来开始请求测试域名

python3 clientTest.py

• DPVS日志

  # 待请求发起后90s出现如下日志tailf /data/logs/dpvs/dpvs.logIPVS: tcp_send_rst: IDLE ESTABLISHED RST Sended.IPVS: tcp_send_rst: IDLE ESTABLISHED RST Sended.

  • 代表没能正常断开连接，而是让 DPVS 双向删除连接状态

• Nginx日志

  192.168.7.185:1046 80 - [23/Oct/2023:14:08:13 +0800] "POST /test HTTP/1.1" 499 0 434 "-" "python-requests/2.31.0" - 192.168.7.92:51020 - 90.640 90.641 opstest.nestealin.com "- - -" "192.168.7.185"

  • 此时客户端触发 Connection Reset 异常复现问题，中断的时长为 90s

进而修改 DPVS 配置，延长 TCP 超时时间

vim /etc/dpvs.conf

修改内容如下:

仅展示关键配置

! ipvs configipvs_defs {    ...    tcp {        ! defence_tcp_drop        timeout {            ...            established 90            established 100            ...        }    }    ...}

对 IPVS 中 TCP established 状态的空闲连接超时设置从 90s 调高至 100s

并对 DPVS 执行配置重加载

kill -SIGHUP ${DPVS_PID}

客户端重新发起测试请求

• DPVS日志

  tailf /data/logs/dpvs/dpvs.log# Reload日志简要输出，能够确认配置加载生效CFG_FILE: load dpvs configuation file at 2023/10/23 14:40:11 MondayIPVS: tcp_timeout_established = 100# 新的测试请求过程中，依旧因为"空闲"连接导致DPVS主动断开IPVS: tcp_send_rst: IDLE ESTABLISHED RST Sended.IPVS: tcp_send_rst: IDLE ESTABLISHED RST Sended.

• Nginx日志

  192.168.7.185:1048 80 - [23/Oct/2023:14:28:24 +0800] "POST /test HTTP/1.1" 499 0 434 "-" "python-requests/2.31.0" - 192.168.7.92:51020 - 101.077 101.076 opstest.nestealin.com "- - -" "192.168.7.185"

虽然本次客户端仍会触发 Connection Reset 异常，但中断的时长已经变为 101s，基本与 DPVS 配置调整的预期一致，证明配置有效。

小结

• curl 请求比 Python 的 requests 方法在客户端请求第 60s 时多发送了一次 TCP Keep-Alive 请求，让 TCP 连接保活、请求过程得以继续
• DPVS 对 TCP 连接有设置定时器，对各种阶段的连接进行单独处理，最终由 /etc/dpvs.conf 配置中的 ipvs_defs.tcp.timeout 相关参数独立控制

关于408问题

在解决客户端 Connection Reset 问题之后，继续出现了下方的 Read timed out 问题:

2023-10-24 13:02:49Traceback (most recent call last):  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 426, in _make_request    six.raise_from(e, None)  File "<string>", line 3, in raise_from  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 421, in _make_request    httplib_response = conn.getresponse()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 1373, in getresponse    response.begin()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 319, in begin    version, status, reason = self._read_status()  File "/usr/local/python-3.7.11/lib/python3.7/http/client.py", line 280, in _read_status    line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")  File "/usr/local/python-3.7.11/lib/python3.7/socket.py", line 589, in readinto    return self._sock.recv_into(b)TimeoutError: [Errno 110] Connection timed outDuring handling of the above exception, another exception occurred:Traceback (most recent call last):  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/adapters.py", line 449, in send    timeout=timeout  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 727, in urlopen    method, url, error=e, _pool=self, _stacktrace=sys.exc_info()[2]  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/util/retry.py", line 410, in increment    raise six.reraise(type(error), error, _stacktrace)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/packages/six.py", line 735, in reraise    raise value  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 677, in urlopen    chunked=chunked,  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 428, in _make_request    self._raise_timeout(err=e, url=url, timeout_value=read_timeout)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/urllib3/connectionpool.py", line 353, in _raise_timeout    self, url, "Read timed out. (read timeout=%s)" % timeout_valueurllib3.exceptions.ReadTimeoutError: HTTPConnectionPool(host='192.168.7.182', port=80): Read timed out. (read timeout=None)During handling of the above exception, another exception occurred:Traceback (most recent call last):  File "clientTest.py", line 46, in <module>    response = requests.request("POST", url, headers=headers, data=payload)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/api.py", line 60, in request    return session.request(method=method, url=url, **kwargs)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/sessions.py", line 533, in request    resp = self.send(prep, **send_kwargs)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/sessions.py", line 646, in send    r = adapter.send(request, **kwargs)  File "/usr/local/python-3.7.11/lib/python3.7/site-packages/requests/adapters.py", line 529, in send    raise ReadTimeout(e, request=request)requests.exceptions.ReadTimeout: HTTPConnectionPool(host='192.168.7.182', port=80): Read timed out. (read timeout=None)

这是由于客户端在请求时设置了超时时间，去掉 timeout 参数后即可解决问题。

...# 原代码response = requests.request("POST", url, headers=headers, data=payload, timeout=360)# 更改后代码，去除timeout参数即可response = requests.request("POST", url, headers=headers, data=payload)...

总结

1. 出现RST的原因

客观原因

• 在 DPVS 中存在管理 TCP 连接的定时器，而对”监听状态” ( Established ) 的 TCP 连接默认设置为 90s 超时，即如果在此期间没有任何 TCP 报文传输，DPVS 就会分别向客户端与 RS 发送 RST 报文中断连接 （ 出现 RST 问题的原因1 ）
• 在 Python requests 方法中默认不会实现 TCP Keep-Alive 机制，需要额外增加 HTTPConnection.default_socket_options 实现”连接保活” （ 出现 RST 问题的原因2 ）
• 因为 DPVS 存在 TCP 空流超时设置（ 原因1 ），并且 Python requests 默认没有发送 TCP 心跳（ 原因2 ），导致如有请求连接超过 90s 未主动断开的，就会触达 DPVS 默认超时时间，随后 DPVS 会主动发送 RST 报文中断连接
• Python requests 是依赖 urllib3 实现的 TCP 建连，但并没有向上暴露相关修改参数，使得用户无法在使用 requests 时直接管理 TCP 连接

主观原因

• “中台服务”创建资源是串行执行，只有等到”服务端”资源完成创建后这个请求才算完成
• “服务端”的资源创建流程通常需要 5、6 分钟甚至更多，导致一般的超时阈值无法覆盖整个执行过程
• 综上，再结合”客观原因”而触发了创建中的 RST 问题

2. 为什么只在本次版本发布后出现该问题

• 原来”中台服务”有对 RST 异常进行捕获并重试（ “服务端”接口已做幂等校验 ），而在本次发版后因为框架升级忽略了相关处理，未能”捕获并重试”进而引发相关问题

3. 出现客户端请求超时(408 Rquest Timeout)的原因

• 客户端有设置 timeout 主动超时参数，导致到了超时阈值后主动断开连接

Reference

HTTP route management - HTTP route - 《Envoy Proxy 1.10 Documentation》

https://requests.readthedocs.io/en/stable/user/advanced/#keep-alive

Connection reset by peer when sending POST · Issue #4937 · psf/requests · GitHub

Connection reset by peer · Issue #212 · edeng23/binance-trade-bot · GitHub

detection of dropped persistent connection fails if server resets connection · Issue #944 · urllib3/urllib3 · GitHub

https://urllib3.readthedocs.io/en/latest/user-guide.html#retrying-requests

连接中止: RemoteDisconnected (“没有响应的远程结束关闭连接”)在发送邮件时大约5分钟不活动之后-腾讯云开发者社区-腾讯云

python 环境配置 requests 模块使用，打开tcp keepalive解决请求长时间返回时tcp连接断开问题

http.client — HTTP protocol client — Python 3.12.0 documentation

原有 DSM 6.23 无法直接升级至 7.2 （引导变动、过程繁琐，同时存在一定风险）。

警告

本篇教程仅做学习使用，不对任何数据及可用性负责。

安装步骤

事前准备

此处跳过KVM环境安装，如需安装管理工具，可参考: WebVirtCloud–KVM管理工具的部署及使用详细文档

引导文件及系统安装包

访问链接: 黑群晖DSM6.24和DSM7.x测试版 | GXNAS网盘（远程）

下载红框中的文件

本篇以安装 DS3622 机器型号的黑群晖为例。

注意:

• DS3622xs_7.X引导文件（支持7.0.1-42218到7.1.1-42962up4）.img
  • 需要将文件上传至服务器 /data2/kvm/images/ds3622_7.2/ 目录，并重命名为 synoboot.img ；
  • 完整绝对路径: /data2/kvm/images/ds3622_7.2/synoboot.img
• DS3622xs_7.2-64216（系统安装包）.pat
  • 放在电脑本地即可

Synology Assistant （非必须）

下載中心 - DS3622xs+ | 群暉科技 Synology Inc.

根据红框选项并下载

根据系统选择合适的文件，下载后在本地安装即可。

KVM启动

镜像准备

主要镜像:

• 引导文件: /data2/kvm/images/ds3622_7.2/synoboot.img （即上面下载的 DS3622xs_7.X引导文件（支持7.0.1-42218到7.1.1-42962up4）.img）
• 数据盘: /data2/kvm/images/synology_72_data.img （需要手动创建）

引导文件下载”事前准备”中有提到，不再重复。

创建数据盘

cd /data2/kvm/images# 根据实际情况，决定创建大小qemu-img create -f qcow2 synology_72_data.img 3000G

KVM配置文件

vim synology-72.xml

填入如下内容: ( 以下内容仅供参考，需要根据实际情况进行调整 )

<domain type='kvm'>  <name>synology-72</name>  <memory unit='KiB'>4194304</memory>  <currentMemory unit='KiB'>2097152</currentMemory>  <vcpu placement='static' current='4'>4</vcpu>  <os>    <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>    <bootmenu enable='yes'/>  </os>  <features>    <acpi/>    <apic/>  </features>  <cpu mode='custom' match='exact' check='partial'>    <model fallback='allow'>Westmere</model>    <vendor>Intel</vendor>    <feature policy='require' name='vme'/>    <feature policy='require' name='ds'/>    <feature policy='require' name='acpi'/>    <feature policy='require' name='ss'/>    <feature policy='require' name='ht'/>    <feature policy='require' name='tm'/>    <feature policy='require' name='pbe'/>    <feature policy='require' name='pclmuldq'/>    <feature policy='require' name='dtes64'/>    <feature policy='require' name='ds_cpl'/>    <feature policy='require' name='vmx'/>    <feature policy='require' name='est'/>    <feature policy='require' name='tm2'/>    <feature policy='require' name='xtpr'/>    <feature policy='require' name='pdcm'/>    <feature policy='require' name='movbe'/>    <feature policy='require' name='tsc-deadline'/>    <feature policy='require' name='rdrand'/>    <feature policy='require' name='arat'/>    <feature policy='require' name='tsc_adjust'/>    <feature policy='require' name='smep'/>    <feature policy='require' name='erms'/>    <feature policy='require' name='rdtscp'/>  </cpu>  <clock offset='utc'>    <timer name='rtc' tickpolicy='catchup'/>    <timer name='pit' tickpolicy='delay'/>    <timer name='hpet' present='no'/>  </clock>  <on_poweroff>destroy</on_poweroff>  <on_reboot>restart</on_reboot>  <on_crash>restart</on_crash>  <pm>    <suspend-to-mem enabled='no'/>    <suspend-to-disk enabled='no'/>  </pm>  <devices>    <emulator>/usr/libexec/qemu-kvm</emulator>    <disk type='file' device='disk'>      <driver name='qemu' type='raw' cache='writeback'/>      <source file='/data2/kvm/images/ds3622_7.2/synoboot.img'/>      <target dev='hdc' bus='usb'/>      <boot order='1'/>      <address type='usb' bus='0' port='2'/>    </disk>    <disk type='file' device='disk'>      <driver name='qemu' type='qcow2'/>      <source file='/data2/kvm/images/synology_72_data.img'/>      <target dev='sda' bus='sata'/>      <boot order='2'/>      <address type='drive' controller='1' bus='0' target='0' unit='0'/>    </disk>    <controller type='usb' index='0' model='ich9-ehci1'>      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/>    </controller>    <controller type='usb' index='0' model='ich9-uhci1'>      <master startport='0'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/>    </controller>    <controller type='usb' index='0' model='ich9-uhci2'>      <master startport='2'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/>    </controller>    <controller type='usb' index='0' model='ich9-uhci3'>      <master startport='4'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/>    </controller>    <controller type='sata' index='0'>      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>    </controller>    <controller type='sata' index='1'>      <address type='pci' domain='0x0000' bus='0x00' slot='0x09' function='0x0'/>    </controller>    <controller type='pci' index='0' model='pci-root'/>    <controller type='scsi' index='0' model='virtio-scsi'>      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>    </controller>    <controller type='ide' index='0'>      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>    </controller>    <interface type='bridge'>      <mac address='52:72:13:65:c4:2b'/>      <source bridge='br0'/>      <model type='e1000'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x13' function='0x0'/>    </interface>    <serial type='pty'>      <target type='isa-serial' port='0'>        <model name='isa-serial'/>      </target>    </serial>    <console type='pty'>      <target type='serial' port='0'/>    </console>    <input type='mouse' bus='ps2'/>    <input type='keyboard' bus='ps2'/>    <graphics type='vnc' port='15999' autoport='no' listen='0.0.0.0' passwd='000000'>      <listen type='address' address='0.0.0.0'/>    </graphics>    <video>      <model type='cirrus' vram='16384' heads='1' primary='yes'/>      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>    </video>    <memballoon model='virtio'>      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>    </memballoon>  </devices></domain>