5 misc

信息论概论 ¶

信息论是应用数学的一个重要分支，由美国数学家克劳德 · 香农在 20 世纪中期创立。它主要研究信息的量化、存储、传输和处理的普遍规律。信息论为数字通信、数据压缩、密码学等众多计算机科学领域奠定了坚实的理论基础，是理解信息本质的科学。它不仅关注信息的传输，更关注信息本身的性质和度量。

信息论的应用与意义 ¶

信息论是现代数字通信、数据压缩（如 JPEG 图像压缩、MP3 音频压缩）、信道编码（如纠错码，确保数据在传输过程中不失真）、密码学等众多领域的核心理论基础。它为理解和量化信息提供了严谨的数学框架，是构建高效、可靠通信和计算系统的基石。

信息论的核心在于量化“不确定性”和“信息量”，而不是简单的数据传输。熵是这种量化的关键指标，且与可预测性呈反比。理解这一点，有助于从更深层次把握数据压缩和通信效率的本质。

参考资料 ¶

• Visual Information Theory
• 熵 - 维基百科

密码学概论 ¶

密码学是研究如何保护信息安全的一门科学，它涉及将可理解的信息（明文）转换为不可理解的数据（密文），以及将密文转换回明文的过程。现代密码学不仅仅局限于加解密，其核心目标是确保信息的保密性（Confidentiality）、完整性（Integrity）、认证性（Authentication）和不可否认性（Non-repudiation）。它利用数学技术来转换数据，防止未经授权的各方读取或篡改数据。

对称加密与非对称加密 ¶

1. 对称加密 (Symmetric Cryptography):
   • 原理: 加密和解密使用相同的秘密密钥。通信双方必须共享这个密钥。
   • 工作方式: 加密函数 Encrypt(明文, 密钥) 产生 密文；解密函数 Decrypt(密文, 密钥) 还原 明文。其正确性在于 Decrypt(Encrypt(m, k), k) = m。
   • 特点: 速度快，效率高，适用于加密大量数据。
   • 示例: 高级加密标准 (AES) 是目前广泛使用的对称密钥算法。它是一种块密码，对固定大小的数据块进行操作；也有流密码，一次转换 1 位或 1 字节数据。
   • 应用: 文件存储加密（如将文件加密后存入不受信任的云服务）、数据库加密、VPN 等。
2. 非对称加密 (Asymmetric Cryptography / Public-Key Cryptography):
   • 原理: 使用一对数学相关的密钥——一个公钥 (Public Key) 和一个私钥 (Private Key)。公钥可以公开分发给任何人，而私钥必须严格保密，只有所有者拥有。
   • 工作方式:
     • 加密: 任何人都可以使用接收方的公钥加密信息，但只有接收方使用其对应的私钥才能解密。
     • 数字签名: 发送方使用自己的私钥对消息进行签名，生成一个数字签名。任何人都可以使用发送方的公钥验证这个签名，从而确认消息确实来自该发送方且未被篡改。
   • 特点: 速度通常比对称加密慢，但解决了密钥分发问题。
   • 示例: RSA 算法是公用密钥算法的典型代表。Diffie-Hellman 协议用于安全地交换密钥。
   • 应用:
     • 密钥分发: 非对称加密常用于加密对称密钥（即会话密钥），然后通过对称密钥对实际数据进行加密，这是一种混合加密方式。
     • 数字签名: 验证软件的真实性（如 Git GPG 签名）。
     • 安全通信: Signal、Keybase 等私密消息应用使用非对称密钥建立安全通信通道。
   • 密钥分发挑战与信任模型:
     • 挑战: 如何安全地分发公钥并将其映射到真实世界中的身份，是一个重要挑战。
     • 解决方案:
       • 初次使用信任 (Trust on first use, TOFU): 首次通信时信任对方公钥，后续若密钥发生变化则发出警告 ( 例如，Signal 应用中验证“安全号码”)。
       • 信任网络 (Web of Trust): 一种去中心化的信任模型，用户通过互相签名公钥来建立信任链 ( 如 PGP)。它不同于中心化的证书颁发机构 (CA) 模型，后者依赖于少数受信任的方。
       • 社会证明 (Social Proof): 通过在多个社交平台验证身份来建立信任 ( 如 Keybase)。

密码学远不止加密和解密，它是一个涵盖保密性、完整性、认证性和不可否认性的综合性学科。对称加密和非对称加密各有优劣，实际应用中常结合使用以兼顾效率和安全性。

非对称加密的出现解决了对称加密的“密钥分发”难题 ¶

对称加密因其高效性而适用于大量数据加密，但其最大的挑战在于通信双方必须安全地共享同一个秘密密钥。在分布式、不安全的网络环境中，如何安全地将这个密钥从一方传递给另一方（即“密钥分发问题”），是一个巨大的安全漏洞。如果密钥在传输过程中被截获，则整个通信的保密性将不复存在。

非对称加密通过引入公钥和私钥对，巧妙地解决了这个问题。公钥可以公开分发，用于加密或验证签名；私钥则严格保密，用于解密或生成签名。这样，发送方可以使用接收方公开的公钥加密信息，而无需预先共享任何秘密密钥，从而避免了密钥分发时的安全风险。

编码 vs. 密码 ¶

这是一个大家常会混淆的概念，但两者有着本质的区别。

• 编码 (Encoding):
  • 目的: 将一种数据格式转换为另一种格式，以便数据能在特定介质或协议中正确传输或存储。它旨在使数据“可读”或“兼容”，而不是“保密”。
  • 原理: 编码是依据一套公开的、标准化的规则进行转换，不涉及任何秘密密钥。任何人只要知道编码算法，就可以轻松地进行编码和解码。
  • 示例: Base64 编码。Base64 将任意二进制数据（如图片、音频文件）转换为由 64 种可打印的 ASCII 字符组成的文本字符串。这对于在只能处理文本的协议（如电子邮件、HTTP、JSON）中传输二进制数据非常有用。值得注意的是，Base64 编码会使数据大小增加约 33%。
• 密码 (Cryptography):
  • 目的: 保护信息的机密性、完整性、认证性和不可否认性。其核心在于通过数学方法实现“保密”和“安全”。
  • 原理: 依赖于秘密密钥和复杂的数学算法。没有正确的密钥，即使知道加密算法，也难以将密文还原为明文。
• 核心区别:
  • 密钥: 编码不使用密钥，其转换规则是公开的；而密码学必须依赖秘密密钥，密钥是其安全性的核心。
  • 目的: 编码是为了格式转换和兼容性，数据转换后是“可读”的（只是格式不同）；密码是为了安全性，数据转换后是“不可读”的（密文），旨在隐藏信息内容。
  • 安全性: 编码不提供任何安全性保障，它不是加密算法，不能用于安全数据传输。加密则提供强大的安全保障。将敏感信息进行 Base64 编码后传输，等同于明文传输，因为任何人都可以轻易解码。

https://x.com/LetsDefendIO/status/1583471423498035200

参考资料 ¶

• Security and Cryptography
• 密码学
• 密码学 - 维基百科
• Symmetric-key algorithm - Wikipedia
• Public-key cryptography - Wikipedia
• Base64 - Wikipedia
• What is Base64 encoding? - MDN Web Docs
• Encoding vs. Encryption - Stack Overflow

网络 / 网站基础 ¶

计算机网络概述 ¶

计算机网络是将分散的、独立的计算机设备通过通信介质（如网线、光纤、无线电波）连接起来，实现资源共享和信息交换的系统。它是现代社会运行的基石，支撑着从电子邮件到在线视频、从云计算到物联网的各种应用。

互联网 (Internet) 是全球规模最大的计算机网络，它采用一套核心的协议族——TCP/IP 协议，将各种不同类型、不同规模、不同地理位置的物理网络连接成一个统一的、全球性的计算机网络。

客户端 - 服务器模型 ¶

IP 地址 (Internet Protocol Address) ¶

• 定义: IP 地址是互联网或本地网络上设备的唯一标识符。它类似于现实世界中的邮政地址，包含了设备在网络中的位置信息，使得数据包能够被准确地路由到目标设备，从而使设备之间能够进行通信。
• 格式: IP 地址通常表示为一串由句点分隔的数字（例如 IPv4 地址 192.158.1.38），其中每个数字的范围都在 0 到 255 之间。
• 工作原理: 读者的互联网服务提供商 (ISP) 会为读者的设备分配一个 IP 地址。读者的互联网活动将通过 ISP 传输，他们会使用读者的 IP 地址将其路由给读者。IP 地址分为私有 IP 地址（用于局域网内部设备标识，如家庭网络中的电脑、手机）和公共 IP 地址（与整个网络关联的主要地址，由 ISP 提供，用于在互联网上识别读者的网络）。

DNS (Domain Name System)¶

• 定义: DNS 是互联网的“电话簿”或“导航系统”。人们通过易于记忆的域名（如 www.google.com）访问在线信息，而 Web 浏览器和服务器通过 IP 地址进行交互。DNS 的作用就是将人类可读的域名转换为机器可读的 IP 地址，以便浏览器能够加载互联网资源。
• 工作原理 ( 域名解析 ):
  1. 当用户在 Web 浏览器中输入一个域名（例如 example.com）时，这个查询首先会传输到互联网，并被本地的 DNS 递归解析器接收。
  2. 接着，解析器会查询 DNS 根域名服务器（全球最高层级的服务器）。
  3. 根服务器并不知道 example.com 的 IP 地址，但它知道负责 .com 域名的顶级域（TLD）DNS 服务器的地址，并将其返回给解析器。
  4. 解析器随后向.com TLD 服务器发出请求。
  5. TLD 服务器会返回该域（example.com）的权威域名服务器的 IP 地址。权威域名服务器是真正存储 example.com 对应 IP 地址的服务器。
  6. 最后，递归解析器将查询发送到 example.com 的权威域名服务器。
  7. 权威域名服务器返回 example.com 的 IP 地址给解析器。
  8. DNS 解析器将获取到的 IP 地址响应给 Web 浏览器。浏览器随即向该 IP 地址发出 HTTP 请求，从而加载网页。
• 缓存机制: 为了提高效率和速度，DNS 查找信息通常会本地缓存（在用户的计算机或 DNS 基础设施中），这样下次访问同一域名时可以直接从缓存中获取 IP 地址，无需重复整个解析过程。

HTTP 与 HTTPS ¶

HTTP 的“明文传输”特性是导致其不安全的根本原因，这直接催生了 HTTPS 的普及和必要性。

HTTP 协议设计之初是为了传输超文本，其核心特点是“明文传输”。这意味着数据在客户端和服务器之间传输时，不经过任何加密处理。当数据以明文形式在公共网络上传输时，任何能够监听网络流量的第三方（如恶意攻击者、不安全的 Wi-Fi 提供商）都可以轻易地截获并读取这些数据。这包括敏感信息如登录凭据、信用卡号、个人隐私数据等。这种风险被称为“窃听”或“中间人攻击”，因为攻击者可以位于通信双方之间，拦截并可能篡改数据。

HTTPS 通过在 HTTP 层之下引入 TLS/SSL 协议来解决这个问题。TLS/SSL 负责对所有传输数据进行加密，使得即使数据被截获，也只是一串无意义的乱码，无法被解读。除了加密，HTTPS 还通过数字证书提供了服务器身份验证和数据完整性校验，进一步增强了安全性。这确保了用户连接的是真正的网站，并且数据在传输过程中未被篡改。HTTP 的明文传输是其固有缺陷，使得在现代互联网环境下，尤其涉及敏感信息时，其安全性无法得到保障。HTTPS 的出现正是为了弥补这一核心缺陷，通过加密、认证和完整性保护，构建了更安全的网络通信环境，并因此成为现代 Web 通信的默认标准。

URL¶

https://developer.mozilla.org/en-US/docs/Learn_web_development/Howto/Web_mechanics/What_is_a_URL

URL（统一资源定位符）是互联网上唯一资源的地址。它是浏览器用于检索 HTML 页面、CSS 文档、图像等已发布资源的关键机制之一。

大多数情况下，我们只关心 Domain Name 和 Path to file 部分；URL begin 是一个通俗版讲解。

参考资料 ¶

• lec6：网络 / 网站基础知识概述
• TCP/IP Protocol Suite - Oracle Help Center
• What is the Client-Server Model? - Heavy.AI
• IP address - Cornell Law School
• What is DNS? – Introduction to DNS - AWS
• Working of Domain Name System (DNS) Server | GeeksforGeeks
• Hypertext Transfer Protocol Secure (HTTPS) - Cyber Security Agency of Singapore
• Why is HTTP not secure? | HTTP vs. HTTPS - Cloudflare
• TCP vs UDP: A comparison of the protocols and their differences - NordVPN
• TCP vs UDP: What's the Difference and Which Protocol Is Better? - Avast

API ( 应用程序编程接口 ) ¶

API 的工作原理 ¶

API 的工作原理可以简单理解为一种请求 - 响应模型，它通过公开有限的操作和数据点，允许外部软件与之交互。

用户不可见性: 整个数据传输和交互过程在用户界面上是不可见的。对最终用户来说，API 使得系统间的连接显得无缝且高效。

API 的应用场景与安全基础 ¶

• 应用场景: API 驱动着现代软件生态系统的发展，广泛应用于云服务、移动应用开发、Web 服务集成、微服务架构、物联网设备通信等领域。
• 安全考量:
  • API 将请求应用程序与响应服务的基础设施分离，并在两者通信时提供安全层。
  • API 调用通常需要身份验证凭据，以确保只有授权用户或应用程序才能访问资源。
  • HTTP 头、Cookie 或查询字符串可以提供额外的安全性，用于传递认证信息或会话状态。
  • API 网关可以作为中央管理点，控制访问、实施策略、限流和进一步减少安全威胁。
  • API 隐藏了内部系统细节，只共享必要的信息，这是一种“信息隐藏”的安全实践，有助于提高系统整体安全性。
  • API 也提供了用户对权限的控制，例如，当一个应用请求访问用户位置时，用户可以决定是否允许。

参考资料 ¶

• API - Wikipedia
• What is an API? | CircleCI
• What Is an API (Application Programming Interface)? - IBM

CI/CD 工作流 ¶

Mkdocs workflow¶

下面是 Material for Mkdocs 上推荐的 ci.yml 的内容，以此为例进行讲解：

name: ci # 工作流的名称，在 GitHub Actions 界面中显示为 "ci"
on: # 定义触发此工作流的事件
  push: # 当有代码推送到仓库时触发
    branches: # 指定只在以下分支上触发
      - master # 当代码推送到 master 分支时
      - main # 当代码推送到 main 分支时

permissions: # 定义此工作流在运行时所拥有的权限
  contents: write # 授予对仓库内容的写入权限，这对于后续的部署操作（如将构建的静态站点推送到 gh-pages 分支）是必需的。

jobs: # 定义一个或多个作业（Job）
  deploy: # 定义一个名为 "deploy" 的作业
    runs-on: ubuntu-latest # 指定此作业运行在最新的 Ubuntu 虚拟机上

    steps: # 定义此作业中要执行的一系列步骤
      - uses: actions/checkout@v4 # 步骤：使用 actions/checkout@v4 Action。
                                 # 这个 Action 负责将代码仓库克隆到运行器（Runner）上，以便后续步骤可以访问代码。

      - name: Configure Git Credentials # 步骤名称：配置 Git 凭据
        run: | # 执行多行 shell 命令
          git config user.name github-actions[bot] # 配置 Git 用户名，用于后续的 Git 提交（例如 gh-deploy 会自动提交）
          git config user.email 41898282+github-actions[bot]@users.noreply.github.com # 配置 Git 用户邮箱

      - uses: actions/setup-python@v5 # 步骤：使用 actions/setup-python@v5 Action。
                                     # 这个 Action 负责在运行器上设置 Python 环境。
        with: # 传递给 Action 的参数
          python-version: 3.x # 指定使用最新版本的 Python 3.x

      - run: echo "cache_id=$(date --utc '+%V')" >> $GITHUB_ENV # 步骤：设置缓存 ID。
                                                               # `date --utc '+%V'` 生成当前周的周数（ISO 8601 格式），作为缓存 ID 的一部分。
                                                               # `>> $GITHUB_ENV` 将这个变量添加到 GitHub Actions 的环境变量中，以便后续步骤可以使用 `env.cache_id` 访问它。

      - uses: actions/cache@v4 # 步骤：使用 actions/cache@v4 Action。
                               # 这个 Action 用于缓存文件，以加速构建过程。
                               # 对于 MkDocs 而言，它可以缓存 Python 依赖或 MkDocs 的构建缓存。
        with: # 传递给 Action 的参数
          key: mkdocs-material-${{ env.cache_id }} # 缓存的键。如果键匹配，则恢复缓存。这里使用了之前设置的 `cache_id`。
          path: .cache # 要缓存的路径。MkDocs Material 可能会在这个目录存储缓存文件。
          restore-keys: | # 当主键不匹配时，尝试恢复的键前缀。
            mkdocs-material- # 如果 `mkdocs-material-${{ env.cache_id }}` 不存在，则会尝试寻找以 `mkdocs-material-` 开头的最近缓存。

      - run: pip install mkdocs-material # 步骤：安装 MkDocs Material。
                                       # 使用 pip 安装 MkDocs Material 及其所有依赖。
                                       # 如果之前的缓存步骤成功恢复了依赖，这一步会快很多。

      - run: mkdocs gh-deploy --force # 步骤：部署 MkDocs 站点。
                                    # 执行 `mkdocs gh-deploy` 命令，该命令会将当前 MkDocs 项目构建成静态网站，并将其推送到 GitHub Pages。
                                    # `--force` 参数表示强制推送，即使 gh-pages 分支有冲突也会覆盖。
                                    # 默认情况下，`mkdocs gh-deploy` 会将网站部署到名为 `gh-pages` 的分支。

参考资料 ¶

• CI/CD Best Practices - Spacelift
• Best Practices for Awesome CI/CD - Harness
• CI, CD Pipelines Best Practices and Tools - ResearchGate (PDF)

数据可视化 ¶

数据可视化的重要性 ¶

在信息爆炸的时代，数据量呈指数级增长，原始数据往往难以直接理解和分析。数据可视化通过图形、图表、动画等视觉方式呈现数据，将抽象的数据转化为直观的视觉元素，帮助人们更高效地理解复杂数据、发现其中隐藏的趋势、模式、相关性和异常。它将数据转化为可操作的洞察，从而支持更明智的决策制定，是数据分析不可或缺的一环。

数据可视化小贴士 中总结诸多知名厂商的 “数据可视化规范”，大体上原则如下：

或者我们简单一点，大概就是：

https://antv.antgroup.com/specification/principles/basic

推荐工具与实践 ¶

在 data visualization 中介绍了对于少量数据常见的可视化分析工具及其前置需求； 当然，诸如 《交互的Python：数据分析入门》 等教程也是很不错的，重要的还是实践；

对于大部分人而言，python 和 matlab 能够解决绝大多数需求。

常见数据图表类型及其适用场景 ¶

参考资料 ¶

• Principles and examples to master data visualization - Justinmind
• Data visualization - Material Design
• Amazon QuickSight Features
• FineBI - 数据可视化
• Grafana - Wikipedia

拓展推荐 ¶

• 计算机类科普视频
  • 来自 Bowling 学长，偏向硬件
• 可读代码的艺术
• 实验室服务器使用指南
  • 也许有些同学之后用得上（）
• 校友开源软件（鼓励更多的开源工具！）
  • Celechron
  • ZJU Learning Assistant

如果这对你有用的话，请给我点个star吧 ===>