Python运维常用模块

Python 在自动化运维、巡检、发布、监控、资产管理和故障排查中常用模块速览。

Python 运维常用模块

Python 在运维领域常用于批量巡检、日志处理、接口调用、资产同步、告警通知、配置生成、发布脚本和云平台自动化。选择模块时，建议优先使用标准库解决基础问题，再按场景引入成熟的第三方库。

适用场景

批量执行服务器巡检、端口检测和进程检查。
调用监控、CMDB、工单、云平台和 Kubernetes API。
解析日志、JSON、YAML、CSV、Excel 等运维数据。
生成 Nginx、Prometheus、Kubernetes、Ansible 等配置文件。
自动发送告警通知、日报、变更结果和巡检报告。
编写发布、回滚、备份、清理和定时任务脚本。

标准库模块

模块	常见用途
`os`	读取环境变量、执行路径判断、遍历目录
`pathlib`	更清晰地处理文件路径，推荐替代大量字符串拼接
`shutil`	文件复制、目录清理、归档压缩
`subprocess`	调用系统命令、执行脚本、获取命令输出
`json`	解析接口返回、配置文件和日志中的 JSON
`csv`	读写 CSV 格式资产清单、巡检结果
`configparser`	读取 INI 配置文件
`argparse`	编写命令行参数，适合运维脚本入口
`logging`	输出结构化日志，替代简单的 `print`
`datetime`	时间格式化、日志时间处理、任务时间窗口计算
`ipaddress`	判断 IP、网段、地址包含关系
`socket`	DNS 解析、端口连通性检测
`concurrent.futures`	并发执行批量主机检查或接口请求
`asyncio`	高并发异步任务，适合大量 IO 请求

执行系统命令

import subprocess

result = subprocess.run(
    ["df", "-h"],
    text=True,
    capture_output=True,
    check=True,
)

print(result.stdout)

批量端口检测

import socket
from concurrent.futures import ThreadPoolExecutor

hosts = ["10.0.0.11", "10.0.0.12", "10.0.0.13"]


def check_port(host: str, port: int = 22) -> tuple[str, bool]:
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as client:
        client.settimeout(2)
        return host, client.connect_ex((host, port)) == 0


with ThreadPoolExecutor(max_workers=10) as executor:
    for host, ok in executor.map(check_port, hosts):
        print(host, "open" if ok else "closed")

配置与数据处理

模块	安装	常见用途
`PyYAML`	`uv add pyyaml`	读取和生成 YAML 配置
`Jinja2`	`uv add jinja2`	渲染 Nginx、Prometheus、Kubernetes 模板
`pydantic`	`uv add pydantic`	校验配置、接口返回和脚本参数
`python-dotenv`	`uv add python-dotenv`	读取 `.env` 环境变量文件
`openpyxl`	`uv add openpyxl`	读写 Excel 巡检表、资产表
`pandas`	`uv add pandas`	汇总、清洗和分析表格数据

渲染配置模板

from jinja2 import Template

template = Template("""
server {
    listen {{ port }};
    server_name {{ domain }};
}
""")

print(template.render(port=80, domain="example.com"))

HTTP 与 API 调用

模块	安装	常见用途
`requests`	`uv add requests`	同步 HTTP 请求，简单稳定
`httpx`	`uv add httpx`	支持同步和异步请求
`urllib.parse`	标准库	URL 编码、解析和拼接

调用内部 API

import requests

response = requests.get(
    "https://cmdb.example.com/api/hosts",
    headers={"Authorization": "Bearer token"},
    timeout=10,
)
response.raise_for_status()

for host in response.json()["items"]:
    print(host["name"], host["ip"])

远程执行与批量运维

模块	安装	常见用途
`paramiko`	`uv add paramiko`	SSH 登录、远程命令执行、SFTP 文件传输
`fabric`	`uv add fabric`	基于 SSH 的批量任务封装
`ansible-runner`	`uv add ansible-runner`	从 Python 调用 Ansible Playbook
`psutil`	`uv add psutil`	采集本机 CPU、内存、磁盘、进程信息

采集本机资源

import psutil

print("cpu:", psutil.cpu_percent(interval=1))
print("memory:", psutil.virtual_memory().percent)
print("disk:", psutil.disk_usage("/").percent)

容器、Kubernetes 与云平台

模块	安装	常见用途
`docker`	`uv add docker`	操作 Docker 镜像、容器和日志
`kubernetes`	`uv add kubernetes`	调用 Kubernetes API
`boto3`	`uv add boto3`	调用 AWS API
`aliyun-python-sdk-core`	`uv add aliyun-python-sdk-core`	调用阿里云 OpenAPI
`tencentcloud-sdk-python`	`uv add tencentcloud-sdk-python`	调用腾讯云 OpenAPI

查询 Kubernetes Pod

from kubernetes import client, config

config.load_kube_config()
api = client.CoreV1Api()

pods = api.list_namespaced_pod(namespace="default")
for pod in pods.items:
    print(pod.metadata.name, pod.status.phase)

监控、日志与告警

模块	安装	常见用途
`prometheus-client`	`uv add prometheus-client`	暴露自定义 Exporter 指标
`elasticsearch`	`uv add elasticsearch`	查询 Elasticsearch 日志
`redis`	`uv add redis`	查询 Redis、写入缓存、实现简单锁
`pymysql`	`uv add pymysql`	查询 MySQL 运维数据
`slack-sdk`	`uv add slack-sdk`	发送 Slack 通知

暴露自定义指标

from prometheus_client import Gauge, start_http_server
import time

queue_depth = Gauge("demo_queue_depth", "Current queue depth")

start_http_server(9100)

while True:
    queue_depth.set(12)
    time.sleep(15)

命令行工具与脚本体验

模块	安装	常见用途
`typer`	`uv add typer`	快速编写友好的命令行工具
`click`	`uv add click`	传统 CLI 框架，生态成熟
`rich`	`uv add rich`	彩色输出、表格、进度条、异常格式化
`tqdm`	`uv add tqdm`	循环进度条
`APScheduler`	`uv add apscheduler`	Python 内部定时任务

简单 CLI

import typer

app = typer.Typer()


@app.command()
def check(host: str, port: int = 22):
    print(f"check {host}:{port}")


if __name__ == "__main__":
    app()

执行：

python ops.py check 10.0.0.11 --port 22

依赖管理建议

如果使用 uv：

uv init ops-scripts
cd ops-scripts
uv add requests pyyaml rich typer
uv run python main.py

如果使用传统 requirements.txt：

requests==2.32.3
PyYAML==6.0.2
rich==13.9.4
typer==0.15.1

安装依赖：

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

选型建议

场景	推荐模块
文件和目录处理	`pathlib`、`shutil`
命令行参数	`argparse`、`typer`
执行系统命令	`subprocess`
API 调用	`requests`、`httpx`
YAML 配置	`PyYAML`
配置模板	`Jinja2`
批量并发	`concurrent.futures`、`asyncio`
主机资源采集	`psutil`
SSH 远程执行	`paramiko`、`fabric`
Kubernetes 自动化	`kubernetes`
云平台自动化	`boto3`、各云厂商 SDK
自定义 Exporter	`prometheus-client`
表格报告	`openpyxl`、`pandas`