python 并发函数

前言

工作需要向几十万表写入亿级别数据，想使用 pyhon 的并发执行。才开始使用 ThreadPoolExecutor 发现奇慢无比，大佬说这其实是串行，并发得用 multiprocessing，立帖研究。

本文以 python3.10 为例，学习一下 python 的并发执行。

并发执行

python 并发执行分三个方面：多线程（threading）、多进程（multiprocessing）、多协程（asynico）

适当的工具选择主要取决于要执行的任务（CPU 密集型或 IO 密集型）：

CPU 密集型（CPU-bound）：也叫做计算密集型，是指 I/O 在很短时间内就可以完成，CPU 需要大量的计算和处理，特点是 CPU 占用率相当高；例如：压缩/解压缩、加密解密、正则表达式搜索、计算；
IO 密集型（I/O bound）：是指系统运作大部分的状况是 CPU 在等 I/O（硬盘，内存）的读写操作，CPU 占用率较低，例如：文件处理，网络爬虫，读写数据库；

在对比这三种方式之前，让我们先了解两个概念：并行和并发

并行和并发的区别

在 Python 中，”并发”和”并行”是两个相关但不同的概念。

并发（Concurrency）是指程序的设计方式，允许多个任务在重叠的时间段内执行。虽然在同一时刻只能执行一个任务，但任务之间可以通过切换上下文来实现交替执行。这种交替执行的方式可以提高程序的响应性和效率，尤其是在处理 I/O 密集型任务时。在并发编程中，任务之间通常是独立的，它们可以通过多线程、多进程、协程或异步编程等方式来实现。

并行（Parallelism）是指多个任务同时执行的能力。在并行编程中，多个任务真正地同时执行，通常需要多个物理或逻辑处理单元（例如多核 CPU）。并行执行任务可以显著提高计算密集型任务的性能，但对于I/O密集型任务则没有明显的优势。

简单来说，并发是指多个任务在重叠的时间段内交替执行，通过切换上下文实现任务之间的交替执行，以提高程序的响应性和效率；而并行是指多个任务真正地同时执行，通常需要多个物理或逻辑处理单元，用于同时处理不同任务，以提高计算密集型任务的性能。

import time
import concurrent.futures

# 并发执行任务
def task(name):
    print(f'Task {name} started')
    time.sleep(2)
    print(f'Task {name} completed')

# 并行执行任务
def parallel_task(name):
    print(f'Task {name} started')
    time.sleep(2)
    print(f'Task {name} completed')

# 并发示例
with concurrent.futures.ThreadPoolExecutor() as executor:
    tasks = ['A', 'B', 'C']
    executor.map(task, tasks)

# 并行示例
with concurrent.futures.ProcessPoolExecutor() as executor:
    tasks = ['X', 'Y', 'Z']
    executor.map(parallel_task, tasks)

在上面的示例中，’task’ 函数模拟了一个耗时 2 秒的任务，并使用线程池实现了并发执行。’parallel_task’ 函数也是一个耗时 2 秒的任务，但使用了进程池实现了并行执行。我们可以运行这段代码，观察任务启动时 python 进程的数目、执行的顺序和时间，以更好地理解并发和并行的区别。

然后，我们来聊多进程、多线程、多协程的不同、关系以及怎么选择。

进程、线程、协程的对比

多进程：
- 优点：可以实现并行，且只有多进程可以实现并行
- 缺点：占用资源多，可启动数目最少
多线程：
- 占用资源少，轻量级
- python 的线程是无法并行的（占用多个 cpu），只能进行并发
- 切换线程也是有开销的。
- 适合 IO 密集型运算、同时运行任务不多（线程可启动数量也是有限制的）
多协程：
- 优点：内存开销最小，可启动数量最多
- 缺点：支持的库比较少，代码复杂，例如爬虫不支持，所以想用多协程爬取的话，可以用 aiohttp，不能用 requests
- 适用于：IO 密集型、超多任务运行