# 背景
为避免某些抓取场景频繁前端调用或误操作点了，需要设置缓存，用以提醒

# 参考
cache特性：
```python
>>> from django.core.cache import cache
>>> import time
>>> cache.set('my_lock', '1', timeout=20)
True
>>> cache.get('my_lock')
'1'
>>> cache.get('my_lock')
>>> 
>>> 
>>> cache.get('my_lock')
>>> 
```

使用例子

```python
@action(methods=['POST'], detail=True)
def scrap_crash_data_all(self, request, pk):
  from django.core.cache import cache
  if cache.get('my_lock'):
    return u.http.response_fail('上一次任务已经调度，1分钟内请勿重新操作')
  # 主操作代码
  cache.set('my_lock', '1', timeout=60)
  return u.http.response_success('抓取任务调度成功')
```

django中cache使用

# 压测
压力测试通常需要的工具为jmeter和wrk和httprunner，为了支持更高并发的测试，通常选用go底层的httprunner更为合适，可以获取具体的细节及理论上支持上万+并发发起，只要server支持即可

其中httprunner支持的命令行为：hrp -h

理解[：httprunner overview](https://httprunner.com/docs/introduction/overview/)

安装参考[：hrp install](https://httprunner.com/docs/user-guide/installation/)



# 框架发起请求
整体思路[：hrp quickstart](https://httprunner.com/docs/quickstart/)

参考脚手架拉起一个项目
```bash
hrp startproject hrp-demo
```
整体框架参考：

```bash
virtual-machine:~$ tree hrp-demo -a
hrp-demo
├── .debugtalk_gen.py
├── debugtalk.py
├── .env
├── .gitignore
├── har
│   └── .keep
├── .idea
│   ├── .gitignore
│   ├── hrp-demo.iml
│   ├── inspectionProfiles
│   │   ├── profiles_settings.xml
│   │   └── Project_Default.xml
│   ├── misc.xml
│   ├── modules.xml
│   └── workspace.xml
├── proj.json
├── __pycache__
│   ├── debugtalk.cpython-310.pyc
│   └── debugtalk.cpython-311.pyc
├── results
│   ├── 20250630090833
│   │   └── report.html
│   ├── 20250630091227
│   │   └── report.html
│   └── .keep
└── testcases
    ├── demo.json
    ├── ref_testcase.yml
    ├── requests.json
    └── requests.yml

8 directories, 22 files

```
然后基于脚手架项目发起请求

```bash
~/hrp-demo$ hrp run testcases/ref_testcase.yml --gen-html-report
```
过程日志(挺多的，这里只取其中第一个请求的部分内容作为参考)

```bash
-------------------- request --------------------
GET /get?foo1=debugtalk&foo2=bar21&sum_v=30000000 HTTP/1.1
Host: postman-echo.com
User-Agent: hrp/funppy


==================== response ====================
Connected via TLSv1.3
HTTP/1.1 200 OK
Content-Length: 258
Content-Type: application/json; charset=utf-8
Date: Mon, 30 Jun 2025 01:12:31 GMT
Etag: W/"102-eiyMMSoR1HMSh4+SRTQML+xYiaE"
Server: istio-envoy
Set-Cookie: sails.sid=s%3A0J860ibxWw-VfOCnBbfc2ad8DRotnG02.C2wN1bDUl1GH7%2BuHUynuHXx7Berf8CMzAq57moJbm80; Path=/; HttpOnly
Vary: Accept-Encoding
X-Envoy-Upstream-Service-Time: 4

{"args":{"foo1":"debugtalk","foo2":"bar21","sum_v":"30000000"},"headers":{"host":"postman-echo.com","user-agent":"hrp/funppy","accept-encoding":"gzip","x-forwarded-proto":"https"},"url":"https://postman-echo.com/get?foo1=debugtalk&foo2=bar21&sum_v=30000000"}
--------------------------------------------------

```

# 框架发起压测
1、普通压测：
--spawn-count 参数可指定并发用户数，通过 --spawn-rate 可指定起始发压斜率
```bash
~/hrp-demo$ hrp boom testcases/ref_testcase.yml --spawn-count 30 --spawn-rate 5
```

部分结果：

```bash
Current time: 2025/06/30 10:20:53, Users: 0, State: stopped, Total RPS: 5.4, Total Average Response Time: 279.6ms, Total Fail Ratio: 7.8%
Accumulated Transactions: 133 Passed, 62 Failed
+--------------+--------------------------------+------------+---------+--------+----------+-------+-------+--------------+------------+-------------+
|     TYPE     |              NAME              | # REQUESTS | # FAILS | MEDIAN | AVERAGE  |  MIN  |  MAX  | CONTENT SIZE | # REQS/SEC | # FAILS/SEC |
+--------------+--------------------------------+------------+---------+--------+----------+-------+-------+--------------+------------+-------------+
| request      | request with functions - get   |          5 |       0 |    230 |   231.60 |   225 |   242 |          361 |       1.67 |        0.00 |
|              | with params                    |            |         |        |          |       |       |              |            |             |
| request      | request with functions - post  |          5 |       0 |    230 |   229.80 |   227 |   232 |          446 |       1.67 |        0.00 |
|              | raw text                       |            |         |        |          |       |       |              |            |             |
| request      | request with functions - post  |          5 |       0 |    230 |   232.40 |   225 |   243 |          497 |       1.67 |        0.00 |
|              | form data                      |            |         |        |          |       |       |              |            |             |
| request-POST | post form data                 |          5 |       5 |      0 |     0.00 |     0 |     0 |            0 |       1.67 |        1.67 |
| testcase     | request with functions         |          5 |       0 |    920 |   918.20 |   894 |   963 |            0 |       1.67 |        0.00 |
| transaction  | Action                         |          5 |       5 |  17000 | 17239.00 | 16977 | 17534 |            0 |       1.67 |        1.67 |
+--------------+--------------------------------+------------+---------+--------+----------+-------+-------+--------------+------------+-------------+

=========================================== Statistics Summary ==========================================
Current time: 2025/06/30 10:20:53, Users: 0, Duration: 1m59.144s, Accumulated Transactions: 133 Passed, 62 Failed
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| NAME  | # REQUESTS | # FAILS | MEDIAN | AVERAGE | MIN | MAX  | CONTENT SIZE | # REQS/SEC | # FAILS/SEC |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| Total |        641 |      50 |    230 |  279.55 | 243 | 5987 |          400 |       5.38 |        0.42 |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+

```

2、指定时间压测

```bash
hrp boom testcases/ref_testcase.yml --spawn-count 30 --spawn-rate 10 --auto-start --run-time 60
```

部分汇总结果：

```bash
=========================================== Statistics Summary ==========================================
Current time: 2025/06/30 10:31:48, Users: 0, Duration: 1m16.718s, Accumulated Transactions: 144 Passed, 0 Failed
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| NAME  | # REQUESTS | # FAILS | MEDIAN | AVERAGE | MIN | MAX  | CONTENT SIZE | # REQS/SEC | # FAILS/SEC |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| Total |        576 |       0 |    240 |  257.65 | 229 | 1324 |          437 |       7.51 |        0.00 |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
```
其中关注的重点为：

1)、REQS/SEC，这个值简称RPS，即每秒处理的请求数；

2)、AVERAGE：均值处理时间；

3)、FAILS及 FAILS/SEC：失败的请求数及占比；


3、加上部分性能参数捕捉压测（发压机器的）：

```bash
hrp boom testcases/ref_testcase.yml --spawn-count 30 --spawn-rate 10 --auto-start --run-time 60 --cpu-profile cpu.prof --mem-profile mem.prof
```
这将额外生成mem.prof和cpu.prof数据

通过

```bash
go tool pprof cpu.prof
```

```bash
(pprof) top
Showing nodes accounting for 760ms, 76.77% of 990ms total
Showing top 10 nodes out of 368
      flat  flat%   sum%        cum   cum%
     380ms 38.38% 38.38%      380ms 38.38%  runtime/internal/syscall.Syscall6
     190ms 19.19% 57.58%      190ms 19.19%  runtime.futex
      60ms  6.06% 63.64%       60ms  6.06%  runtime.memclrNoHeapPointers
      40ms  4.04% 67.68%       40ms  4.04%  runtime.rtsigprocmask
      20ms  2.02% 69.70%       40ms  4.04%  runtime.scanobject
      20ms  2.02% 71.72%       40ms  4.04%  runtime.selectgo
      20ms  2.02% 73.74%       20ms  2.02%  runtime.writeHeapBits.flush
      10ms  1.01% 74.75%       10ms  1.01%  github.com/json-iterator/go.(*Iterator).nextToken
      10ms  1.01% 75.76%       10ms  1.01%  github.com/json-iterator/go.(*Stream).WriteStringWithHTMLEscaped
      10ms  1.01% 76.77%       30ms  3.03%  google.golang.org/grpc.newClientStreamWithParams
(pprof) web
failed to execute dot. Is Graphviz installed? Error: exec: "dot": executable file not found in $PATH
(pprof) web
```

其中web命令需要先安装

```bash
sudo apt install graphviz
```
验证安装成功

```bash
hrp-demo$ dot -V
dot - graphviz version 2.43.0 (0)
```

如果需要去检测被压机器的硬件性能情况，可以通过：

前提：网络必须能联通，才能上报成功

1）普罗米修斯的节点部署上报来解决；

2）阿里云的上报节点部署；

hrp压测入门

# 一对多（多对一）

```python
class Question(models.Model):
    question_text = models.CharField(max_length=200)

class Choice(models.Model):
    question = models.ForeignKey(Question, on_delete=models.CASCADE)
```
一个问题可以多个选择，即Question一对多Choice，外键ForeignKey放置于一对多中的多位置


# 多对多

```python
class TestPackage(UUIDModel):
    """ 记录每个测试使用过插件包"""
    plugin_appliances = models.ManyToManyField(
        'TestPluginAppliance',
        through='TestPackagePluginApplianceRel',
        blank=True,
        related_name='test_packages'
    )

class TestTaskPluginAppliance(NamedModel):
    """ 记录每个测试任务使用过插件设备"""
    pass
    
class TestPackagePluginApplianceRel(models.Model):
    """ 中间模型，用于记录 TestPackage 和 TestPluginAppliance 之间的多对多关系 """
    test_package = models.ForeignKey(TestPackage, on_delete=models.CASCADE)
    test_plugin_appliance = models.ForeignKey(TestPluginAppliance, on_delete=models.CASCADE)
    additional_info = models.JSONField(verbose_name='附加信息', blank=True, default=dict)

    class Meta:
        unique_together = ('test_package', 'test_plugin_appliance')
```
一个插件包可以在很多插件设备上使用，一个插件设备通过替换，也可以支持很多插件包

django模型

# asyncio
asyncio 是 Python 中用于编写异步代码的标准库，它的核心是事件循环机制。事件循环负责调度和执行异步任务，使得多个任务可以在单线程中协同工作.

日常中用到的场景为，批量获取某手机的多个应用列表里面具体应用的信息时，需要异步处理，不然逐个获取遍历太慢了（异步2秒内，逐个为60秒可能不止）

# 事件循环机制
1、事件循环:

事件循环是一个运行在单线程中的循环，它负责管理和调度异步任务。
在事件循环中，任务是以协程的形式存在，协程可以在执行过程中暂停（使用 await），并在合适的时机恢复执行。

2、任务调度:

事件循环通过调度器来管理任务的执行顺序。
当一个协程遇到 await 时，它会暂停执行，事件循环可以切换到其他任务。
事件循环会不断检查任务的状态，并在任务准备好继续执行时恢复它。

3、I/O 操作:

异步 I/O 操作是事件循环的一个重要部分。事件循环可以在等待 I/O 操作完成时执行其他任务。
这使得 asyncio 非常适合处理网络请求、文件读写等 I/O 密集型任务。
# 协同多个任务

1、创建任务:

使用 asyncio.create_task() 或 loop.create_task() 可以将协程包装成任务，并提交给事件循环。
任务是事件循环调度的基本单位。

2、并发执行:

asyncio.gather() 可以用于并发执行多个协程。它会等待所有协程完成，并返回结果。
asyncio.wait() 可以用于等待多个任务完成，提供更细粒度的控制。

# 案例

```python
import asyncio

async def task(name, delay):
    print(f"Task {name} started")
    await asyncio.sleep(delay)
    print(f"Task {name} finished")
    return name

async def main():
    # 创建多个任务
    tasks = [
        asyncio.create_task(task("A", 2)),
        asyncio.create_task(task("B", 1)),
        asyncio.create_task(task("C", 3))
    ]
    # 并发执行任务
    results = await asyncio.gather(*tasks)
    print(f"Results: {results}")

# 运行事件循环
asyncio.run(main())

# Task A started
# Task B started
# Task C started
# Task B finished
# Task A finished
# Task C finished
Results: ['A', 'B', 'C']
```

asyncio

# 线程
python中一般使用threading和concurrent.futures.ThreadPoolExecutor

定义: 线程是操作系统调度的基本单位，是进程中的一个执行路径。一个进程可以包含多个线程，它们共享进程的内存空间。

特点:

共享内存: 线程共享进程的内存空间，可以方便地共享数据。
轻量级: 创建和销毁线程的开销比进程小。
并发执行: 在多核处理器上，多个线程可以并发执行。
适用场景:

I/O 密集型任务: 适合处理需要等待外部设备响应的任务，如网络请求、文件读写。
需要共享数据: 适合需要多个执行路径共享数据的场景。

# 进程
python中一般用multiprocessing和concurrent.futures.ProcessPoolExecutor

定义: 进程是操作系统分配资源的基本单位，每个进程都有独立的内存空间。进程之间的通信需要通过进程间通信（IPC）机制。

特点:

独立内存空间: 进程之间不共享内存，数据隔离性好。
较重: 创建和销毁进程的开销较大。
真正并行: 在多核处理器上，多个进程可以真正并行执行。
适用场景:

CPU 密集型任务: 适合需要大量计算的任务，因为可以利用多核处理器的能力。
需要隔离: 适合需要数据隔离的场景，避免共享内存带来的复杂性


```python
import multiprocessing
import math


def compute_factorial(n):
    return math.factorial(n)


def main():
    numbers = [100000, 200000, 300000, 400000, 500000]

    # create processing pool
    with multiprocessing.Pool(processes=multiprocessing.cpu_count()) as pool:
        # map parallel computing
        results = pool.map(compute_factorial, numbers)
        
    for number, result in zip(numbers, results):
        print(f'Factorial of {number} is calculated.')


if __name__ == '__main__':
    main()

```

# 协程
python中一般用asyncio和aiohttp

定义:
协程是一种用户态的轻量级线程，由程序自身调度。协程允许在执行过程中暂停和恢复，通常用于异步编程。

特点:

轻量级: 协程的创建和销毁开销非常小。
非抢占式调度: 协程由程序显式调度，而不是由操作系统调度。
单线程执行: 协程通常在单线程中执行，避免了线程切换的开销。

适用场景:

异步 I/O: 适合处理大量并发 I/O操作，如网络请求、数据库查询。
高并发: 适合需要处理大量并发任务的场景，尤其是在 I/O 密集型任务

# 总结
- 线程: 适合需要共享数据的 I/O 密集型任务。
- 进程: 适合需要数据隔离的 CPU 密集型任务。
- 协程: 适合异步 I/O和高并发场景，尤其是在单线程环境