# POC
Proof of Concept  

概念证明,即一般指大模型的某项能力验证，通常用于大模型开发的应用前期，做模型验证阶段

对比MVP（一个可用的产品，包含核心功能，能够提供基本的用户体验）

区别：

POC 是为了验证技术可行性，通常在产品开发的早期阶段进行，关注于解决技术问题。

MVP 是为了验证市场需求，通常在产品开发的后期阶段进行，关注于用户反馈和市场验证。



# TTS
Text to Speech

文本转语音，常用于大模型回复内容后语音告知用户确认时

# ASR
Automatic Speech Recognition

自动语音识别，常用于将用户语音描述转换为文字过程

# MCP
Model Context Protocol

架构模式，分为模型、上下文和协议三个部分，参考USB接口协议

# AI1.0 AI2.0
1.0指前期各类模型创造出来时，百花齐放阶段，含多模态支持

2.0指模型应用阶段

# 应用的阶段分为
1、Embedding  人为主，AI为辅助，常用于聊天机器人获取信息

2、Copilot    人和AI各半，长用于完成了初稿，人基于这个基础上去修改

3、Agents    AI为主，自动执行完了想要做到的效果

# RAG
Retrieval-Augmented Generation

检索增强生成，一种结合信息检索和生成模型的技术，RAG 模型通过将检索和生成两个过程结合起来，利用外部知识库来增强生成模型的能力

# LangChain
一个帮助你快速把 OpenAI、Claude 等 LLM 接入到你自己的应用中，并实现“问知识库”、“智能代理”等高级功能的框架。可以理解为用户输入和GPT直接的中间层

```bash
                ┌─────────────────────┐
                │     用户输入         │
                └────────┬────────────┘
                         ▼
                ┌─────────────────────┐
                │     LangChain        │   <- 组织流程、记忆、调用GPT、查数据
                └──────┬──────────────┘
                       ▼
                ┌─────────────────────┐
                │     OpenAI GPT API  │   <- 处理自然语言、生成回答
                └─────────────────────┘

```

AI基本知识入门

# gitlab cicd
GitLab 提供的一套自动化流水线系统，用于自动构建、测试、部署代码

核心：命中某些分支后，自动将代码发布到生产或测试环境，无需人为确认发版，常用于apk打包、前端发版情况


# 方案选择
**1、基于.gitlab-ci.yml配置的方案：（无法避免防火墙影响）**

思路：

1)拉起gitlab上的Runner，Runner通过ssh跳到生产环境，然后执行脚本；



2)yml脚本参考：

```bash
# CI 方式：自动登录进服务器，pull 然后 npm build
# 参考文档：https://docs.gitlab.com/ee/ci/ssh_keys/#verifying-the-ssh-host-keys
image: node

stages:
  - deploy

default:
  before_script:
    ##
    ## Create the SSH directory and give it the right permissions
    ##
    - mkdir -p ~/.ssh
    - chmod 700 ~/.ssh

    ##
    ## Assuming you created the SSH_KNOWN_HOSTS file type CI/CD variable, uncomment the
    ## following two lines.
    ##
    - cp "$SSH_KNOWN_HOSTS" ~/.ssh/known_hosts
    - chmod 644 ~/.ssh/known_hosts

    ##
    ## Install ssh-agent if not already installed, it is required by Docker.
    ## (change apt-get to yum if you use an RPM-based image)
    ##
    - 'command -v ssh-agent >/dev/null || ( apt-get update -y && apt-get install openssh-client -y )'

    ##
    ## Run ssh-agent (inside the build environment)
    ##
    - eval $(ssh-agent -s)

    ##
    ## Give the right permissions, otherwise ssh-add will refuse to add files
    ## Add the SSH key stored in SSH_PRIVATE_KEY file type CI/CD variable to the agent store
    ##
    - chmod 400 "$SSH_PRIVATE_KEY"
    - ssh-add "$SSH_PRIVATE_KEY"

deploy-prod:
  stage: deploy
  only:
    - production
  tags:
    - iottest
  script:
    - ssh root@10.11.11.11 /var/docker/django/mjtest/front-dist/build-front.sh mjtest-front-aa

deploy-sit:
  stage: deploy
  only:
    - sit
  tags:
    - iottest-sit
  script:
    - ssh root@10.11.11.11 /var/docker/django/mjtest/front-dist/build-front.sh mjtest-front-aa

```

3)sh脚本参考：见下脚本run in host的情况



**2、基于settings中webhooks回调执行方案：（可以避免防火墙影响）**

思路：

1)Trigger触发器配置规则后，当命中分支时，自动回调指定的URL并将请求头等信息发送过去；

2)核心的拉取代码及构建发版，依赖回调URL执行后，异步调用执行的脚本（需要提前配置好sh脚本，用以git clone 及npm build等操作,如果是django操作，可以基于celery任务拉起实现异步执行），其中，要注意执行环境需要支持git及node及yarn或npm版本；

3)sh脚本参考：
```bash
#!/usr/bin/env bash

set -e
set -x

proj_name=$1
src_dir=/var/docker/django/mjtest/$proj_name
dist_dir=/var/docker/django/mjtest/front-dist/$proj_name

if [ "$proj_name" = "" ]; then
  echo ">>> must specify project_name with command argument!"
  echo ">>> exit..."
  exit
fi

echo ">>> Distributing $proj_name ..."

cd $src_dir
git clean -df
git pull
git submodule update --remote --recursive

# if run in docker
yarn && yarn build

# if run not in docker  but in Host
# docker run --rm -v $src_dir:/var/src -e YARN_REGISTRY=https://registry.npmmirror.com --workdir=/var/src node sh -c 'yarn && yarn build'

rm -rf $dist_dir
mv dist $dist_dir

set +x
```

# 前端发版时依赖参考
1、如果是容器构建：

```bash
docker run --rm -v $src_dir:/var/src -e YARN_REGISTRY=https://registry.npmmirror.com --workdir=/var/src node sh -c 'yarn && yarn build'
```

2、如果本身服务已经在容器里面：当前容器依赖安装

```bash
前端发版容器参考：

前提：设定国内的 npm 镜像服务，加快下载
设置环境变量：export YARN_REGISTRY=https://registry.npmmirror.com
查看环境变量：echo $YARN_REGISTRY

一、确保node版本

# 移除当前版本
apt-get remove -y nodejs

# 安装 NodeSource 仓库脚本
curl -fsSL https://deb.nodesource.com/setup_21.x | bash -

# 安装 Node.js
apt-get install -y nodejs

# 查看版本
node -v

二、安装yarn

1、Yarn 提供了自己的仓库，你需要添加它：
curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | apt-key add -
echo "deb https://dl.yarnpkg.com/debian/ stable main" | tee /etc/apt/sources.list.d/yarn.list

2、更新包列表并安装 Yarn：
apt-get update
apt-get install -y yarn

3、验证 Yarn 版本：
yarn -v
```

gitlab cicd方案

# 背景
为避免某些抓取场景频繁前端调用或误操作点了，需要设置缓存，用以提醒

# 参考
cache特性：
```python
>>> from django.core.cache import cache
>>> import time
>>> cache.set('my_lock', '1', timeout=20)
True
>>> cache.get('my_lock')
'1'
>>> cache.get('my_lock')
>>> 
>>> 
>>> cache.get('my_lock')
>>> 
```

使用例子

```python
@action(methods=['POST'], detail=True)
def scrap_crash_data_all(self, request, pk):
  from django.core.cache import cache
  if cache.get('my_lock'):
    return u.http.response_fail('上一次任务已经调度，1分钟内请勿重新操作')
  # 主操作代码
  cache.set('my_lock', '1', timeout=60)
  return u.http.response_success('抓取任务调度成功')
```

django中cache使用

# 压测
压力测试通常需要的工具为jmeter和wrk和httprunner，为了支持更高并发的测试，通常选用go底层的httprunner更为合适，可以获取具体的细节及理论上支持上万+并发发起，只要server支持即可

其中httprunner支持的命令行为：hrp -h

理解[：httprunner overview](https://httprunner.com/docs/introduction/overview/)

安装参考[：hrp install](https://httprunner.com/docs/user-guide/installation/)



# 框架发起请求
整体思路[：hrp quickstart](https://httprunner.com/docs/quickstart/)

参考脚手架拉起一个项目
```bash
hrp startproject hrp-demo
```
整体框架参考：

```bash
virtual-machine:~$ tree hrp-demo -a
hrp-demo
├── .debugtalk_gen.py
├── debugtalk.py
├── .env
├── .gitignore
├── har
│   └── .keep
├── .idea
│   ├── .gitignore
│   ├── hrp-demo.iml
│   ├── inspectionProfiles
│   │   ├── profiles_settings.xml
│   │   └── Project_Default.xml
│   ├── misc.xml
│   ├── modules.xml
│   └── workspace.xml
├── proj.json
├── __pycache__
│   ├── debugtalk.cpython-310.pyc
│   └── debugtalk.cpython-311.pyc
├── results
│   ├── 20250630090833
│   │   └── report.html
│   ├── 20250630091227
│   │   └── report.html
│   └── .keep
└── testcases
    ├── demo.json
    ├── ref_testcase.yml
    ├── requests.json
    └── requests.yml

8 directories, 22 files

```
然后基于脚手架项目发起请求

```bash
~/hrp-demo$ hrp run testcases/ref_testcase.yml --gen-html-report
```
过程日志(挺多的，这里只取其中第一个请求的部分内容作为参考)

```bash
-------------------- request --------------------
GET /get?foo1=debugtalk&foo2=bar21&sum_v=30000000 HTTP/1.1
Host: postman-echo.com
User-Agent: hrp/funppy


==================== response ====================
Connected via TLSv1.3
HTTP/1.1 200 OK
Content-Length: 258
Content-Type: application/json; charset=utf-8
Date: Mon, 30 Jun 2025 01:12:31 GMT
Etag: W/"102-eiyMMSoR1HMSh4+SRTQML+xYiaE"
Server: istio-envoy
Set-Cookie: sails.sid=s%3A0J860ibxWw-VfOCnBbfc2ad8DRotnG02.C2wN1bDUl1GH7%2BuHUynuHXx7Berf8CMzAq57moJbm80; Path=/; HttpOnly
Vary: Accept-Encoding
X-Envoy-Upstream-Service-Time: 4

{"args":{"foo1":"debugtalk","foo2":"bar21","sum_v":"30000000"},"headers":{"host":"postman-echo.com","user-agent":"hrp/funppy","accept-encoding":"gzip","x-forwarded-proto":"https"},"url":"https://postman-echo.com/get?foo1=debugtalk&foo2=bar21&sum_v=30000000"}
--------------------------------------------------

```

# 框架发起压测
1、普通压测：
--spawn-count 参数可指定并发用户数，通过 --spawn-rate 可指定起始发压斜率
```bash
~/hrp-demo$ hrp boom testcases/ref_testcase.yml --spawn-count 30 --spawn-rate 5
```

部分结果：

```bash
Current time: 2025/06/30 10:20:53, Users: 0, State: stopped, Total RPS: 5.4, Total Average Response Time: 279.6ms, Total Fail Ratio: 7.8%
Accumulated Transactions: 133 Passed, 62 Failed
+--------------+--------------------------------+------------+---------+--------+----------+-------+-------+--------------+------------+-------------+
|     TYPE     |              NAME              | # REQUESTS | # FAILS | MEDIAN | AVERAGE  |  MIN  |  MAX  | CONTENT SIZE | # REQS/SEC | # FAILS/SEC |
+--------------+--------------------------------+------------+---------+--------+----------+-------+-------+--------------+------------+-------------+
| request      | request with functions - get   |          5 |       0 |    230 |   231.60 |   225 |   242 |          361 |       1.67 |        0.00 |
|              | with params                    |            |         |        |          |       |       |              |            |             |
| request      | request with functions - post  |          5 |       0 |    230 |   229.80 |   227 |   232 |          446 |       1.67 |        0.00 |
|              | raw text                       |            |         |        |          |       |       |              |            |             |
| request      | request with functions - post  |          5 |       0 |    230 |   232.40 |   225 |   243 |          497 |       1.67 |        0.00 |
|              | form data                      |            |         |        |          |       |       |              |            |             |
| request-POST | post form data                 |          5 |       5 |      0 |     0.00 |     0 |     0 |            0 |       1.67 |        1.67 |
| testcase     | request with functions         |          5 |       0 |    920 |   918.20 |   894 |   963 |            0 |       1.67 |        0.00 |
| transaction  | Action                         |          5 |       5 |  17000 | 17239.00 | 16977 | 17534 |            0 |       1.67 |        1.67 |
+--------------+--------------------------------+------------+---------+--------+----------+-------+-------+--------------+------------+-------------+

=========================================== Statistics Summary ==========================================
Current time: 2025/06/30 10:20:53, Users: 0, Duration: 1m59.144s, Accumulated Transactions: 133 Passed, 62 Failed
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| NAME  | # REQUESTS | # FAILS | MEDIAN | AVERAGE | MIN | MAX  | CONTENT SIZE | # REQS/SEC | # FAILS/SEC |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| Total |        641 |      50 |    230 |  279.55 | 243 | 5987 |          400 |       5.38 |        0.42 |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+

```

2、指定时间压测

```bash
hrp boom testcases/ref_testcase.yml --spawn-count 30 --spawn-rate 10 --auto-start --run-time 60
```

部分汇总结果：

```bash
=========================================== Statistics Summary ==========================================
Current time: 2025/06/30 10:31:48, Users: 0, Duration: 1m16.718s, Accumulated Transactions: 144 Passed, 0 Failed
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| NAME  | # REQUESTS | # FAILS | MEDIAN | AVERAGE | MIN | MAX  | CONTENT SIZE | # REQS/SEC | # FAILS/SEC |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
| Total |        576 |       0 |    240 |  257.65 | 229 | 1324 |          437 |       7.51 |        0.00 |
+-------+------------+---------+--------+---------+-----+------+--------------+------------+-------------+
```
其中关注的重点为：

1)、REQS/SEC，这个值简称RPS，即每秒处理的请求数；

2)、AVERAGE：均值处理时间；

3)、FAILS及 FAILS/SEC：失败的请求数及占比；


3、加上部分性能参数捕捉压测（发压机器的）：

```bash
hrp boom testcases/ref_testcase.yml --spawn-count 30 --spawn-rate 10 --auto-start --run-time 60 --cpu-profile cpu.prof --mem-profile mem.prof
```
这将额外生成mem.prof和cpu.prof数据

通过

```bash
go tool pprof cpu.prof
```

```bash
(pprof) top
Showing nodes accounting for 760ms, 76.77% of 990ms total
Showing top 10 nodes out of 368
      flat  flat%   sum%        cum   cum%
     380ms 38.38% 38.38%      380ms 38.38%  runtime/internal/syscall.Syscall6
     190ms 19.19% 57.58%      190ms 19.19%  runtime.futex
      60ms  6.06% 63.64%       60ms  6.06%  runtime.memclrNoHeapPointers
      40ms  4.04% 67.68%       40ms  4.04%  runtime.rtsigprocmask
      20ms  2.02% 69.70%       40ms  4.04%  runtime.scanobject
      20ms  2.02% 71.72%       40ms  4.04%  runtime.selectgo
      20ms  2.02% 73.74%       20ms  2.02%  runtime.writeHeapBits.flush
      10ms  1.01% 74.75%       10ms  1.01%  github.com/json-iterator/go.(*Iterator).nextToken
      10ms  1.01% 75.76%       10ms  1.01%  github.com/json-iterator/go.(*Stream).WriteStringWithHTMLEscaped
      10ms  1.01% 76.77%       30ms  3.03%  google.golang.org/grpc.newClientStreamWithParams
(pprof) web
failed to execute dot. Is Graphviz installed? Error: exec: "dot": executable file not found in $PATH
(pprof) web
```

其中web命令需要先安装

```bash
sudo apt install graphviz
```
验证安装成功

```bash
hrp-demo$ dot -V
dot - graphviz version 2.43.0 (0)
```

如果需要去检测被压机器的硬件性能情况，可以通过：

前提：网络必须能联通，才能上报成功

1）普罗米修斯的节点部署上报来解决；

2）阿里云的上报节点部署；

hrp压测入门

# 一对多（多对一）

```python
class Question(models.Model):
    question_text = models.CharField(max_length=200)

class Choice(models.Model):
    question = models.ForeignKey(Question, on_delete=models.CASCADE)
```
一个问题可以多个选择，即Question一对多Choice，外键ForeignKey放置于一对多中的多位置


# 多对多

```python
class TestPackage(UUIDModel):
    """ 记录每个测试使用过插件包"""
    plugin_appliances = models.ManyToManyField(
        'TestPluginAppliance',
        through='TestPackagePluginApplianceRel',
        blank=True,
        related_name='test_packages'
    )

class TestTaskPluginAppliance(NamedModel):
    """ 记录每个测试任务使用过插件设备"""
    pass
    
class TestPackagePluginApplianceRel(models.Model):
    """ 中间模型，用于记录 TestPackage 和 TestPluginAppliance 之间的多对多关系 """
    test_package = models.ForeignKey(TestPackage, on_delete=models.CASCADE)
    test_plugin_appliance = models.ForeignKey(TestPluginAppliance, on_delete=models.CASCADE)
    additional_info = models.JSONField(verbose_name='附加信息', blank=True, default=dict)

    class Meta:
        unique_together = ('test_package', 'test_plugin_appliance')
```
一个插件包可以在很多插件设备上使用，一个插件设备通过替换，也可以支持很多插件包