Qwen3.5-9B-AWQ-4bit企业级部署:HTTPS证书配置+反向代理+访问日志审计

张开发
2026/4/21 0:50:50 15 分钟阅读

分享文章

Qwen3.5-9B-AWQ-4bit企业级部署:HTTPS证书配置+反向代理+访问日志审计
Qwen3.5-9B-AWQ-4bit企业级部署HTTPS证书配置反向代理访问日志审计1. 部署环境准备在开始部署前请确保您的服务器满足以下要求硬件配置至少2张RTX 4090 D 24GB显卡实测单卡24GB运行不稳定操作系统推荐Ubuntu 20.04 LTS或更高版本网络环境已开放7860端口或您计划使用的其他端口存储空间至少50GB可用空间用于模型文件1.1 基础软件安装首先安装必要的系统依赖# 更新系统包 sudo apt update sudo apt upgrade -y # 安装基础工具 sudo apt install -y nginx supervisor curl wget git # 安装Docker如果使用容器化部署 sudo apt install -y docker.io docker-compose2. HTTPS证书配置2.1 获取SSL证书我们推荐使用Lets Encrypt免费证书# 安装Certbot sudo apt install -y certbot python3-certbot-nginx # 申请证书替换yourdomain.com为您的域名 sudo certbot certonly --nginx -d yourdomain.com # 证书会自动存放在 # /etc/letsencrypt/live/yourdomain.com/2.2 证书自动续期设置自动续期任务# 测试续期 sudo certbot renew --dry-run # 添加定时任务 (crontab -l 2/dev/null; echo 0 12 * * * /usr/bin/certbot renew --quiet) | crontab -3. Nginx反向代理配置3.1 基础反向代理设置创建Nginx配置文件sudo nano /etc/nginx/sites-available/qwen-proxy添加以下内容替换yourdomain.com和7860端口号server { listen 80; server_name yourdomain.com; return 301 https://$host$request_uri; } server { listen 443 ssl; server_name yourdomain.com; ssl_certificate /etc/letsencrypt/live/yourdomain.com/fullchain.pem; ssl_certificate_key /etc/letsencrypt/live/yourdomain.com/privkey.pem; location / { proxy_pass http://localhost:7860; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # WebSocket支持 proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; } # 静态文件缓存 location /static/ { alias /path/to/your/static/files; expires 30d; } }启用配置sudo ln -s /etc/nginx/sites-available/qwen-proxy /etc/nginx/sites-enabled sudo nginx -t sudo systemctl restart nginx3.2 高级安全配置在Nginx配置中添加安全头add_header X-Frame-Options SAMEORIGIN; add_header X-XSS-Protection 1; modeblock; add_header X-Content-Type-Options nosniff; add_header Referrer-Policy strict-origin-when-cross-origin; add_header Content-Security-Policy default-src self https: data: unsafe-inline unsafe-eval;4. 访问日志审计配置4.1 Nginx访问日志配置详细的访问日志格式log_format qwen_audit $remote_addr - $remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $request_time $upstream_response_time; access_log /var/log/nginx/qwen-access.log qwen_audit;4.2 应用层日志审计配置Supervisor日志管理sudo nano /etc/supervisor/conf.d/qwen.conf添加以下内容[program:qwen35-9b-awq-vl-web] command/path/to/your/start_script.sh directory/root/workspace userroot autostarttrue autorestarttrue stderr_logfile/var/log/qwen/web.err.log stdout_logfile/var/log/qwen/web.out.log environmentLOG_LEVELINFO4.3 日志轮转配置创建日志轮转策略sudo nano /etc/logrotate.d/qwen添加以下内容/var/log/qwen/*.log /var/log/nginx/qwen-access.log { daily missingok rotate 30 compress delaycompress notifempty create 640 root adm sharedscripts postrotate systemctl reload nginx supervisorctl restart qwen35-9b-awq-vl-web endscript }5. 服务监控与维护5.1 健康检查配置创建健康检查脚本sudo nano /root/healthcheck.sh添加以下内容#!/bin/bash # 检查服务端口 if ! nc -z localhost 7860; then echo Service port not listening exit 1 fi # 检查GPU状态 if ! nvidia-smi /dev/null 21; then echo GPU not available exit 1 fi # 检查内存使用 MEM_USAGE$(free -m | awk /Mem/{print $3/$2 * 100.0}) if (( $(echo $MEM_USAGE 90 | bc -l) )); then echo Memory usage too high: $MEM_USAGE% exit 1 fi exit 0设置定时检查(crontab -l 2/dev/null; echo */5 * * * * /root/healthcheck.sh || supervisorctl restart qwen35-9b-awq-vl-web) | crontab -5.2 性能监控安装Prometheus Node Exporterwget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz tar xvfz node_exporter-1.3.1.linux-amd64.tar.gz cd node_exporter-1.3.1.linux-amd64 ./node_exporter 6. 总结通过以上步骤我们完成了Qwen3.5-9B-AWQ-4bit模型的企业级部署包括HTTPS安全配置使用Lets Encrypt证书实现加密传输反向代理设置通过Nginx实现负载均衡和安全防护日志审计系统详细记录所有访问请求和应用日志监控维护方案确保服务稳定运行这套部署方案具有以下优势安全性高全链路HTTPS加密防止数据泄露可审计性强完整记录所有访问日志满足合规要求稳定性好自动监控和恢复机制保障服务可用性扩展性强架构设计支持后续横向扩展获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。

更多文章