开源的网页变更监控工具：changedetection.io-拆东墙

这个网页变更监控工具的功能非常强大，支持用真正的chrome浏览器来提取网页内容，这样就可以抓取到一些用js填充内容的网页。另外发送通知消息这块是用apprise实现的，几乎所有能用来推送消息的服务都支持，具体支持的列表：

https://github.com/caronc/apprise#supported-notifications

这里记录一下部署和配置过程。先安装docker/compose/nginx/certbot：

apt -y update
apt -y install curl nginx python3-certbot-nginx
curl -fsSL https://get.docker.com -o get-docker.sh
sh get-docker.sh
curl -L https://github.com/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

准备项目目录，在目录内新建一个docker-compose.yml：

mkdir /opt/changedetection.io && cd /opt/changedetection.io && nano docker-compose.yml

写入如下配置：

version: '3.5'

services:
  changedetection:
    image: ghcr.io/dgtlmoon/changedetection.io
    container_name: changedetection
    hostname: changedetection
    restart: unless-stopped
    environment:
      - USE_X_SETTINGS=1
      - BASE_URL=https://monitor.example.com/
      - PLAYWRIGHT_DRIVER_URL=ws://playwright-chrome:3000/
    ports:
      - 127.0.0.1:6000:5000
    volumes:
      - changedetection-data:/datastore

  playwright-chrome:
    image: browserless/chrome
    hostname: playwright-chrome
    restart: unless-stopped

volumes:
  changedetection-data:

将BASE_URL的值替换成你自己的域名，如果没有改动browserless/chrome容器的服务名和主机名，那么PLAYWRIGHT_DRIVER_URL后面的值保持默认即可。确认修改无误后，启动所有的服务：

docker-compose up -d

现在配置反向代理，新建一个nginx配置文件：

nano /etc/nginx/conf.d/changedetection.conf

写入如下配置：

server {
    listen       80;
    server_name  monitor.example.com;
    client_max_body_size 0;

    location / {
        proxy_pass       http://127.0.0.1:6000/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

签发ssl证书：

certbot --nginx

下面简单说一下配置。第一次打开这个程序的页面后，页面是没有任何鉴权的，你可以先在设置里面设置一个密码，这样后续访问的时候就需要密码验证了。但是目前这个功能有个bug，设置的密码会随机禁用，具体的问题描述参考这里：

https://github.com/dgtlmoon/changedetection.io/issues/598

我试了一下好像是设置密码后再修改一些设置保存就会禁用掉密码。目前有两个临时的解决办法，第一个是用nginx的basicauth，就不用程序自带的这个功能了。第二个是先把要改的设置都改好，最后设置密码保存，这样密码还是一直生效的。。。比较迷的是作者说在nginx下无法重现，而我就是在nginx下。。。

之前我们在docker-compose里面是配置了浏览器容器的，所以现在可以在设置里面把抓取的方式改为Playwright Chromium/Javascript：