欢迎光临
我们一直在努力

bitmagnet:一个DHT爬虫、种子搜索引擎

官网:https://bitmagnet.io,项目地址:https://github.com/bitmagnet-io/bitmagnet

部署环境:Debian12,内存至少4GB。

安装需要用到的软件包:

apt -y update
apt -y install curl nginx python3-certbot-nginx apache2-utils
curl -fsSL https://get.docker.com -o get-docker.sh
sh get-docker.sh

创建目录和compose文件:

mkdir -p /opt/bitmagnet && cd /opt/bitmagnet && nano docker-compose.yml

写入如下内容:

services:
  bitmagnet:
    image: ghcr.io/bitmagnet-io/bitmagnet:latest
    container_name: bitmagnet
    ports:
      - "127.0.0.1:3333:3333"
      - "3334:3334/tcp"
      - "3334:3334/udp"
    restart: unless-stopped
    environment:
      - POSTGRES_HOST=postgres
      - POSTGRES_PASSWORD=hidden
    #      - TMDB_API_KEY=your_api_key
    command:
      - worker
      - run
      - --keys=http_server
      - --keys=queue_server
      - --keys=dht_crawler
    depends_on:
      postgres:
        condition: service_healthy

  postgres:
    image: postgres:16-alpine
    container_name: bitmagnet-postgres
    volumes:
      - ./data/postgres:/var/lib/postgresql/data
    restart: unless-stopped
    environment:
      - POSTGRES_PASSWORD=hidden
      - POSTGRES_DB=bitmagnet
      - PGUSER=postgres
    shm_size: 1g
    healthcheck:
      test:
        - CMD-SHELL
        - pg_isready
      start_period: 20s
      interval: 10s

启动:

docker compose up -d

因bitmagnet目前没有实现身份认证功能,并且在webui内可以删除种子信息,如果暴露在公网上非常不安全。

为解决这个问题,我在上述配置中将3333端口(webui端口)监听在本地,然后用nginx去反代,这样就可以配置一个http basic验证。

如果你不打算暴露在公网运行,仅在自己的nas、homelab等局域网环境运行则无需反代。

创建htpasswd文件:

htpasswd -c /etc/nginx/.htpasswd imlala

新建nginx站点配置文件:

nano /etc/nginx/sites-available/bitmagnet

写入如下配置:

upstream bitmagnet {
    server 127.0.0.1:3333;
}

server {
    listen 80;
    server_name bitmagnet.example.com;

    location / {
        auth_basic "auth";
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://bitmagnet;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Protocol $scheme;
    }
}

启用站点:

ln -s /etc/nginx/sites-available/bitmagnet /etc/nginx/sites-enabled/bitmagnet

申请tls证书:

certbot --nginx --email [email protected] --agree-tos --no-eff-email

下面是我搭建的一个实例,运行了差不多1天,爬了12万多的数据:

此时的资源占用情况如下,CPU是i5-6500t,一直在27左右,内存一共吃了大概3GB:

LALA

我什么都不卖了,告辞!

赞(0)
未经允许不得转载:拆东墙 » bitmagnet:一个DHT爬虫、种子搜索引擎

评论 抢沙发

登录

找回密码

注册