分布式爬虫实验补充

基本数据 50个items插入用时22.985665s 100个items 45.76s —-三个爬虫 10items 1652867870.3371859 110items 1652867891.708318 210items 1652867898.395279 510items 1652867927.3051932 1110items 1652867954.7820888 1510 items 1652867976.8738298

 

网站备案的备忘

第一个网站备案 第一个网站备案的IP 为 139.129.175.2 需要在去查看里面，查看对应的IP， 改进部分 需要额外配置一个首页，作为国内的网站。 https://github.com/526avijitgupta/gokarna 用KeepIt和Lo

 

Proxmox显卡直通尝试

tips 这里说一下为什么会需要拆分iommu pcie_acs_override=downstream 像我这块主板，一二槽同时插上时会共享带宽，如果不拆分iommu，当两个设备同时直通，其中一个就会显示

 

Salt Cloud下proxmox配置

配置salt-cloud vim cloud.providers.d/proxmox-6110.conf p6110: # Proxmox 账户信息 user: root@pam password: xxxx url: 192.168.0.200 port: 8006 driver: proxmox verify_ssl: false 验证ssl需要设置为false，然后默认是pam信息，如果用域的话就是pv

 

Saltstack配置

master 直接启动就可以 minion 启动前，修改minion文件下的master地址， 然后到master下面用 salt-key -L 列出所有key salt-key -A -y 允许所有key salt-key -a 192.168.0.100 -y 接

 

Ansible配置alpine

设置alpine的ansible方法 - name: docker-alpine hosts: test become: true become_user: root tasks: - name: Install docker apk: name=docker update_cache=yes - name: Start docker daemon at boot shell: rc-update add docker boot - name: Start the docker service service: name=docker state=started vim 自动缩进的方式 - name: docker-alpine hosts: test become:

 

Docker的作业相关

给接的闲鱼单的作业做个小备忘 阿里云镜像 基本信息 仓库名称 zhangdingmu2033 仓库地域 华东1（杭州） 仓库类型 公开 代码仓库 无 公网地址 registry.cn-hangzhou.aliyuncs.com/zhangmingmu2033/zhangdingmu2033 registry.cn-hangzhou.aliyuncs.com/zhangmingmu2033/zhangdingmu2033 复制 专有网络 registry-vpc.cn-hangzhou.aliyuncs.com/zhangmingmu2033/zhangdingmu2033 registry-vpc.cn-hangzhou.aliyuncs.com/zhangmingmu2033/zhangdingmu2033 复制 经典网络