BeautifulSoup基础实战

安装：pip install beautifulsoup4

常用指令：

from bs4 import BeautifulSoup as bs
import urllib.request
data=urllib.request.urlopen("https://www.cnblogs.com/mcq1999/").read().decode("utf-8","ignore")
bs1=bs(data)
print(bs1.prettify()) #格式化输出
print(bs1.title) #获取标签title,bs对象.标签名
print(bs1.title.string) #获取标签title的文字
print(bs1.title.name) #获取标签名，如title
print(bs1.a.attrs) #获取属性列表 键值对
print(bs1.a['name']) #获取某个属性对应的值
print(bs1.find_all('a')) #提取所有某个节点的内容，传参是标签名
print('---------------------------------')
print(bs1.find_all(['a','ul']))
k1=bs1.ul.contents #提取当前节点的所有子节点，返回一个列表
k2=bs1.ul.children #返回一个生成器
allulc=[i for i in k2]

PhantomJS基础实战

效率不高，但可以解决很多反爬问题，本质是一个无界面的浏览器，通过命令行（或python）操纵。通常难点部分通过PhantomJS写，然后将数据交给urllib或scrapy进行后续处理。

目前已PhantomJS和selenium分手，以后再学。

分布式爬虫之docker基础

镜像：不可以改变内容

容器：可以改变内容，相当于虚拟机，默认情况下彼此封闭

优点：轻部署、省成本、部署迁移方便

安装：yum -y install docker

启动和关闭：

systemctl start docker

systemctl stop docker

启动时如果出现

可以参考下面这篇博客，我的就这样成功了，其他的方法都没用

https://blog.csdn.net/w1316022737/article/details/83692701

最好再修改一下docker的镜像源，不然运行的很慢：

https://blog.csdn.net/julien71/article/details/79760919

查看已有镜像：docker images

下载镜像：docker pull

创建容器：docker run -tid

查看容器：docker ps -a

进入容器：docker attach

退出容器：一般不用exit，因为会停止容器。我们用ctrl+p+q即可。

在容器里的操作不会影响本机，相当于在虚拟机里再开了个虚拟机

启动容器：docker start …

封装容器成镜像：docker commit 2d6 mytest:v1

基于镜像给容器起名字： docker run -tid –name testabc a2a （基于a2a这个镜像创建一个名为testabs的容器）

docker run -tid –name h1 mytest:v1

docker run -tid –name h2 –link h1 mytest:v1 （将容器h2链接到h1，即让h2和h1通信）

这里我用ubuntu的镜像发现ping、yum等等命令都没有，所以改用了centos的镜像。

[root@hadoop106 mcq]# docker attach fe3

[root@fe3489945006 /]# cat /etc/hosts

127.0.0.1localhost

::1localhost ip6-localhost ip6-loopback

fe00::0ip6-localnet

ff00::0ip6-mcastprefix

ff02::1ip6-allnodes

ff02::2ip6-allrouters

172.17.0.6c1 4c3dab0e013c

172.17.0.7fe3489945006

[root@fe3489945006 /]# ping 172.17.0.6

将docker镜像封装为文件：docker save -o /mytest.tar c3e8