私有地址（Private address，也可称为专网地址）属于非注册地址，专门为组织机构内部使用，它是局域网范畴内的，私有IP禁止出现在Internet中，在ISP连接用户的地方，将来自于私有IP的流量全部都会阻止并丢掉。
1、阿里云反爬管理 云盾Anti-Bot Service是一款网络应用安全防护产品，专业检测高级爬虫，降低爬虫、自动化工具对网站的业务影响。
2、IP必须需要，ADSL。如果有条件，其实可以跟机房多申请外网IP。在有外网IP的机器上，部署代理服务器。你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处：程序逻辑变化小，只需要代理功能。
3、搭建个人博客：现在很多人都喜欢搭个人博客，我也不能免俗，本来想自己徒手搭建的，不过连主界面都没做出来就放弃了，现在采用wordpress。
4、建议在服务器上安装杀毒软件，进行杀毒。可以通过任务管理器中查看是否异常进程。当前阿里云暂时没有提供杀毒软件，您可以登陆服务器根据自己的日常使用的杀毒软件进行安装即可。
5、有了对高并发的支持，网络爬虫才真正可以达到大数据规模。抓取下来的数据，需要做分词处理，Python在这方面也不逊色，著名的自然语言处理程序包NLTK，还有专门做中文分词的Jieba，都是做分词的利器。数据处理万事俱备，只欠东风。
6、虽然防火墙技术发展到现在有了很多新的理念提出，但是包过滤依然是非常重要的一环，如同四层交换机首要的仍是要具备包的快速转发这样一个交换机的基本功能一样。
1、这是一种网络错误，表示服务器返回的HTTP响应代码是404或5xx，这表明服务器无法处理请求。
2、由于 HTTP/0 协议中没有定义任何 1xx 状态码，所以除非在某些试验条件下，服务器禁止向此类客户端发送 1xx 响应。2xx状态码表成功：这一类型的状态码，代表请求已成功被服务器接收、理解、并接受。
3、· 5xx：处理发生错误，错误来自服务器端。例如，服务器端抛出异常、路由出错、HTTP版本不支持等。HTTP中有四种发送请求的方式：GET、POST、PUT和DELETE。（1）GET：向特定的资源发出请求。
4、爬虫发起抓取，httpcode返回码是403。找不到页面 爬虫发起抓取，httpcode返回码是404。服务器错误 爬虫发起抓取，httpcode返回码是5XX 其他错误 爬虫发起抓取，httpcode返回码是4XX，不包括403和404。
测试网站：在本地浏览器地址栏输入服务器IP地址，确认实例和网站搭建成功 购买域名：可以在阿里云管理控制台中，点击域名，点击域名注册，写一个你要注册的域名。
步骤7：查看环境配置和安装网站。netstat-tunpl该命令让用户查看服务和端口。在sh-1目录下输入#cataccount.log可以看到ftp和mysql的密码。
搭建一个网站需要三件东西 网站域名+网站程序+云服务器（或者虚拟主机）选择服务器主要是看稳定性，服务器用国内的话是需要备案的，域名备案一般是20个工作日左右。
进入了阿里云服务器，服务器需要加载和配置（自动配置），随后弹出成功，这个空壳已经完成了，点击服务器管理可以更好的使用。
下载Xftp6，进入下载页面后，选择Evaluation user / Home & School user，信息随便填，下载地址会发送到你填写的邮箱，下载完成后正常安装即可。
就把它当成一个普通的电脑使用就好。远程连接windows服务器的话在windows下可以使用系统自带的远程桌面来连接，只要你知道服务器的公网ip还有密码就行，用户名如果在服务器没有多用户的前提下那就是administrator。
打开UBUNTU操作系统。找到左下角的图标，并且进行单击。这里弹出很多图标可以选择。我们可以在下方找到软件更新。或者我们可以直接进行搜索。点击进去是这个界面。这里显示了当前所用的服务器。