feapder调用HTTP代理
Python使用feapder调用Http代理IP的代码样例
温馨提示:
http/https 网页均可适用
运行环境要求 python3.6 以上
使用命令
feapder create -s py3_feapder
创建一个轻量爬虫feapder 不是 python 原生库,需要安装才能使用:
pip install feapder
注意替换代码中的部分信息:username:用户名,password:密码
代码样例中的代理IP和端口均为虚构,请通过91HTTP的API提取链接获取代理IP后使用,避免报错
使用代码示例
import feapder
class Py3Feapder(feapder.AirSpider):
def start_requests(self):
yield feapder.Request("http://api.91http.com/v1/tool/get-my-ip")
def download_midware(self, request):
# 提取代理API接口,获取1个代理IP
api_url = "http://api.91http.com/v1/get-ip?trade_no=xxxxx&secret=xxxxx&num=1&format=text&protocol=&sep=&time=&pw=&isp=&province=&city=&filter="
# 获取API接口返回的代理IP
proxy_ip = feapder.Request(api_url).get_response().text
# 用户名密码授权
username = "username"
password = "password"
proxies={
"http":"http://username:password@168.168.168.168:12345,"
"https":"http://username:password@168.168.168.168:12345"
}
#白名单方式(需提前绑定终端IP)
#proxies={
#"http":"http://168.168.168.168:12345",
#"https":"http://168.168.168.168:12345"
#}
request.proxies = proxies
return request
def parse(self, request, response):
print(response.text)
if __name__ == "__main__":
Py3Feapder().start()
最后修改时间: 4 个月前