Python 'Requests' 모듈을 사용한 프록시
Python용 뛰어난 Requests 모듈에 대해 간략하게 설명하겠습니다.
문서에서는 '프록시' 변수가 무엇을 포함해야 하는지 찾을 수 없는 것 같습니다.표준 "IP:PORT" 값을 가진 dict를 전송하면 2개의 값을 요구하는 dict가 거부됩니다.첫 번째 값은 ip이고 두 번째 값은 port라는 거죠?
문서에서는 이것만 언급하고 있습니다.
proxies : (임의) 프록시 URL에 대한 사전 매핑프로토콜
그래서 이걸 해봤는데...내가 무엇을 해야 할까요?
proxy = { ip: port}
dict에 넣기 전에 어떤 타입으로 변환해야 하나요?
r = requests.get(url,headers=headers,proxies=proxy)
proxies은 dict " " 입니다{"protocol": "scheme://ip:port", ...}. http, https 및 ftp 프로토콜을 사용하여 요청에 대해 다른(또는 동일한) 프록시를 지정할 수 있습니다.
http_proxy = "http://10.10.1.10:3128"
https_proxy = "https://10.10.1.11:1080"
ftp_proxy = "ftp://10.10.1.10:3128"
proxies = {
"http" : http_proxy,
"https" : https_proxy,
"ftp" : ftp_proxy
}
r = requests.get(url, headers=headers, proxies=proxies)
문서에서 추론:
★★★★★★★★★★★★★★★★★★:
method– "요청" 입니다.
url– "Request " URL.
proxies– (옵션) 프록시 URL에 대한 사전 매핑프로토콜
에서는, 를 도 이것을 할 수 .HTTP_PROXY,HTTPS_PROXY , , , , 입니다.FTP_PROXY경경: :
export HTTP_PROXY=10.10.1.10:3128
export HTTPS_PROXY=10.10.1.11:1080
export FTP_PROXY=10.10.1.10:3128
Windows 의 경우:
set http_proxy=10.10.1.10:3128
set https_proxy=10.10.1.11:1080
set ftp_proxy=10.10.1.10:3128
프록시를 사용해야 하는 경우 proxies 인수를 사용하여 개별 요청을 원하는 방식으로 설정할 수 있습니다.
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "https://10.10.1.10:1080",
}
requests.get("http://example.org", proxies=proxies)
Basic Auth를 합니다.http://user:password@host.com/★★★★
proxies = {
"http": "http://user:pass@10.10.1.10:3128/"
}
urlib에는 시스템의 프록시 설정을 선택하기 위한 매우 좋은 코드가 있으며, 실제로 사용하기에는 올바른 형식이 되어 있습니다.다음과 같이 사용할 수 있습니다.
import urllib
...
r = requests.get('http://example.org', proxies=urllib.request.getproxies())
이 기능은 매우 잘 작동하며 urlib는 Mac OS X 및 Windows 설정도 알고 있습니다.
수락된 답변은 좋은 시작이었지만 계속해서 다음과 같은 오류가 발생했습니다.
AssertionError: Not supported proxy scheme None
이 문제는 다음과 같이 프록시 URL에 http://를 지정하도록 수정되었습니다.
http_proxy = "http://194.62.145.248:8080"
https_proxy = "https://194.62.145.248:8080"
ftp_proxy = "10.10.1.10:3128"
proxyDict = {
"http" : http_proxy,
"https" : https_proxy,
"ftp" : ftp_proxy
}
나는 왜 원본이 어떤 사람들에게는 먹히지만 저에겐 먹히지 않는지에 관심이 있다.
편집: 메인 답변이 갱신되어 이것을 반영하고 있습니다. : )
쿠키와 세션 데이터를 확인하려면 다음과 같이 하는 것이 좋습니다.
import requests
proxies = {
'http': 'http://user:pass@10.10.1.0:3128',
'https': 'https://user:pass@10.10.1.0:3128',
}
# Create the session and set the proxies.
s = requests.Session()
s.proxies = proxies
# Make the HTTP request through the session.
r = s.get('http://www.showmemyip.com/')
8년 늦었다.하지만 나는 다음을 좋아한다.
import os
import requests
os.environ['HTTP_PROXY'] = os.environ['http_proxy'] = 'http://http-connect-proxy:3128/'
os.environ['HTTPS_PROXY'] = os.environ['https_proxy'] = 'http://http-connect-proxy:3128/'
os.environ['NO_PROXY'] = os.environ['no_proxy'] = '127.0.0.1,localhost,.local'
r = requests.get('https://example.com') # , verify=False
이 문서에서는 프록시 사용에 대한 명확한 예를 보여 줍니다.
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
requests.get('http://example.org', proxies=proxies)
그러나 스키마가 동일하더라도 개별 URL에 대해 프록시를 구성할 수 있다는 사실은 문서화되지 않았습니다.이것은 스크랩하려는 웹 사이트마다 다른 프록시를 사용할 때 유용합니다.
proxies = {
'http://example.org': 'http://10.10.1.10:3128',
'http://something.test': 'http://10.10.1.10:1080',
}
requests.get('http://something.test/some/url', proxies=proxies)
또한.requests.get기본적으로는requests.Session후드 아래에 있으니, 만약 당신이 더 제어가 필요하다면, 그것을 바로 사용하세요.
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
session = requests.Session()
session.proxies.update(proxies)
session.get('http://example.org')
사전에 지정된 스키마/url과 일치하지 않는 모든 트래픽을 처리하는 폴백(기본 프록시)을 설정하는 데 사용합니다.
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
session = requests.Session()
session.proxies.setdefault('http', 'http://127.0.0.1:9009')
session.proxies.update(proxies)
session.get('http://example.org')
프록시 graber를 작성했습니다.또한 입력 없이 같은 grabed proxy로 접속할 수 있습니다.
#Import Modules
from termcolor import colored
from selenium import webdriver
import requests
import os
import sys
import time
#Proxy Grab
options = webdriver.ChromeOptions()
options.add_argument('headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://www.sslproxies.org/")
tbody = driver.find_element_by_tag_name("tbody")
cell = tbody.find_elements_by_tag_name("tr")
for column in cell:
column = column.text.split(" ")
print(colored(column[0]+":"+column[1],'yellow'))
driver.quit()
print("")
os.system('clear')
os.system('cls')
#Proxy Connection
print(colored('Getting Proxies from graber...','green'))
time.sleep(2)
os.system('clear')
os.system('cls')
proxy = {"http": "http://"+ column[0]+":"+column[1]}
url = 'https://mobile.facebook.com/login'
r = requests.get(url, proxies=proxy)
print("")
print(colored('Connecting using proxy' ,'green'))
print("")
sts = r.status_code
여기 python 기본 클래스가 있습니다.요청 모듈에는 프록시 설정과 스톱워치가 포함되어 있습니다!
import requests
import time
class BaseCheck():
def __init__(self, url):
self.http_proxy = "http://user:pw@proxy:8080"
self.https_proxy = "http://user:pw@proxy:8080"
self.ftp_proxy = "http://user:pw@proxy:8080"
self.proxyDict = {
"http" : self.http_proxy,
"https" : self.https_proxy,
"ftp" : self.ftp_proxy
}
self.url = url
def makearr(tsteps):
global stemps
global steps
stemps = {}
for step in tsteps:
stemps[step] = { 'start': 0, 'end': 0 }
steps = tsteps
makearr(['init','check'])
def starttime(typ = ""):
for stemp in stemps:
if typ == "":
stemps[stemp]['start'] = time.time()
else:
stemps[stemp][typ] = time.time()
starttime()
def __str__(self):
return str(self.url)
def getrequests(self):
g=requests.get(self.url,proxies=self.proxyDict)
print g.status_code
print g.content
print self.url
stemps['init']['end'] = time.time()
#print stemps['init']['end'] - stemps['init']['start']
x= stemps['init']['end'] - stemps['init']['start']
print x
test=BaseCheck(url='http://google.com')
test.getrequests()
조금 늦었지만 프록시 스크랩과 HTTP POST 또는 GET 작성을 단순화하는 래퍼 클래스가 있습니다.
프록시 요구
https://github.com/rootVIII/proxy_requests
테스트 완료 후 다음 코드가 동작합니다.HTTPProxyAuth를 사용해야 합니다.
import requests
from requests.auth import HTTPProxyAuth
USE_PROXY = True
proxy_user = "aaa"
proxy_password = "bbb"
http_proxy = "http://your_proxy_server:8080"
https_proxy = "http://your_proxy_server:8080"
proxies = {
"http": http_proxy,
"https": https_proxy
}
def test(name):
print(f'Hi, {name}') # Press Ctrl+F8 to toggle the breakpoint.
# Create the session and set the proxies.
session = requests.Session()
if USE_PROXY:
session.trust_env = False
session.proxies = proxies
session.auth = HTTPProxyAuth(proxy_user, proxy_password)
r = session.get('https://www.stackoverflow.com')
print(r.status_code)
if __name__ == '__main__':
test('aaa')
사이트 "https://free-proxy-list.net"에서 프록시를 가져와 "Elite Proxy Switchher"(형식 IP:PORT)와 같은 도구와 호환되는 파일에 데이터를 저장하는 몇 가지 코드를 공유합니다.
##PROXY_UPDATER - https://free-proxy-list.net/ 에서 무료 프록시를 입수할 수 있습니다.
from lxml.html import fromstring
import requests
from itertools import cycle
import traceback
import re
######################FIND PROXIES#########################################
def get_proxies():
url = 'https://free-proxy-list.net/'
response = requests.get(url)
parser = fromstring(response.text)
proxies = set()
for i in parser.xpath('//tbody/tr')[:299]: #299 proxies max
proxy = ":".join([i.xpath('.//td[1]/text()')
[0],i.xpath('.//td[2]/text()')[0]])
proxies.add(proxy)
return proxies
######################write to file in format IP:PORT######################
try:
proxies = get_proxies()
f=open('proxy_list.txt','w')
for proxy in proxies:
f.write(proxy+'\n')
f.close()
print ("DONE")
except:
print ("MAJOR ERROR")
언급URL : https://stackoverflow.com/questions/8287628/proxies-with-python-requests-module
'source' 카테고리의 다른 글
| ES6의 화살표 함수 구문을 제너레이터와 함께 사용할 수 있습니까?(표준 표기법) (0) | 2022.09.25 |
|---|---|
| JSch 사용 시 "비활성 개인 키" (0) | 2022.09.25 |
| Java 32비트 및 64비트 호환성 (0) | 2022.09.25 |
| Java 32-bit vs 64-bit compatibility (0) | 2022.09.25 |
| PHP에서 데이터베이스 암호를 보호하는 방법 (0) | 2022.09.25 |