11.27 Scrapy 去重機制

Scrapy 提供了對 request 的去重處理，去重類 在 文件中，路徑為： ，該類裡面有個方法 方法，源碼如下：

def request_seen(self, request):

# 計算 request 的指紋

fp = self.request_fingerprint(request)

# 判斷指紋是否已經存在

if fp in self.fingerprints:

# 存在

return True

# 不存在，加入到指紋集合中

self.fingerprints.add(fp)

if self.file:

self.file.write(fp + os.linesep)

它在 接受請求的時候被調用，進而調用 方法（為 request 生成一個指紋），源碼如下：

def request_fingerprint(request, include_headers=None):

if include_headers:

include_headers = tuple(to_bytes(h.lower())

for h in sorted(include_headers))

cache = _fingerprint_cache.setdefault(request, {})

if include_headers not in cache:

fp = hashlib.sha1()

fp.update(to_bytes(request.method))

fp.update(to_bytes(canonicalize_url(request.url)))

fp.update(request.body or b'')

if include_headers:

for hdr in include_headers:

if hdr in request.headers:

fp.update(hdr)

for v in request.headers.getlist(hdr):

fp.update(v)

cache[include_headers] = fp.hexdigest()

return cache[include_headers]

在上面代碼中我們可以看到

fp = hashlib.sha1()

...

cache[include_headers] = fp.hexdigest()

它為每一個傳遞過來的 URL 生成一個固定長度的唯一的哈希值。再看一下 方法，源碼如下：

def __init__(self, path=None, debug=False):

self.file = None

self.fingerprints = set()

self.logdupes = True

self.debug = debug

self.logger = logging.getLogger(__name__)

if path:

self.file = open(os.path.join(path, 'requests.seen'), 'a+')

self.file.seek(0)

self.fingerprints.update(x.rstrip() for x in self.file)

我們可以看到裡面有 這段代碼，就是通過 set 集合的特點（set 不允許有重複值）進行去重。

去重通過 參數設置，

dont_filter為 false 開啟去重，true為 不去重。