Quellcode durchsuchen

Work around warcio not writing the correct WARC-Profile header for revisit records on WARC/1.1

https://github.com/webrecorder/warcio/issues/94
tags/v0.2.1
JustAnotherArchivist vor 4 Jahren
Ursprung
Commit
413435b7fb
1 geänderte Dateien mit 2 neuen und 0 gelöschten Zeilen
  1. +2
    -0
      qwarc/warc.py

+ 2
- 0
qwarc/warc.py Datei anzeigen

@@ -154,6 +154,8 @@ class WARC:
'WARC-Warcinfo-ID': self._metaWarcinfoRecordID,
}
)
# Workaround for https://github.com/webrecorder/warcio/issues/94
responseRecord.rec_headers.replace_header('WARC-Profile', 'http://netpreserve.org/warc/1.1/revisit/identical-payload-digest')
else:
self._dedupeMap[payloadDigest] = (responseRecord.rec_headers.get_header('WARC-Record-ID'), str(r.url), requestDate)
self._warcWriter.write_record(requestRecord)


Laden…
Abbrechen
Speichern