소스 검색

Fix processing of GZ WARCs.

master
arkiver 4 년 전
부모
커밋
2fc496ec40
2개의 변경된 파일3개의 추가작업 그리고 1개의 파일을 삭제
  1. +1
    -0
      .gitignore
  2. +2
    -1
      megawarc

+ 1
- 0
.gitignore 파일 보기

@@ -0,0 +1 @@
*~

+ 2
- 1
megawarc 파일 보기

@@ -435,8 +435,9 @@ class MegawarcPacker(object):
elif filename.endswith(".gz"):
dict_id = None
if "gz" not in self.megawarcs:
base = self.output_basename
self.megawarcs["gz"] = {
"warc": {"file": open(base + ".megawarc.warc.zst", "wb")},
"warc": {"file": open(base + ".megawarc.warc.gz", "wb")},
"json": {"file": gzip.open(base + ".megawarc.json.gz", "wb")},
"tar": {
"file": open(base + ".megawarc.tar", "wb"),


불러오는 중...
취소
저장