megawarc

Auteur	SHA1	Bericht	Datum
arkiver	1b3f680951	Flush written dictionary.	3 jaren geleden
arkiver	2fc496ec40	Fix processing of GZ WARCs.	4 jaren geleden
arkiver	5468d80e35	Support packing ZST megaWARCs.	4 jaren geleden
Ivan Kozik	f77638dbf7	Remove use of gzip.open and tarfile.open context manager to make this work on Python 2.6	11 jaren geleden
Alard	763e760d40	Fix progress info.	11 jaren geleden
Alard	97b0f0dbb2	Reduce flushing.	11 jaren geleden
Alard	5b5bcf3c62	Progress info for large files.	11 jaren geleden
Alard	d587465640	Check for trailing zeroes in gzips.	11 jaren geleden
Alard	f74a4f1d7c	Make it more efficient; use gunzip -t to test. This new version uses only one read pass (for valid .warc.gz). It uses the gunzip utility to check the gzip files (faster than Python's GzipFile).	11 jaren geleden
Alard	01fc97cde7	Use base64-encoded headers.	11 jaren geleden
Alard	b7e7f571d4	Use real tar header (perhaps > 512 bytes).	11 jaren geleden
Alard	157d220674	megawarc pack: use real length of tar header.	11 jaren geleden
Alard	d0dd045ee1	Fixing script.	11 jaren geleden
Alard	51dbb8207b	Forgot to import zlib.	11 jaren geleden
Alard	e61ef326a7	Add zlib.error as a potential gzip test result.	11 jaren geleden
Alard	fb0ba014ff	Fixed gzip checking.	11 jaren geleden
Alard	a55b7b8adc	Add 'pack' option to pack files.	11 jaren geleden
Alard	abd3404b2f	OrderedDict for Python 2.6.	11 jaren geleden
Alard	f9af817d51	First version.	11 jaren geleden