Make 25GB chunks for better uploading. · a1e5b5be25 - archiveteam-megawarc-factory - Gitea: Git with a cup of tea

Преглед на файлове

Make 25GB chunks for better uploading.

master

Alard преди 11 години

родител

213e099906

ревизия

a1e5b5be25

променени са 1 файла, в които са добавени 1 реда и са изтрити 1 реда

Разделен изглед

							
								+ 1
								
								- 1
							
chunkerЦелия файл
								
			@@ -10,7 +10,7 @@
		
			PATH_TO_UPLOADS=$1 # /home/archiveteam/uploads
		
			PATH_TO_TARGET=$2  # /home/archiveteam/processed
		
			MAX_MEGABYTES=$((1024*50))
		
			MAX_MEGABYTES=$((1024*25))
		
			# find every .warc.gz in the upload directory
		
			find $PATH_TO_UPLOADS -type f -name "*.warc.gz" \