48 Commits (a812cb5fc291e8e22c41a65a15bc965aa8155577)
 

Autor SHA1 Mensaje Fecha
  JustAnotherArchivist a812cb5fc2 More snscrape helper tools hace 5 años
  JustAnotherArchivist 3ee3ffc340 Generate commands for Blogspot hace 5 años
  JustAnotherArchivist 5090a8ad02 Enumerate users on a Mastodon instance hace 5 años
  JustAnotherArchivist 0000d8ffd9 Add script to queue derive on IA hace 5 años
  JustAnotherArchivist 6dc711c54e Further helper scripts for snscrape: normalising usernames and extracting them from a list of URLs hace 5 años
  JustAnotherArchivist e3a37455ba Add uniqify hace 5 años
  JustAnotherArchivist 321067819c Proper script for tracking size of uploaded data hace 5 años
  JustAnotherArchivist 5c654cb16b Split out size formatting hace 5 años
  JustAnotherArchivist de2cdc0aae curl with ArchiveBot UA hace 5 años
  JustAnotherArchivist 89ccd68b59 Helper tools for snscrape and the wiki pages hace 5 años
  JustAnotherArchivist f2e836d2e9 Add support for differently formatted digests hace 5 años
  JustAnotherArchivist 94c4f76570 Fix crash when a digest is missing from a record hace 5 años
  JustAnotherArchivist ef78a3318c Colour only the header field names but not the values hace 5 años
  JustAnotherArchivist 9ce4653094 Document colouring and usage hace 5 años
  JustAnotherArchivist e7c5d82254 Coloured WARCs?! hace 5 años
  JustAnotherArchivist 70b413f5c1 Better events: include raw WARC header data and separate HTTP requests into headers and body hace 5 años
  JustAnotherArchivist 641bc7a207 Fix infinite loop at end of WARC hace 5 años
  JustAnotherArchivist a700e8e2fe Add tcp-closer command hace 5 años
  JustAnotherArchivist 859c75a591 Add tool for WARC verification and extraction hace 5 años
  JustAnotherArchivist e867a2327f Replace urlencoded @ symbol hace 5 años
  JustAnotherArchivist cbd952024b Workaround for hash no longer needed with current transfer.sh code hace 5 años
  JustAnotherArchivist 61431c2054 Add VK scraping helper hace 5 años
  JustAnotherArchivist d6ff566c4d Instagram always uses lower-case usernames hace 5 años
  JustAnotherArchivist 138c2a2d39 Get rid of post-processing now that snscrape (dev version) has clean URLs hace 5 años
  JustAnotherArchivist 27b0d2da75 Better username capitalisation extraction method hace 5 años
  JustAnotherArchivist 3aa828a0ac transfer.kiska.pw -> transfer.notkiska.pw hace 5 años
  JustAnotherArchivist 63f4a8b3d3 transfer.sh -> transfer.kiska.pw hace 5 años
  JustAnotherArchivist 0168d50f62 Automatically fix capitalisation of Facebook and Twitter usernames hace 5 años
  JustAnotherArchivist db0104b3c8 Get correct capitalisation for a Facebook username hace 5 años
  JustAnotherArchivist 4a1a9a10e0 Allow overriding the "remote filename" hace 5 años
  JustAnotherArchivist 769f95808e Add ix.io upload script hace 5 años
  JustAnotherArchivist c79721337b +x hace 5 años
  JustAnotherArchivist c30dcf5985 Finding outdated Mastodon instances hace 5 años
  JustAnotherArchivist 1748a6b607 Better workaround for the 5000 results limit; works for FoolFuuka 2.0.1 and up hace 5 años
  JustAnotherArchivist fd680551df Add Bing, Reddit/Pushshift, and FoolFuuka scrapers hace 5 años
  JustAnotherArchivist ede77ad142 Filter Twitter hashtag scrapes based on account scrapes hace 5 años
  JustAnotherArchivist 57ef544c6c Fix line endings hace 5 años
  JustAnotherArchivist 07c3e7baaa Add snscrape helpers hace 5 años
  JustAnotherArchivist b7e3a703d8 Monitor how a pipeline's wget processes are faring hace 5 años
  JustAnotherArchivist 168f61b39a Quote filename so it works with any weird characters in the paths hace 5 años
  JustAnotherArchivist 8f77c8c72a xargs -r flag to not run the second find if the first produces no results (GNU extension) hace 5 años
  JustAnotherArchivist 9d7a4096f9 Pipe into second find directly hace 5 años
  JustAnotherArchivist e3a4bf6a47 Replace slow lsof with procfs access hace 5 años
  JustAnotherArchivist 4a83a54616 Print host for each stuck request hace 5 años
  JustAnotherArchivist 2b2c65f034 Print PID hace 5 años
  JustAnotherArchivist fadb70e297 Fixed version which handles multiple roots correctly hace 5 años
  JustAnotherArchivist d10a1d3675 First set of little things hace 5 años
  JustAnotherArchivist a00607f28e Initial commit hace 5 años