JustAnotherArchivist
/
little-things
2
0
Fork 0
Code Issues 0 Pull-Requests 0 Releases 0 Wiki Aktivität
48 Commits
1 Branch
1.7 MiB
Struktur: a812cb5fc2
Branches Tags
${ item.name }
Erstelle Branch ${ searchTerm }
von „a812cb5fc2“
${ noResults }
Commit graph

48 Commits (a812cb5fc291e8e22c41a65a15bc965aa8155577)
 

Autor SHA1 Nachricht Datum
  JustAnotherArchivist a812cb5fc2 More snscrape helper tools vor 5 Jahren
  JustAnotherArchivist 3ee3ffc340 Generate commands for Blogspot vor 5 Jahren
  JustAnotherArchivist 5090a8ad02 Enumerate users on a Mastodon instance vor 5 Jahren
  JustAnotherArchivist 0000d8ffd9 Add script to queue derive on IA vor 5 Jahren
  JustAnotherArchivist 6dc711c54e Further helper scripts for snscrape: normalising usernames and extracting them from a list of URLs vor 5 Jahren
  JustAnotherArchivist e3a37455ba Add uniqify vor 5 Jahren
  JustAnotherArchivist 321067819c Proper script for tracking size of uploaded data vor 5 Jahren
  JustAnotherArchivist 5c654cb16b Split out size formatting vor 5 Jahren
  JustAnotherArchivist de2cdc0aae curl with ArchiveBot UA vor 5 Jahren
  JustAnotherArchivist 89ccd68b59 Helper tools for snscrape and the wiki pages vor 5 Jahren
  JustAnotherArchivist f2e836d2e9 Add support for differently formatted digests vor 5 Jahren
  JustAnotherArchivist 94c4f76570 Fix crash when a digest is missing from a record vor 5 Jahren
  JustAnotherArchivist ef78a3318c Colour only the header field names but not the values vor 5 Jahren
  JustAnotherArchivist 9ce4653094 Document colouring and usage vor 5 Jahren
  JustAnotherArchivist e7c5d82254 Coloured WARCs?! vor 5 Jahren
  JustAnotherArchivist 70b413f5c1 Better events: include raw WARC header data and separate HTTP requests into headers and body vor 5 Jahren
  JustAnotherArchivist 641bc7a207 Fix infinite loop at end of WARC vor 5 Jahren
  JustAnotherArchivist a700e8e2fe Add tcp-closer command vor 5 Jahren
  JustAnotherArchivist 859c75a591 Add tool for WARC verification and extraction vor 5 Jahren
  JustAnotherArchivist e867a2327f Replace urlencoded @ symbol vor 5 Jahren
  JustAnotherArchivist cbd952024b Workaround for hash no longer needed with current transfer.sh code vor 5 Jahren
  JustAnotherArchivist 61431c2054 Add VK scraping helper vor 5 Jahren
  JustAnotherArchivist d6ff566c4d Instagram always uses lower-case usernames vor 5 Jahren
  JustAnotherArchivist 138c2a2d39 Get rid of post-processing now that snscrape (dev version) has clean URLs vor 5 Jahren
  JustAnotherArchivist 27b0d2da75 Better username capitalisation extraction method vor 5 Jahren
  JustAnotherArchivist 3aa828a0ac transfer.kiska.pw -> transfer.notkiska.pw vor 5 Jahren
  JustAnotherArchivist 63f4a8b3d3 transfer.sh -> transfer.kiska.pw vor 5 Jahren
  JustAnotherArchivist 0168d50f62 Automatically fix capitalisation of Facebook and Twitter usernames vor 5 Jahren
  JustAnotherArchivist db0104b3c8 Get correct capitalisation for a Facebook username vor 5 Jahren
  JustAnotherArchivist 4a1a9a10e0 Allow overriding the "remote filename" vor 5 Jahren
  JustAnotherArchivist 769f95808e Add ix.io upload script vor 5 Jahren
  JustAnotherArchivist c79721337b +x vor 5 Jahren
  JustAnotherArchivist c30dcf5985 Finding outdated Mastodon instances vor 5 Jahren
  JustAnotherArchivist 1748a6b607 Better workaround for the 5000 results limit; works for FoolFuuka 2.0.1 and up vor 5 Jahren
  JustAnotherArchivist fd680551df Add Bing, Reddit/Pushshift, and FoolFuuka scrapers vor 5 Jahren
  JustAnotherArchivist ede77ad142 Filter Twitter hashtag scrapes based on account scrapes vor 5 Jahren
  JustAnotherArchivist 57ef544c6c Fix line endings vor 5 Jahren
  JustAnotherArchivist 07c3e7baaa Add snscrape helpers vor 5 Jahren
  JustAnotherArchivist b7e3a703d8 Monitor how a pipeline's wget processes are faring vor 5 Jahren
  JustAnotherArchivist 168f61b39a Quote filename so it works with any weird characters in the paths vor 5 Jahren
  JustAnotherArchivist 8f77c8c72a xargs -r flag to not run the second find if the first produces no results (GNU extension) vor 5 Jahren
  JustAnotherArchivist 9d7a4096f9 Pipe into second find directly vor 5 Jahren
  JustAnotherArchivist e3a4bf6a47 Replace slow lsof with procfs access vor 5 Jahren
  JustAnotherArchivist 4a83a54616 Print host for each stuck request vor 5 Jahren
  JustAnotherArchivist 2b2c65f034 Print PID vor 5 Jahren
  JustAnotherArchivist fadb70e297 Fixed version which handles multiple roots correctly vor 5 Jahren
  JustAnotherArchivist d10a1d3675 First set of little things vor 5 Jahren
  JustAnotherArchivist a00607f28e Initial commit vor 5 Jahren