Save The Web Project
为了 STWP 不长期咕咕咕🌚,我们将每周发布项目进展简讯。 --- 第 14 周项目摘要。 20230401 ~ 20230403: @jsun969 在尝试给 uglysearch.othing.xyz 写前端:https://github.com/saveweb/saveweb-search-frontend 20230405: saveweb/review-2022 收录 +1 20230403 ~ 20230406: * 播客存档项目开工,写存档工具:https://github.co…
Please open Telegram to view this post
VIEW IN TELEGRAM
Save The Web Project
有朋友问怎么复刻丑搜,你需要:
1. 搭 FreshRSS https://github.com/FreshRSS/FreshRSS
2. 添加订阅源(可以用我们的 https://github.com/saveweb/rss-list 。注意将默认刷新间隔设长些,推荐 6h)
3. 装 MeiliSearch https://github.com/meilisearch/meilisearch/
4. 用 https://github.com/yzqzss/freshrss-db2meili 把 FreshRSS 数据库里的文章增量添加到 MeiliSearch
5. 搭 https://github.com/saveweb/saveweb-search-backend 丑搜后端(捆绑了旧前端)
6. 搭 https://github.com/saveweb/saveweb-search-frontend 丑搜新前端(可选)
不推荐为了复刻而复刻……
你刚搭好的丑搜的文章量肯定不及我们积累了多年的量。🫠
需要数据库 dump 可联系我们。
1. 搭 FreshRSS https://github.com/FreshRSS/FreshRSS
2. 添加订阅源(可以用我们的 https://github.com/saveweb/rss-list 。注意将默认刷新间隔设长些,推荐 6h)
3. 装 MeiliSearch https://github.com/meilisearch/meilisearch/
4. 用 https://github.com/yzqzss/freshrss-db2meili 把 FreshRSS 数据库里的文章增量添加到 MeiliSearch
5. 搭 https://github.com/saveweb/saveweb-search-backend 丑搜后端(捆绑了旧前端)
6. 搭 https://github.com/saveweb/saveweb-search-frontend 丑搜新前端(可选)
不推荐为了复刻而复刻……
你刚搭好的丑搜的文章量肯定不及我们积累了多年的量。🫠
需要数据库 dump 可联系我们。
降本增效中……(砍掉几台多余的服务器,每月省 200¥)
- 丑搜,暂关。
- @code_arxiv_bot ,暂关
- biliarchiver API ,暂关
- bilibili 新 item 通知频道,暂关
- blog.save-web.org ,将迁移
- 旧的互联网公墓 wiki,将合并到 wiki.saveweb.org
- 丑搜,暂关。
- @code_arxiv_bot ,暂关
- biliarchiver API ,暂关
- bilibili 新 item 通知频道,暂关
- blog.save-web.org ,将迁移
- 旧的互联网公墓 wiki,将合并到 wiki.saveweb.org
https://github.com/keirf/greaseweazle/wiki/Blue-Pill-Adapter
准备做两三个 greaseweazle F1 (Blue Pill Adapter) 用于软盘存档项目(磁通量级别地读取软盘原始数据)。在嘉立创打了 25 片 F1 的 PCB,多余的二十多片板子闲着也是闲着。
这里有人要 greaseweazle F1 吗?参与软盘存档,领。
<https://www.tg-me.com/saveweb_projects/115>
准备做两三个 greaseweazle F1 (Blue Pill Adapter) 用于软盘存档项目(磁通量级别地读取软盘原始数据)。在嘉立创打了 25 片 F1 的 PCB,多余的二十多片板子闲着也是闲着。
这里有人要 greaseweazle F1 吗?参与软盘存档,领。
<https://www.tg-me.com/saveweb_projects/115>
GitHub
Blue Pill Adapter
Tools for accessing a floppy drive at the raw flux level - Blue Pill Adapter · keirf/greaseweazle Wiki
Save The Web Project
大家好,经过两个月的摸鱼开发(特别感谢 @MistyNya 😂),我们将开始存档 MediaWiki 以及 DokuWiki 站点。 如果您知道一些 wiki 站点,请在评论区扔链接。中文站优先。 存档工具是在前人的基础上改进/开发的,以GPLv3开源,分别为: MediaWiki: https://github.com/mediawiki-client-tools/mediawiki-scraper/ (又名 wikiteam3 ) https://github.com/saveweb/wikiteam3…
https://github.com/saveweb/pukiwiki-dumper
用于存档 PukiWiki 的 PukiWiki-Dumper 写好了。使用方法与 DokuWiki-Dumper 类似,欢迎使用。
频道里的大家肯定都不是直接的目标用户,估计您根本没听说过这个 Wiki 系统。
#PukiWiki #Japanese
<https://www.tg-me.com/saveweb_projects/16875>
用于存档 PukiWiki 的 PukiWiki-Dumper 写好了。使用方法与 DokuWiki-Dumper 类似,欢迎使用。
频道里的大家肯定都不是直接的目标用户,估计您根本没听说过这个 Wiki 系统。
#PukiWiki #Japanese
<https://www.tg-me.com/saveweb_projects/16875>
GitHub
GitHub - saveweb/pukiwiki-dumper: A tool for archiving PukiWiki
A tool for archiving PukiWiki. Contribute to saveweb/pukiwiki-dumper development by creating an account on GitHub.
Save The Web Project
然后 @wowjerry 发现七牛杭州OSS可以和同地域的七牛qvm内网互通,@MistyNya 也确认了画吧用的就是七牛杭州OSS。事情好玩起来了,我们开了台七牛杭州的机子,可以以 100mbps 的带宽走内网把画吧的七牛OSS上的东西投到我们的七牛OSS上。这样帐单打穿的就不是画吧的钱包,而是我们的😭。 还有更好玩的,机器到手 apt update 发现七牛用的阿里源,有点惊讶,但不多。 直到看到 htop 里的 aliyun-assist 进程时……我陷入了沉思。这东西……不会其实是阿里ECS吧?…
Please open Telegram to view this post
VIEW IN TELEGRAM
# 我们不再存档萌百
去年年后,存档萌娘百科就变得愈发困难。
萌百的 WAF 不断升级,不断推出新的奇葩反爬方式,存档所需的 API 也都关了。
且萌百还对其它镜像站项目做了针对性反爬。
现在已经是军备竞赛了。 wikiteam3 这一通用工具已不能存档萌百。
https://archive.org/details/wiki-zh.moegirl.org.cn-20230814 是我们打的最后一份 wikidump,除非未来萌百主动放宽访问限制,我们应该不会做新的 wikidump 了。
注:网站设置内容墙并不违反 CC BY-NC-SA 3.0
去年年后,存档萌娘百科就变得愈发困难。
萌百的 WAF 不断升级,不断推出新的奇葩反爬方式,存档所需的 API 也都关了。
且萌百还对其它镜像站项目做了针对性反爬。
现在已经是军备竞赛了。 wikiteam3 这一通用工具已不能存档萌百。
https://archive.org/details/wiki-zh.moegirl.org.cn-20230814 是我们打的最后一份 wikidump,除非未来萌百主动放宽访问限制,我们应该不会做新的 wikidump 了。
注:网站设置内容墙并不违反 CC BY-NC-SA 3.0
zh.moegirl.org.cn
萌娘百科 万物皆可萌的百科全书 - zh.moegirl.org.cn
Save The Web Project
尝试跟画吧合作为画师提供作品备份。但与画吧老板交涉无果,谈着谈着他就不回消息了。
非常可惜,截至目前我们只给3位画师提供了备份。
非常可惜,截至目前我们只给3位画师提供了备份。
多年前,🌽🦊说要学习 ArchiveTeam ,建立 STWP 自己的 Tracker、Warrior 。
但是两年了,经过反复鞭尸催促,三个 repos 里还是只有
近日多个项目需要分布式爬网,1️⃣🌉只好整了一个简单的 Tracker 出来。
https://github.com/saveweb/solar_tracker
半个月后就是五四青年节啦,敬告各位青年,不要学习🌽🦊!
但是两年了,经过反复鞭尸催促,三个 repos 里还是只有
README.md
、.gitignore
和一个幻想出来的 apidoc/server.yml
。近日多个项目需要分布式爬网,1️⃣🌉只好整了一个简单的 Tracker 出来。
https://github.com/saveweb/solar_tracker
半个月后就是五四青年节啦,敬告各位青年,不要学习🌽🦊!
pip(x) install https://static.saveweb.org/lowapk_v2-2.0.3-py3-none-any.whl
lowapk_v2
WE NEED YOUR HELP, THIS IA A LONG TERM PROJECT.
ETA: 6000h
追不上,根本追不上。
pip(x) install https://static.saveweb.org/huashijie-1.0.1-py3-none-any.whl
huashijie_work
画世界。与上条消息是不同的项目,可与上面那个可以同时跑。(但单个项目不要多开)
源码: https://github.com/saveweb/huashijie_work
GitHub
GitHub - saveweb/huashijie_work
Contribute to saveweb/huashijie_work development by creating an account on GitHub.
非常神奇啊,目前已知四位朋友各自给 lowapak 和 huashijie 打了 docker image。(两个项目的活跃节点加起来才 49 个,果然朋友们人均 Docker 大师 )
目前,经过激烈角逐,DigitalDragon 打的 images 胜出!
https://hub.docker.com/r/digitaldragons/saveweb-huashijie (
https://hub.docker.com/r/digitaldragons/saveweb-lowapk ()
欢迎各位有赛博洁癖的朋友继续挑战 Docker 的下限!
目前,
https://hub.docker.com/r/digitaldragons/saveweb-huashijie (
49.93 MB
)https://hub.docker.com/r/digitaldragons/saveweb-lowapk (
55.94 MB