咸鱼的小鱼塘

友人

Tue, 10 Jul 2018 18:56:00 +0800

咱的朋友们

现在这个时代是浮躁的时代，忙着赚钱忙着被生活压迫，已经很少有人能静下心坐下来写点什么。

相比于乱七八糟充满营销号贩卖焦虑的微信公众号，我更喜欢那种自己建站自己维护的独立博客。

一个精心打磨的博客，背后都是一个充满工匠精神的灵魂。而这种人，正是现在快节奏社会所欠缺的。

他们注定不会平凡。

所以，隆重推荐我的朋友给你们，希望你们也能互相认识，成为好朋友~

(按添加时间排序，排名不分先后)

Rex Zeng ⇒ https://www.rexskz.info/
Printempw ⇒ https://printempw.github.io/
Rikumi ⇒ https://craft.rkm.mx/
辣樱 ⇒ https://senajun.github.io/
新一 ⇒ https://a-wing.top/
白泠 ⇒ https://kaf.moe/
量子幽灵 ⇒ https://blog.quantumghost.dev/
Alpha UMi ⇒ https://cynosura.one

更新于 2026.10.25，已检查链接有效性

关于

Sun, 20 Aug 2017 21:38:52 +0800

关于我

zjyl1994，现网名“鱼sifu”，之前叫“咸鱼”，这也是站名的由来。

普通的后端程序员，到处逛吃逛吃的民间食物品尝家。

16年毕业于某师范大学计算机专业，目前在某中厂做后端开发。

专职 Golang 程序员，之前主写 PHP，也写过不少 Python。

24年成为明日方舟玩家，主推干员杰西卡。

希望有一天可以赚很多的钱，完成自己想做的事情。

关于这个博客

16年开始，自己买服务器装Wordpress写博客。由于数据损毁，又没有备份，所以之前的文章全都丢了。

第2代开始用静态网站生成器+Markdown编写文章，部署在自己的私有服务器上。

现在的博客算是第3代自建博客，整体托管在Cloudflare Pages上。同时做了全站图片的WebP化改造。

这个博客基于 Hugo静态网站生成器构建，搭配的 PaperMod主题。

博客的源码在 zjyl1994/blog 。

关于这些内容

本站内容如非特殊说明，都是我自己写的原创内容。

对于本站原创内容，使用署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议进行授权。

RLCD看板

Sun, 21 Jun 2026 10:30:00 +0800

最近在抖音刷到了一个大佬制作的黄金价格看板，询问后得知硬件是微雪的RLCD开发板，淘宝搜了一下只要150。于是萌生了我也要一个的想法，立刻下单。由于我对嵌入式一窍不通，所以本次全程是VibeCoding的。

设备介绍

内置了温湿度传感器，WiFi、蓝牙、还有喇叭和麦克风，处理器选用的ESP32-S3处理器配8M的PSRAM，16M的Flash可以放下一套还可以的ttf字体。

第一版

首先考虑我的需求，我日常使用OpenCode进行开发，每次Vibe期间我都会并行去做其他内容，经常会发生AI完成后我不知道，等很久回来才发现AI结束出错了（或者等待我给出权限）。所以我需要实现一个消息提示面板，AI完成工作后发送振铃通知给我。

于是有了第一版设计, 基调是使用WiFi链接，MQTT推送消息线给板子，实现主板和控制解耦。这样我在开发过程中可以使用现有的MQTT服务器和工具链进行调试，而不用准备对应的业务服务器。

第二版

在使用了一段时间后，我发现大字时钟非常浪费显示内容，而且集成的Unifont只有16px，放在办公桌上并不能一眼看出来。所以我就有了重构的想法。

新的重构计划是，画面分成四个部分，底部显示消息，左上角显示时钟，右上角显示一些金融相关信息，方便实时查看资产情况。

后来发现还有改造空间，底部的消息区太大了，所以重新调整显示布局，于是有了最终版本

调整字号图标这些细节后得到了

左侧展示时钟、日期，下面两组Agent红绿灯展示不同OpenCode的状态，WORK时灯会闪烁。右侧展示我关心的金融数据。底部是可以自定义推送的三行文本消息。

技术细节上来说，右侧INFO区是一个自动翻页的多行文本最长支持48行，底部是一个三行文本消息区，会自动计算位置居中显示。超出的也会滚动显示并且支持timeout和按键已读/召回消息。

由于板子性能有限，MQTT只提供不同组件的直接操控。一些定制逻辑我开发了一个服务端进行编排，包括OpenCode插件上报的状态、金融数据的配置和刷新。

现在的版本我开源并放在 GitHub 可以直接去仓库中打开查看。

board中存储的是设备固件，可以使用idf.py build flash直接构建。 plugin中存储的是OpenCode插件，可以复制到~/.config/opencode/plugins,修改上报的服务器即可。 server中存储的是Go编写的服务，封装插件上报状态和金融定时逻辑转化为MQTT消息进行推送。

后记

本来我是想用MicroPython实现一版本的，为此我还移植了一套MicroPython，后来想来我也是用OpenCode代工，不如直接让AI写ESP-IDF C/C++。

这个我自己移植的版本也可以看看 MicroPython For RLCD

整个开发过程中，最重要的就是官方样例代码，让AI去读官方怎么实现的，然后抄到你的项目来，这样才能顺利驱动所有底层硬件设备。有些不清楚的内容也可以把原理图截图给AI来读图识别，把结论交给CodeAgent施工。

链接

2025 上海游记

Sun, 11 Jan 2026 10:27:00 +0800

趁着2025的尾巴，去了一次上海。拍了一些照片，记录一下

上海三件套

经典上海打卡三件套，这个机位在北外滩公园，人很少视野开阔，拍起来也很有特色。

外滩

最经典的外滩机位，人山人海，不是元旦假期的晚上都挪不动脚步。

万国建筑群,这边好多银行大楼至今仍然是银行

还有很著名的和平饭店

静安寺

闹市中的金色佛寺，里面真的有大和尚在做法事。

豫园&城隍庙

豫园是典型的江南园林，门票要提前网上预约城隍庙不用门票，财神和月老那边人都络绎不绝，出于尊重没怎么拍神仙。这是外面小吃街的饭店。

武康大楼

莫名其妙火起来的打卡点，路过也去拍了照。旁边维持秩序的安保人员也在好奇这有什么拍的。

孙先生

上海名人故居很多，孙先生的故居也在这。找机会也得去南京拜一拜孙先生。

其他

很著名的抗战遗迹，致敬800壮士

上海美术馆又名中华艺术宫，是当年世博会的中国馆，好多好多画。很多艺术画作，看懂的看不懂的，就这一张我很熟悉，因为他是上学时候教材里的鲁迅先生。

江南水乡普通古镇，一条商业街沿河设置，后面全是在卖的小房子。老外超级多，韩语泰语还有东南亚口音的中文都有，看老外穿汉服打卡也挺有意思的。另外，这的小杨生煎门店超小要等位。离地铁口也挺远，至少2km。

很普通的城市一景，应该没人猜得到这是哪里吧？

凭当日机票磁悬浮8折，40块钱，8分钟不到就到了浦东机场。

后记

上海元旦的温度和广东这边冬季差不多，没想象中的冷。这下北上广深四个一线城市我算是都去过了。

2026 数字生活提升计划

Sun, 21 Dec 2025 10:27:00 +0800

为了迎接2026年，我计划提升我的数字生活体验。因此决定把密码管理器、云笔记迁移到境内的服务器上提升使用体验。

我有一个很重要的刚需就是Web端，公司电脑上有深信服等审计工具，所以很多需要安装客户端的产品我都不能使用。

本篇文章我不会详细介绍每个服务的用法，相关服务知名度很高，网上视频非常多，我这里只记录我自己个人觉得的最佳部署方式。

服务部署

服务器部署容器时，我选择使用podman+quadlet的方式，这样可以与systemd进行集成，不需要管理散落的docker compose文件。

fedora已经自带podman了，如果是ubuntu可以使用apt安装。

sudo apt install podman

Vaultwarden 密码管理器

Vaultwarden是一个Bitwarden的服务器端实现，我将把我的密码管理器迁移到这个服务器上。

新建一个文件~/.config/containers/systemd/vaultwarden.container，内容如下：

[Unit]
Description=Vaultwarden container
After=network-online.target

[Container]
AutoUpdate=registry
Image=ghcr.io/dani-garcia/vaultwarden:latest
Exec=/start.sh
Environment=DOMAIN=https://vault.example.com
Environment=ROCKET_PORT=8080
Environment=ROCKET_ADDRESS=0.0.0.0
Environment=SIGNUPS_ALLOWED=false
Environment=INVITATIONS_ALLOWED=false
Volume=%h/vaultwarden:/data/
PublishPort=127.0.0.1:8181:8080

[Service]
Restart=on-failure
RestartSec=5

[Install]
WantedBy=default.target

然后执行

systemctl --user daemon-reload
systemctl --user enable vaultwarden
systemctl --user start vaultwarden

配置你的反代指向http://127.0.0.1:8181即可访问你部署的实例。

注意，首次需要设置SIGNUPS_ALLOWED=true注册第一个账号，注册后再关闭，避免其他人进来注册滥用。如果你真有共享需求也应该通过邀请的形式发送链接给好友，而不是开放自助注册。

Trilium 笔记

Trilium是一个基于Web的笔记应用，我将把我的笔记迁移到这个服务器上。

在此之前我都是使用Joplin+WebDAV，但是Joplin刚需客户端同步，没法直接Web编辑，并且E2EE只对服务器端设防客户端却是明文存储，所以经过精挑细选选择了Trilium。

[Unit]
Description=Trilium Notes Container (Quadlet)
After=network.target

[Container]
Image=docker.io/triliumnext/trilium:v0.100.0
Volume=%h/trilium:/home/node/trilium-data
PublishPort=127.0.0.1:9980:8080

[Service]
Restart=on-failure

然后执行

systemctl --user daemon-reload
systemctl --user enable trilium
systemctl --user start trilium

美中不足的就是，截至写文的时候还没有rootless镜像，导致镜像目录中的文件还都是UID:10099的权限。不过仅仅影响备份场景，日常使用不受影响。

配置你的反代指向http://127.0.0.1:9980即可访问你部署的实例。首次访问需要设置主密码，务必记住。

Backrest 备份

有了以上这些重要的自部署服务，最重要的就是备份。考虑到我现有的服务器资源都在深圳，互相备份不是好的灾备方案，最好的选择就是异地备份。所以直接去Backblaze开了一个美西的B2存储桶专供备份使用，B2在10GB以内是免费的，超出以后每1TB $5/月，比较划算。

注意，开的存储桶请选择private权限，除非你想让全世界都可以下载。

部署过程：

下载restic，一般vps选择linux_amd64版本。
上传到vps，bunzip2解压，复制到/usr/bin目录下。
下载backrest，一般vps选择linux_x86_64版本。
上传到vps，tar xvfz 解压，执行其中的install.sh。

之后你就可以在 http://localhost:9898 访问backrest的控制面板了，配置合适的反代即可通过域名访问。

不要使用ubuntu中的restic，版本太老backrest不支持。要自己去下载最新二进制文件安装。

界面配置概念和restic相同，创建Repo，创建要备份的计划，触发时间，设置保留副本数即可。

由于Trilium的权限问题，所以Backrest不适合放在容器中使用，我直接在主机上用Root权限的systemd运行，这样能直接读写需要备份的数据。

笔记App

Trilium Web端直接访问域名即可，输入主密码就能在任何设备上记录并查阅你的笔记。

安卓平台有一个第三方安卓App TriliumDroid，在我的三星手机上运行一切正常，在小米手机上每次都需要重新同步才能使用，不过不耽误什么。

附录

2025 博客改版

Mon, 10 Nov 2025 22:28:00 +0800

马上要迎来新的一年了，对我的博客做了一些小小的改动

更换博客主题为PaperMod
更换字体为霞鹜文楷
升级Hugo版本
规范化图片存储格式，跨入webp时代
移除不被支持的旧页面
更换favicon为《上任达维镇》的杰西卡头像~

Docker 配置代理

Mon, 06 Oct 2025 11:50:00 +0800

国内的网络环境大家都懂，没有科学工具的可以不用看了。

我的开发环境Win11+VirtualBox中跑的Fedora Server，后台无头启动，所以常规的代理配置方法不奏效。

VirtualBox虚拟机配置的桥接网络和HostOnly，使用HostOnly网卡与宿主机通信，此时就能固定宿主机IP为192.168.56.1了。假设此时主机上开了局域网代理在7890端口，所以我们得到了一个稳定的http/https代理：http://192.168.56.1:7890

首先修改Docker Daemon的配置文件，添加/etc/systemd/system/docker.service.d/http-proxy.conf，内容如下：

[Service]
Environment="HTTP_PROXY=http://192.168.56.1:7890"
Environment="HTTPS_PROXY=http://192.168.56.1:7890"
Environment="NO_PROXY=localhost,127.0.0.1,192.168.56.0/24"

然后重启Docker Daemon：

sudo systemctl daemon-reload
sudo systemctl restart docker

上面的代理只能加速docker pull/push的速度在使用docker build的时候，构建阶段也需要配置代理，否则会异常缓慢。

构建时需要添加网络参数--network=host，并且指定--build-arg参数挂代理。最后能得到完整的构建命令： docker build --network=host --build-arg http_proxy=http://192.168.56.1:7890 --build-arg https_proxy=http://192.168.56.1:7890 -t your_image_name:latest .

日常使用可以在~/.bashrc添加alias，方便使用：

alias docker-build='docker build --network=host --build-arg http_proxy=http://192.168.56.1:7890 --build-arg https_proxy=http://192.168.56.1:7890'

这样，直接使用docker-build -t your_image_name:latest .即可。

Cap 的 Go 后端

Thu, 11 Sep 2025 07:38:00 +0800

Cap

Cap是个基于PoW工作量证明的验证码体系，用来给每一次请求添加一定的CPU成本，防止恶意请求。真正的客户只要计算一次，消耗一次成本。恶意尝试需要计算成千上万次，大大增加成本，使其放弃尝试。

这个验证码的主要适用场景是保护登录表单，防止暴力破解在你的接口上跑字典。让攻击者的每次请求都有更高的CPU成本。如果你需要智能防爬，可以考虑使用Anubis这款WAF。

原版的 Cap 基于Javascript实现，提供了独立的验证服务来方便和其他程序进行集成。但是对于我这个Redis依赖都不愿意引入的人来说，是非常难受的。所以我搞了个Go后端，方便直接集成到现有的系统里。

那么如何使用呢？

首先你需要安装我写的包 go get github.com/zjyl1994/cap-go。
实现IStorage，提供token数据的保存接口。
注册POST接口，/cap/challenge，对接cap.CreateChallenge的输出。
注册POST接口，/cap/redeem，对接cap.RedeemChallenge的输入输出。
对接前端验证组件，这里使用官方的@cap.js/widget组件对接，记得data-cap-api-endpoint为你注册的验证端口地址。
用户操作前端组件验证通过后，会给一个token，你可以使用cap.ValidateToken来验证token是否有效。

示例

这里有我写的简单示例，可以直接运行。

https://github.com/zjyl1994/cap-go/tree/master/examples

当然，这里为了简化实现，没有正确实现过期动作，推荐真正使用的时候引入freecache，提供空间固定的kv存储。

下面给一个我在生产环境使用的IStorage：

import (
	"time"

	"github.com/coocood/freecache"
)

type freeCacheStorage struct {
	cache *freecache.Cache
}

// NewFreeCacheStorage 创建一个新的存储实例
// capacity 单位是字节，例如 100 * 1024 * 1024 表示 100MB
func NewFreeCacheStorage(capacity int) *freeCacheStorage {
	return &freeCacheStorage{
		cache: freecache.NewCache(capacity),
	}
}

func (f *freeCacheStorage) Get(key string) string {
	value, err := f.cache.Get([]byte(key))
	if err != nil {
		return ""
	}
	return string(value)
}

func (f *freeCacheStorage) Set(key, data string, expire time.Time) {
	var ttl int
	if expire.IsZero() {
		ttl = 0 // 不过期
	} else {
		ttl = int(time.Until(expire).Seconds())
		if ttl < 1 {
			ttl = 1 // freecache 最小为 1 秒
		}
	}
	f.cache.Set([]byte(key), []byte(data), ttl)
}

func (f *freeCacheStorage) Del(key string) {
	f.cache.Del([]byte(key))
}

如果你有持久化需求，也可以实现该接口直接把数据写入数据库。不过对于登陆表单这个场景来说，没有必要。所以单纯的内存存储就够了。

打造自己的 Seedbox

Wed, 26 Mar 2025 23:45:00 +0800

背景

曾经看番的好去处B站越来越烂了，导致完全没兴趣续费大会员。所以我尝试回到过去，重新捡起来 BT 下载。

很庆幸，2025年动漫花园和nyaa都还在，而且一直有更新。为此我还组装了一部小的全闪下载机进行 BT 下载。

但是很快我就发现一个问题，速度非常不理想，首先我的宽带是一个N层NAT的私人宽带，不仅无法连接很多Tracker，而且无法贡献上传。下完就跑可不是什么好行为，这算是 BT 吸血，所以我决定自建一个BT Seedbox，在公网上下载顺便保种，然后用 HTTP 拖回本地进行观看。

VPS 选择

BT不同于PT，有一个最大的问题就是蜜罐钓鱼，当你连上某些蜜罐以后，版权方就会给你的主机商发DMCA函。一般这个时候主机商就会封掉你的机器保平安，根据主机商的ToS，你可能被清退或者Ban机。

一般来说此时就需要DMCA Free的主机商了，其中 BuyVM 的卢森堡机房是很多人都在推荐的，卢森堡是欧洲非常小的大公国，独立主权。根据 BuyVM 的 ToS，处理DMCA需要卢森堡当地线下出警。（基本上约等于是不会封的了）

不过这个机房在6个月左右会进行一次迁移，根据主机商在 LET 的说法，新的搬迁目的地会是瑞士。据他所称，搬去瑞士后服务不变，拭目以待吧。

搭建 Seedbox

基本环境

首先需要一台 BuyVM 的卢森堡主机，通常需要抢购。3.5刀一个月，1C1G 20G的硬盘，G口无限流量。北京时间每天晚上9-10点补货。

同时，你也需要去抢购一下对应区域的存储块，1.25刀/256GB/月。也是每天晚上9-10点补货。（存储块无法跨区挂载，也无法在没有机器的情况下提前购买）1T以下的小型存储块非常抢手，一般半小时不到就没了，所以关注几个 BuyVM 补货频道，收到通知第一时刻起来抢很容易成功。

我现在的环境是3.5刀的主机+2.5刀的存储块，每月花费6刀，按当前汇率年付约500人民币。

购买好以后，需要在 Stallion 后台绑定存储块。然后进行分区，我所使用的挂载点是 /data。

考虑到内存使用量可能会较高，所以添加了2GB的Swap文件，不过从后面来看，基本没有使用到。

这一部分网上教程很多，跟着教程走就好了。

安装 BT 客户端

我使用的是 qBittorrent-Enhanced-Edition 作为 BT 客户端，他能防止迅雷吸血等多种 BT 问题。

首先需要安装 qBittorrent-Enhanced-Edition 客户端，他是一个静态编译的二进制文件，不需要任何依赖。

wget https://github.com/c0re100/qBittorrent-Enhanced-Edition/releases/download/release-5.0.4.10/qbittorrent-enhanced-nox_x86_64-linux-musl_static.zip
unzip qbittorrent-enhanced-nox_x86_64-linux-musl_static.zip
sudo mv ./qbittorrent-nox /usr/local/bin/qbittorrent-nox
sudo chmod +x /usr/local/bin/qbittorrent-nox

创建对应的用户和数据文件夹

sudo useradd -m qbit
sudo mkdir -p /data/qbittorrent
sudo chown qbit:qbit /data/qbittorrent

然后需要配置启动它的 systemd 文件,创建/etc/systemd/system/qbittorrent.service文件并粘贴以下内容。

[Unit]
Description=qBittorrent-nox service
Documentation=man:qbittorrent-nox(1)
Wants=network-online.target
After=local-fs.target network-online.target nss-lookup.target

[Service]
Type=simple
PrivateTmp=false
User=qbit
ExecStart=/usr/local/bin/qbittorrent-nox
TimeoutStopSec=1800

[Install]
WantedBy=multi-user.target

保存后，使用以下命令启动 qBittorrent 服务

sudo systemctl daemon-reload
sudo systemctl enable qbittorrent.service
sudo systemctl start qbittorrent.service

此时运行systemctl status qbittorrent.service可以查看服务状态。

可以看到 qbee 的 web 端口已经在 localhost:8080 启动了，会有一行 Admin Password 记录了本次部署的初始密码。但是此时我们还无法访问，因为我们还没有配置反向代理。

配置反向代理

Caddy 作为新时代的 HTTP 服务器，已经进入 Ubuntu 的软件源了，可以从 sudo apt install caddy 直接进行安装。当然你会玩 Nginx 的话，也可以自己配置。

首先需要创建一个 /etc/caddy/Caddyfile 文件，内容如下：

qbittorrent.example.com {
    reverse_proxy http://localhost:8080
}

files.example.com {
    file_server {
        root /data/qbittorrent
        browse
    }
}

然后保存后，使用以下命令启动 Caddy 服务

sudo systemctl enable caddy.service
sudo systemctl start caddy.service

配置 BT 客户端

访问 qbittorrent.example.com 后，会提示你输入用户名和密码，默认的用户名是 admin，密码就是你在 systemctl status qbittorrent.service 中看到的 Admin Password。然后点击界面上的“蓝色齿轮”进入 qBittorrent 的设置，Behavior -> Language -> User Interface Language，找到“简体中文”然后点Save按钮就切换到中文了。

再次点击“蓝色齿轮”进入 qBittorrent 的设置，配置以下内容： 下载 -> 默认保存路径 填写 /data/qbittorrent。 WebUI -> 验证 -> 用户名和密码 改成你想要的值。然后点击最下面的保存按钮。

此时，就都配置完了，你可以使用 qBittorrent 来愉快的下载 BT 了。

访问下载的文件

访问 files.example.com 就可以查看到下载好的文件。

卢森堡到大陆的网络质量很差，无法支撑大部分下载内容的在线流畅播放，所以最好还是用其他手段拖回本地 NAS。

这种就可以使用Aria2或者其他离线挂机软件以接近国际端口满速往回拖了。

后记

在我写这篇文章的时候，我的 Seedbox 已经运转超过24小时了。

理论上来说，搞这个是比叔叔那边充钱要贵的，但是 BT 嘛，玩的开心最重要。

也许正在 BT 下载的你，Peer 列表里和你交换数据的某一台卢森堡主机就是我的 :P

Golang 优化之合并请求

Sun, 23 Mar 2025 20:00:00 +0800

很多时候，一些请求是可以合并的，比如库存扣减常用的 UPDATE qty = qty -1 如果我们在并发场景下，每个请求都去执行一次 UPDATE qty = qty -1，那么就会有大量的请求竞争同一行数据，造成性能瓶颈。所以我们可以通过合并请求的方式，将多个请求合并成一个请求，一个动作完成多次扣减，然后再执行。

下面就是我封装好的工具包，用于合并请求。

WriteGroup 会根据 key 进行合并动作，把一组相同 key 的请求合并成一个数组交给回调函数进行处理。回调函数要求输入输出数量保持一致，否则可能产生异常问题。

package writegroup

import (
	"context"
	"sync"
	"time"
)

type WriteGroup[T, R any] interface {
	Do(ctx context.Context, key string, input T, fn func(context.Context, []T) []WriteResult[R]) (R, error)
}

// 组写入方法
type writeGroup[T, R any] struct {
	batchTimeout time.Duration
	bufferSize   int
	batchSize    int
	workerMu     keyedMutex
	chMu         sync.Mutex
	workerCh     map[string]chan writeTask[T, R]
}

// 具体的写入任务
type writeTask[T, R any] struct {
	input  T
	result chan<- WriteResult[R]
}

// 承载返回值
type WriteResult[R any] struct {
	Result R
	Err    error
}

func NewWriteGroup[T, R any](bufferSize, batchSize int, batchTimeout time.Duration) WriteGroup[T, R] {
	return &writeGroup[T, R]{
		bufferSize:   bufferSize,
		batchSize:    batchSize,
		batchTimeout: batchTimeout,
		workerCh:     make(map[string]chan writeTask[T, R]),
	}
}

func (w *writeGroup[T, R]) Do(ctx context.Context, key string, input T, fn func(context.Context, []T) []WriteResult[R]) (R, error) {
	// 初始化任务队列并投递
	w.chMu.Lock() // 如果队列填满，后面无法解锁，此处会阻塞等待
	ch, ok := w.workerCh[key]
	if !ok {
		ch = make(chan writeTask[T, R], w.bufferSize)
		w.workerCh[key] = ch
	}
	w.chMu.Unlock()
	resultCh := make(chan WriteResult[R], 1)
	ch <- writeTask[T, R]{
		input:  input,
		result: resultCh,
	}
	// 启动处理线程消耗ch中的数据
	workerMu := w.workerMu.GetMutex(key)
	if workerMu.TryLock() { // 抢到锁的进行处理
		go func(lock *sync.Mutex) {
			defer lock.Unlock()
			// 封装的工作函数，负责执行writeTask并发送执行结果
			worker := func(jobs []writeTask[T, R]) {
				jobInputs := make([]T, len(jobs))
				for i, job := range jobs {
					jobInputs[i] = job.input
				}

				results := fn(ctx, jobInputs)
				for i, job := range jobs {
					job.result <- results[i]
				}
			}
			// 启动读取超时定时器
			timeoutTimer := time.NewTimer(w.batchTimeout)
			defer timeoutTimer.Stop()
			// 循环读直到ch无数据或关闭再退出
			for {
				jobs := make([]writeTask[T, R], 0, w.bufferSize)
				timeoutTimer.Reset(w.batchTimeout)
			PROC:
				for { // 读ch直到满或超时
					select {
					case <-timeoutTimer.C: // 超时情况，处理已在队列中的部分
						if len(jobs) > 0 {
							worker(jobs)
						}
						break PROC
					case val, ok := <-ch:
						if !ok { // 队列关闭，处理队列中的部分
							if len(jobs) > 0 {
								worker(jobs)
							}
							break PROC
						}
						// 队列正常，有新消息输入
						jobs = append(jobs, val)
						if len(jobs) >= w.batchSize { // 超过批量上限，处理一波
							worker(jobs)
							break PROC
						}
						// 没超过上限进入下一轮继续读
					}
				}
				if ctr := len(ch); ctr == 0 { // 队列中没有了，停止工作
					return
				}
			}
		}(workerMu)
	}
	// 获得计算好的结果，支持根据context超时
	select {
	case <-ctx.Done():
		return *new(R), ctx.Err()
	case ret := <-resultCh:
		return ret.Result, ret.Err
	}
}

type keyedMutex struct {
	m sync.Map // map[string]*sync.Mutex
}

func (km *keyedMutex) GetMutex(key string) *sync.Mutex {
	if mu, ok := km.m.Load(key); ok {
		return mu.(*sync.Mutex)
	}

	newMu := &sync.Mutex{}
	if value, loaded := km.m.LoadOrStore(key, newMu); !loaded {
		return newMu
	} else {
		return value.(*sync.Mutex)
	}
}

掌玩mini 2024 调教手记

Thu, 29 Aug 2024 00:10:00 +0800

这是掌玩 mini 的第二篇文章,其他内容可以参考第一篇。

前言

上一次写的测评文章我看了一下，2024-02-29，今天08-29，算用了快小半年，体验还不错，也调教的差不多了。

首先本文只针对掌玩mini 2024 NFE 8G+256G 版本，官方代号 T811MAN。我不知道和国内在售版本有硬件上的区别，但是照搬掌玩 mini 的刷机教程没有成功过。

GSI

首先，不要碰 GSI。NFE版本暂时没有可以成功刷入的 GSI，我已经试过很多次了，基本都是无限重启。

看老外群组内的反馈，很多人都能成功刷入，不过都是普通版本的，并不是 NFE 版本。也有老外给 NFE 版本固件刷到普版上，并没有出现 L1 的 DRM 标识，这说明很有可能这俩硬件层面有细微的变化。

如果你搞定了可以分享教程给我。

为了防止变砖，所以我准备了线刷包，这个线刷版本是 iPlay50miniProNFE(T811MAN)_EN_20240520，OTA 上刷不到这个更新。多次GSI失败救砖后，版本自然升级到了这个版本。

Root

既然 GSI 装不上，一个标准版的Root必不可少。我试了 KernelSU ，刷进去无限重启。但是传统的 Magisk 可以。

按照官方教程使用 fastboot.exe flashing unlock 先解锁 bootloader，这一步会清除所有数据。

然后重启进入正常系统，安装 Magisk 的应用，找到线刷包里的 boot.img 复制进 pad，使用 Magisk 进行补丁。

补丁后的 magisk_patched.img 复制回电脑，使用 fastboot flash boot magisk_patched.img 把刚才的文件刷进 pad，重启即可得到 root 权限。

几乎无门槛。

调整最小宽度

掌玩mini最奇怪的一点就是明明大部分时间都在竖屏使用，但是设置页面又像其他平板一样强制左右分栏。默认的最小间距也很奇怪，调整到380+以后正常许多。目前看来380是平板/手机的分界线。

调整后，Chrome使用平板模式，可以多个 Tab。

通知中心下拉再也不是四个图标，不会出现突出来一个丑死人的问题了。

设置界面也是看着顺眼许多，不再挤成一团。

另外建议使用手势操作，要不然三大金刚按键会叠加taskbar，很奇怪。如果要隐藏 Taskbar 可以参考下文。

隐藏 Taskbar

使用一个简单的 Magisk 模块，加载后长按底部Taskbar空白区域即可隐藏，每次重启需要重新操作

启动器更换

官方启动器总觉得很奇怪，都优化完了建议后续自己装一个。这里用了米米推荐的Lawnchair。

后记

基本要折腾的点就这么多，原厂 ROM 有原厂的好，就是不用折腾 4G 这些东西。设置界面丑点就丑点吧，日常也不打开它看。再有需要定制的东西用 Root 权限也能搞定，就先这样吧。

在线工具站

Sun, 11 Aug 2024 21:11:00 +0800

最近一直在忙公司的项目，经常和 JSON，日志系统中输出的文本，excel文件打交道。所以有不少重复劳动需要弄，比如查看一下 JSON 文本中嵌套的JSON什么的。

所以借着这个机会把我的早期工具站用 React 重构了，增加了 PWA 技术，现在可以安装到电脑里当WebApp使用，除了整合常用的开发功能，最主要是打开快，All in One。

由于没有好的设计，所以沿用了之前老工具站（已下线）的 Bootstrap5。

首页功能

先看看首页功能：

我在首页放了比较常用的随机数，时间戳和 UUID 生成。这些都是纯离线的，无需服务器介入。

JSON处理

接下来有一个比较好用的工具了：

格式化，压缩，转义去转义这些都是传统 JSON 在线工具常见的功能。

比较特色的是"增强格式化"，日常开发中经常遇到 JSON 嵌套 JSON 这种情况，如果比较多的话，一条条人工解析会非常难受，用增强格式化会尝试解析字符串，如果是 JSON 的话就会嵌套展开。

会被一键格式化成如下样子。

打印出来的日志里最喜欢 JSON 套 JSON 了，所以这是我相当满意的功能，日常使用频率也很高。

“智能处理"也是比较常用的功能，他会按照先单行再多行的顺序尝试去除文本两边的非JSON文本（TRIM），然后尝试格式化，也是处理日志的好帮手。

旁边的功能就是智能处理拆解后的功能了，可以手动处理更复杂的内容。

演示下"智能处理”

编码处理

这个没什么可说的，就是字面意思。八进制 UTF8 解码用于处理 Python 打印出来的 \x123\x456\x789 这样的中文，也是查看日志非常方便的功能。

文本处理

文本处理这个模块花的开发时间是最多的，也是根据日常使用不停迭代的结果，非常适合处理日常产生的多行文本。

正则表达式的输入框可以输入正则，根据正则过滤文本，每一行都会视作独立的内容进行处理。正则的"提取"功能输出格式是可以直接复制到 Excel 中的，不会挤在同一个单元格，这点我也做了特殊处理。（手边暂时没有合适的脱敏数据就不演示了，可以自行探索）

下面的替换框就是普通的文本替换，免去了离开去记事本做替换的麻烦。

按钮区的功能就是字面意思，常见的场景比如输出了一系列逗号分割的ID，需要在两边添加引号，生成 WHERE IN 那种格式贴到SQL里，只需要以下几步 逗号切行 -> 加引号 -> 行尾加逗号，然后少少的编辑一下就可以用了。

（虽然我知道文本编辑器有列编辑模式，但是体验下来还是特化成工具更方便一些）

大卡计算

减脂期非常有用的大卡计算，日常包装食物的"营养成分表"都是以千焦为单位，而且是每份热量。常见食品净含量折算后也不止一份，所以快速计算具体的大卡数量就比较有必要了。

这个功能也支持手机端打开，有了 PWA 加持缓存没过期的时候基本能做到秒开。

结语

那么，这么好用的工具站哪里可以使用到呢？

站点: https://utils.zjyl1994.com/

源码：https://github.com/zjyl1994/my-web-tools

喜欢的话可以给我 Star，特别感谢 Rex Zeng 老师帮我优化了部分 React 的写法~

掌玩mini 2024 简测

Thu, 29 Feb 2024 22:39:00 +0800

前情提要：酷比魔方掌玩mini (iPlay 50 Mini Pro) 2024 NFE 8+256 ¥799

缘起

之前有过一部丐版iPad，当时花了2999买的，主要拿来看Youtube等流媒体，当作出租屋小电视使用，后续由于使用体验实在糟糕逐渐吃灰，所以爱回收变现700多，变现的钱就买了这个。

基本配置：MTK G99 / 8G RAM / 256GB UFS2.2 / 8.4" 1920×1200

卖点: 为数不多的8寸安卓平板，原生 Android 13，有存储卡扩展还能LTE联网。

现在的安卓平板都越做越大，想找个小尺寸的实在难找，8寸产品线只剩酷比魔方和联想拯救者在做。但是拯救者最便宜的也要2000多，差不多能买2台半这个了。

实际体验

2023款的测评网上不少，想了解的可以去看网上的测评视频。 2024款不知道升级了什么，酷比的2.0高科技系统对买NFE版本的人来说，没什么用处（摊手）。这里只说一些实际体验。

首先，8寸平板显示面积比手机大很多，放在包里通勤也很方便。而且由于是Android系统，所以直接装TVBox之类的影视聚合软件可以获得和电视盒子一样的观影体验。

纯WiFi待机掉电很慢，看视频的话初步估计6-7小时没啥问题。充电支持 PD 18w，基本常见手机的充电头都可以触发这个档位的快冲。

TypeC的位置不是正中间真的很奇怪，不明白为什么要做在上面。 3.5mm耳机孔的位置更奇怪，做在角上。真的，我很迷惑。如果有机会和酷比的设计师聊聊的话，我肯定要问为什么耳机放在角上……

至于LTE，还没有合适的流量卡，所以LTE场景下的网速和续航暂时不能测，不过MTK的4G续航和速度应该比较平衡。

而且我以为作为一个小厂，不会有安全更新。结果前几天收到了标记为20240222版本的更新，虽然安全更新隔了4个月，但总好过根本没有。

一些问题和优化

UI奇怪

不知道是不是被定制过，原厂的桌面实在是难用。解决方案很简单，换Nova Launcher。

但是SystemUI看起来灰秃秃的，不知道是做了什么设计，肯定不是屏幕不行，因为看视频的时候没这个感觉。

令人难绷的是，下拉的通知中心一排3个，但是有4个按钮。

锁屏和唤醒

原厂ROM自带“拿起唤醒”，在显示设置中可以开启。

锁屏没有看到对应的安卓小组件，所以可以借助Nova Launcher的手势功能进行快捷操作。

有线耳机音量过大

手机拨号盘 *#*#3646633#*#* 进入工程模式，Hardware Testing->Audio->Volume->Audio Playback 按图中设置进行调整，如果觉得声大声小不合适，可以自定义每一档的数值。

后记

本来只想写一个怎么解决掌玩mini音量过大问题的帖子，但是忍不住把它完善成一篇简评了。

流量卡已经买到了，LTE也可以测试了。如果用的好，后续还会写一篇介绍的。

现在已经是24年3月1日00:45了，兜兜转转写了几个小时就到了下个月，那就写到这里好了。 :P

Chrome Wayland Fcitx 漏字修复

Wed, 14 Feb 2024 20:48:00 +0800

最近在自用的 Fedora 系统上切换了Wayland显示，输入法就有一些奇怪的漏字现象。

具体表现为，输入一句汉字后，会有一些拼音的字母跳过输入法直接进入程序。形成类似于 我说 => 我s活 这样的奇怪句子。

翻了一下 ArchWiki，发现已经有现成的修复方案了。

如果你和我一样是 Fcitx5+Wayland 的搭配，编辑Chrome的 .desktop 文件，在命令后添加以下参数即可。 --enable-features=UseOzonePlatform --ozone-platform=wayland --enable-wayland-ime

Chrome和VSCode都可以这么修复。

Docker build 挂梯子

Thu, 21 Sep 2023 22:27:00 +0800

国内的网络环境，懂得都懂。

Docker build的时候常常需要在镜像内使用包管理器安装一些对应的包，比如gcc/g++等等，由于独特的网络环境，不得不使用一些魔法手段。

常用的方法是通过ENV在dockerfile里直接修改HTTP_PROXY,HTTPS_PROXY,GOPROXY等变量为国内特有的地址，但是对于想开放给世界范围使用的开源项目，镜像写死这些东西会对非CN地区用家造成一些困绕。

在不修改Dockerfile本身的情况下，可以使用build-arg在构建阶段注入环境变量，通过--network host将构建阶段的网路环境与本机打通。这样就可以借助本地的魔法加速包管理器拉取速度了。

一个简单地例子： docker build --network host --build-arg http_proxy=http://127.0.0.1:7890 --build-arg https_proxy=http://127.0.0.1:7890 .

当打包好镜像后，也可以使用这种方法完成需要拉取外网内容初始化部分的。 docker run --network host -e http_proxy=http://127.0.0.1:7890 -e https_proxy=http://127.0.0.1:7890 ac9e557bd88d

AutoHotKey 模拟多媒体控制按键

Sun, 26 Mar 2023 13:47:00 +0800

公司台式机标配的联想键盘属于非常中规中矩的那种，能打字，但是一点额外的媒体控制功能都没有。

当我们听着音乐的时候，如果同事过来问问题，不能及时暂停可是大问题。

所以借助大名鼎鼎的AutoHotKey可以绑定一组快捷键来模拟高级键盘上的多媒体控制功能。

热键定义脚本如下：

^!Space::Send {Media_Play_Pause}
^!Right::Send {Media_Next}
^!Left::Send {Media_Prev}
^!Up::Send {Volume_Up}
^!Down::Send {Volume_Down}
^!AppsKey::Send {Volume_Mute}
XButton1::Send {Media_Play_Pause}
XButton2::Send {Volume_Mute}

按键	功能
Ctrl+Alt+空格	播放/暂停
Ctrl+Alt+方向键右	下一曲
Ctrl+Alt+方向键左	上一曲
Ctrl+Alt+方向键上	音量加
Ctrl+Alt+方向键下	音量减
Ctrl+Alt+菜单键	静音
鼠标侧键1	播放/暂停
鼠标侧键2	静音

至于为什么不使用音乐软件里的快捷键？我大部分时间都是油管上找工作用BGM，浏览器可是不支持设置快捷键控制媒体的。

通过AutoHotKey触发的都是多媒体键盘上的标准功能按键，Windows上大部分软件都是吃这个设定的。起码Chrome/Firefox都支持。

如果想分享这个功能给其他人，通过Ahk2exe将ahk文件转换为exe就可以轻松的分发了。

亲测了一天，这个多媒体按键真的好用。 Windows 平台上的神级软件真是多，小时候就听说过AutoHotKey，现在真正的帮到了我，很赞。

[23.03.18] 最近的两个小工具

Sat, 18 Mar 2023 23:05:00 +0800

最近搞了两个小玩具，解决了我的一些问题。能根据自己的需求定制工具，是最幸福的。

文件盒子

支持通过 WebUI 列出文件
文件的编辑操作通过 WebDAV 进行
WebUI 可以隐藏文件
WebDAV 可以设置密码
Golang 单文件部署无额外依赖
实测可以部署在 Cloudflare CDN 后面
文件链接支持过期，防止迅雷等下载工具刷爆服务期流量
很轻量，实际占用约为 10M
UPX 压缩完毕后 2.5MB

这一款工具主要是为了解决之前 Webls 项目需要 ssh 到服务器的问题。现在可以通过 WebDAV 在手机/电脑等设备上直接修改文件。

简易信息面板

支持月流量统计
单文件无依赖部署
很轻量，实际内存占用约 11MB
UPX 压缩后二进制为 5.7MB
后台持续采集数据，不会阻塞刷新

这一款工具是一个简单地探针应用，没有一些花哨的功能。目前大部分探针都是PHP的，由于服务器没有PHP环境，所以想看一些信息还是比较麻烦的。简单地升级了一下多年以前的 Gostatusd 项目，配上了新的 UI 就这样了。

VSCode 配置任意位置 F5 调试 Golang

Wed, 16 Nov 2022 20:44:00 +0800

VSCode 安装 Golang 插件后，如果安装了配套的gotools, 实际上已经可以支持调试了。

但是我们按下F5后会报错，提示 could not launch process: not an executable file。

原因是你没有给工作区配置 launch.json 导致VSCode找不到你要运行的程序位置。默认的设置，你按下F5会尝试运行当前打开的页面，然而大部分情况下我们都不会选择 main 包的文件而是正在某个文件内部设置断点，所以仅仅编译当前文件是不够的。

如何解决呢？

在当前项目中创建 .vscode/launch.json，填入以下内容：

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Launch Package",
            "type": "go",
            "request": "launch",
            "mode": "auto",
            "program": "${workspaceRoot}"
        }
    ]
}

保存后即可在任意位置按F5启动调试了。

Lazydog OCR

Sun, 25 Sep 2022 09:14:00 +0800

日常开发中，我们经常会拿到一个测试同学反馈的截图，圈上了有问题的部分，需要你来排查问题。你看得到图片上有traceid和JSON入参，但是没有复制给你。你去找他复现，又得折腾人家重新给你抓信息。

此时使用苹果的同学就跳出来了，可以直接 OCR 图片上的文字出来。

如果没有苹果怎么办呢？我搜了一下，找到了 Tesseract 这个神奇的库，并把他包装成了一个在线网站。

最后的成品就是这样的

提前说明，这种开源的纯离线 OCR 没有大厂提供的付费 OCR 接口效果好，胜在一不用付费，二不用上传，全靠本机的算力进行识别。

想体验的可以直接访问 Lazydog OCR 。（名字的意思是懒狗，毕竟谁不想偷懒呢）

使用

打开网站
选择图片文件 / Ctrl + V 粘贴 / 拖拽图片
等待加载 Tesseract 核心
得到识别结果

是不是很简单？如果你只想在线识别的话，到这里就可以了。

技术细节

Tesseract.js 是开源的识别方案，刚刚迭代到3.0，提高了识别速度。但是官网给的例子还是 2.0 时代的，速度奇慢，几乎不可用。

3.0使用了WASM，还有SIMD的加持，速度就非常的快。为了能私有化部署，我把所有的 CDN 资源拉下放到代码仓库，所以使用的时候直接部署代码仓库即可。

核心功能就是这样的：

// 感知是否支持 SIMD
simdSupported = await wasmFeatureDetect.simd();
// 识别核心
Tesseract.recognize(
    document.getElementById("imgbox"), // 输入一个img、canvas或者其他什么有图片的元素
    'eng', // 使用的识别模型，参考 https://github.com/naptha/tessdata/tree/gh-pages/4.0.0 中的内容 
    {
        workerPath: '/assets/core/worker.min.js', // 加载的 worker位置
        // 识别的核心，根据 SIMD 支持选择核心
        corePath: this.simdSupported ? '/assets/core/tesseract-core-simd.wasm.js' : '/assets/core/tesseract-core.wasm.js',
        langPath: '/assets/lang-data', // 存放识别模型的路径
        logger: m => {
            this.progressStatus = m.status; // m.status 识别的进度文本
            this.progressValue = Math.ceil(m.progress * 100); // m.progress 是 0-1 的浮点型进度
        }
    }
).then(({ data: { text } }) => {
    this.outputResult = text; // 最后输出的识别结果就是 text
    this.progressStatus = '就绪.';
});

想增加识别的语言，下载对应的训练数据放到 lang-data ，在语言字符串的位置传入对应的语言代码即可。

训练数据可以在 https://github.com/naptha/tessdata 下载。

整个项目已开源：https://github.com/zjyl1994/lazydogocr

Golang 泛型初体验

Fri, 05 Aug 2022 21:53:00 +0800

最近给公司的几个服务升级到了Go1.18,总算能好好的体验泛型了。

1.18泛型更新了一段时间，我们公司的基础构架也上了1.18的底包，可以愉快的玩耍泛型了。

Golang没有函数重载，之前也没有泛型，大部分业务写起来也没什么问题。但是当你想把某些重复逻辑封装成函数的时候会面临一个问题，强类型。

没有泛型之前，需要针对每个类型都写一份实现。很多时候你只要把值传来传去，并不关心内部的值是什么。比如我最常用的多线程异步执行并获取结果。

没有泛型之前需要这么写：


func MultiWorker(ctx context.Context, workerNum int, inputs []interface{},
	fn func(context.Context, interface{}) (interface{}, error)) ([]interface{}, error) {
	var resultLock sync.Mutex
	results := make([]interface{}, 0, len(inputs))
	jobCh := make(chan interface{}, workerNum)
	waitg, ctx := errgroup.WithContext(ctx)

	for i := 0; i < workerNum; i++ {
		waitg.Go(func() error {
			for input := range jobCh {
				result, err := fn(ctx, input)
				if err != nil {
					return err
				} else {
					resultLock.Lock()
					results = append(results, result)
					resultLock.Unlock()
				}
			}
			return nil
		})
	}

	for _, input := range inputs {
		jobCh <- input
	}
	close(jobCh)

	err := waitg.Wait()
	return results, err
}

表面看起来没什么问题，但是实际使用中体验很差，输入的inputs无论什么类型都需要先用for循环转换成[]interface{}才能使用，输出的值也需要进行类型断言才能得到需要的值，一旦中途混了其他类型的数据进去，断言失败会得到一个 panic，这很不好。

现在有了泛型以后，Golang 编译器会在你使用到泛型部分代码的时候进行类型展开，生成对应类型的代码编译进去，对于程序员来说是无感知的。这样下来只会在最终的二进制中膨胀出一点点汇编代码，效率性能也不会有多少损失。

有了泛型以后就可以这么写了：

import (
	"context"
	"sync"

	"golang.org/x/sync/errgroup"
)

func MultiWorker[K, V any](ctx context.Context, workerNum int, inputs []K,
	fn func(context.Context, K) (V, error)) ([]V, error) {
	var resultLock sync.Mutex
	results := make([]V, 0, len(inputs))
	jobCh := make(chan K, workerNum)
	waitg, ctx := errgroup.WithContext(ctx)

	for i := 0; i < workerNum; i++ {
		waitg.Go(func() error {
			for input := range jobCh {
				result, err := fn(ctx, input)
				if err != nil {
					return err
				} else {
					resultLock.Lock()
					results = append(results, result)
					resultLock.Unlock()
				}
			}
			return nil
		})
	}

	for _, input := range inputs {
		jobCh <- input
	}
	close(jobCh)

	err := waitg.Wait()
	return results, err
}

优势呢，全程带着类型，不需要任何额外的类型断言，如果写错编译期检测都不会过，强壮性得到了极大增强。

同时，泛型也催动了一批新的基础包广泛使用。 github.com/samber/lo提供了对标Lodash的大量函数，都由1.18泛型写成，现在Github已经超过7K star。

我在公司项目的重构中就大量使用了lo这个软件包。Filter过滤数组元素、Map批量处理数据格式转换，都非常方便。如果打开源码查看，会发现他们的实现都很简单。而且根据Golang的一贯优化，这种超简单的确定性代码最终都会被内联，所以完全不用担心性能问题。

不得不说，这次1.18更新的泛型是一个非常赞的东西，开发愉快度大大提升。

附：使用了泛型的多线程异步执行程序（完整版本）

import (
	"context"
	"sync"

	"golang.org/x/sync/errgroup"
)

func MultiWorkerDo[K any](ctx context.Context, workerNum int, inputs []K,
	fn func(context.Context, K) error) error {
	jobCh := make(chan K, workerNum)
	waitg, ctx := errgroup.WithContext(ctx)

	for i := 0; i < workerNum; i++ {
		waitg.Go(func() error {
			for input := range jobCh {
				err := fn(ctx, input)
				if err != nil {
					return err
				}
			}
			return nil
		})
	}

	for _, input := range inputs {
		jobCh <- input
	}
	close(jobCh)

	return waitg.Wait()
}

func MultiWorkerResult[K, V any](ctx context.Context, workerNum int, inputs []K,
	fn func(context.Context, K) (V, error)) ([]V, error) {
	var resultLock sync.Mutex
	results := make([]V, 0, len(inputs))
	jobCh := make(chan K, workerNum)
	waitg, ctx := errgroup.WithContext(ctx)

	for i := 0; i < workerNum; i++ {
		waitg.Go(func() error {
			for input := range jobCh {
				result, err := fn(ctx, input)
				if err != nil {
					return err
				} else {
					resultLock.Lock()
					results = append(results, result)
					resultLock.Unlock()
				}
			}
			return nil
		})
	}

	for _, input := range inputs {
		jobCh <- input
	}
	close(jobCh)

	err := waitg.Wait()
	return results, err
}

Golang 使用ECDSA进行数字签名

Wed, 27 Jul 2022 22:26:00 +0800

数字签名可以检查数据是否遭到篡改

起因

我的工作中，开发了一个批量改写和执行 SQL 的数据处理服务。待执行的 SQL 模板会按照迭代定期发布到服务中，决定了服务最终运行时生成的 SQL。

此处 SQL 模板和数据处理服务的关系，可以类比为固件和硬件。

服务的固件通过 HTTP 接口进行刷入。参考手机厂家的做法，更新服务都会检查固件包的数字签名，如果固件签名不正确，是无法正确刷入并启动的。

ECDSA

ECDSA是大名鼎鼎的椭圆曲线签名算法，以256位的私钥尺寸提供堪比RSA3072的安全性。

Golang 标准库中提供了 crypto/ecdsa ，提供了签名，验证和生成公私钥的功能。但是一般情况我们不会使用Go来生成和保存公私钥，更多情况是使用 OpenSSL 进行生成。

OpenSSL 生成公私钥的命令，一般我们使用prime256v1或secp384r1这两种推荐的曲线参数，这里我们选择prime256v1。

openssl ecparam -name prime256v1 -genkey -noout -out priv_key.pem
openssl pkey -in priv_key.pem -pubout -out pub_key.pem

生成的私钥priv_key.pem，公钥 pub_key.pem，都保存为x509格式的pem证书。

签名

数字签名，需要先对数据体进行哈希，得到信息摘要后，通过私钥进行签名。整理后可以得到如下 Golang 函数：

func Sign(r io.Reader, privKey []byte) (string, error) {
	// 加载x509格式的私钥文件
	block, _ := pem.Decode(privKey)
	if block == nil {
		return "", errors.New("privKey no pem data found")
	}
	pk, err := x509.ParseECPrivateKey(block.Bytes)
	if err != nil {
		return "", err
	}
	// 对输入进行哈希获取信息摘要
	h := sha256.New()
	_, err = io.Copy(h, r)
	if err != nil {
		return "", err
	}
	hash := h.Sum(nil)
	// ECDSA 签名
	sign, err := ecdsa.SignASN1(rand.Reader, pk, hash)
	if err != nil {
		return "", err
	}
	return base64.StdEncoding.EncodeToString(sign), nil
}

签名验证

验证时也需要先摘要后进行验证，注意，签名验证使用公钥，此公钥可以公开存放在服务内。整理后可以得到如下 Golang 函数：

func Verify(r io.Reader, pubKey []byte, sign string) (bool, error) {
	// 加载 x509 格式的公钥
	block, _ := pem.Decode(pubKey)
	if block == nil {
		return false, errors.New("pubKey no pem data found")
	}
	genericPublicKey, err := x509.ParsePKIXPublicKey(block.Bytes)
	if err != nil {
		return false, err
	}
	pk := genericPublicKey.(*ecdsa.PublicKey)
	// 对输入进行哈希获取信息摘要
	h := sha256.New()
	_, err = io.Copy(h, r)
	if err != nil {
		return false, err
	}
	hash := h.Sum(nil)
	// ECDSA 验证
	bSign, err := base64.StdEncoding.DecodeString(sign)
	if err != nil {
		return false, err
	}
	return ecdsa.VerifyASN1(pk, hash, bSign), nil
}

使用

一般使用中，我选择通过 1.16 新增的 embed 将 x509 格式的证书包裹在二进制中，考虑到我的使用场景是纯网络服务，并不需要担心二进制在本地被破解，也就不需要对公钥部分进行过多的混淆。

在我的使用场景中，通过专用工具打包固件，再通过Sign函数生成签名。将固件通过 HTTP 接口POST刷入，签名通过 HTTP Header 传入服务。

服务拿到固件后进行验证签名，签名不通过则返回 HTTP 403 Forbidden。如果签名通过，则执行后续的解包刷固件功能。

这次的博文没有什么技术含量，更多是对工作中常用的工具函数进行总结。

后续我会单独搞一个 wiki 站存放这些东西。

戴尔V3400 Fedora折腾笔记

Fri, 27 May 2022 00:09:56 +0800

赶上京东做活动以旧换新，处理了家里的老电脑和吃灰手机。

我的主力电脑是联想小新Pro 13 2020 锐龙版本，由于工作离不开真实的 Windows 环境，我的 Linux 开发都被迫挤到18年那部 TMB117 小笔记本上。很难想象一部18年的赛扬老机器是如何顶着无风扇的降频硬抗开发任务的，在京东看到活动之后就萌生了换机的想法。

考虑到有一块从下载机上拆下来的闲置大容量SSD硬盘，可选电脑范围就被限制的很窄了，毕竟2022年想找到还有SATA盘位的新笔记本非常难找。考虑到兼容性、SATA、性能等，最后圈定了 Dell Vostro 3400 i5-1135G7+16G内存+512G固态版本，京东当时的活动价 3599。

选择理由：

11代i5 性能保障。（12代i5有大小核设计，按照日常Linux经验，这种新技术头几年体验会很差）
SATA盘位预留并且有线和安装架无需额外购买（Acer的EX215有预留HDD空间但是排线和架都要另外购买，而且没有提供购买渠道）
Ubuntu 认证机型，意味着大部分软件功能都应该是好使的，如果不能用可以去Ubuntu里抓驱动过来。

拆机

拿到新机，使用 Fedora LiveUSB 进行验证，确定基础功能 OK 后开始拆机。选择合适尺寸的十字螺丝刀，拧掉后盖能看到的所有螺丝。注意，靠近屏轴一侧最外的两颗螺丝无法取下，内部有垫片。 确定完全松开后请用硬质卡片或者拆机使用的撬棒依次打开卡扣，卸下D面。

此图片来自互联网，可以看到2.5寸硬盘空间上有框架和排线预留，这也是我购买的重要因素之一。

有一个小细节，为了防止你买不到那么小的螺丝，直接在硬盘框架上拧了4颗固定用的螺丝留给你。DELL 过于贴心。

安装好框架插好排线就可以正常使用了。

Fedora 之旅

最早的 Linux 体验是 TMB117 上 Manjaro+XFCE 的经典组合。考虑到性能变好了，可以愉快的 KDE，于是选择了最新出的 Fedora 36 KDE 版本。

装好之后的成品是这样的：

（KDE自带的截图就带一圈黑边，估计是窗口管理器加的特效没法被截取下来吧。）

最新的 Fedora 36 已经全面转向 Wayland 了，所以 screenfetch 也没法取到分辨率。不过我可以告诉你这部机是14寸1080p屏幕非IPS，能用，但不会很惊艳。和小新Pro13那块2.5K的IPS屏幕没得比，但是日常使用看个电影啥的完全OK。

折腾笔记

更换软件源

官方软件源里偶尔会抽到东软的源，dnf经常报错，我一度怀疑是我的操作有问题。后来经过专家指点是最快源抽到的 Neusoft 镜像有问题。

大名鼎鼎的TUNA源自然是最好的选择，不过听说负载过高，所以我选择换成BFSU的源。

换源教程：https://mirrors.bfsu.edu.cn/help/fedora/

安装常见小工具

sudo dnf install htop screenfetch lm_sensors netcat

安装 fcitx 替换 ibus

sudo dnf install fcitx5 fcitx5-configtool fcitx5-gtk fcitx5-autostart fcitx5-qt fcitx5-chinese-addons  fcitx5-data kcm-fcitx5

然后KDE主菜单搜索 输入法选择器，启用fcitx5并重启生效。

开启 Intel 硬解

# 安装 rpmfusion 软件源获取额外支持
sudo dnf install https://mirrors.rpmfusion.org/free/fedora/rpmfusion-free-release-$(rpm -E %fedora).noarch.rpm https://mirrors.rpmfusion.org/nonfree/fedora/rpmfusion-nonfree-release-$(rpm -E %fedora).noarch.rpm
# 安装 Intel 媒体驱动
sudo dnf install libva libva-utils libva-intel-driver intel-media-driver ffmpeg

此刻你的系统就该支持 Intel 核显硬解视频了，Iris Xe 的显卡游戏性能不好说，看视频还是完全 OK 的。

支持 THETIS 的 FIDO2 Key

# 此段来自 Thetis 的官网说明
echo 'KERNEL=="hidraw*", SUBSYSTEM=="hidraw", MODE="0664", GROUP="plugdev"' | sudo tee /etc/udev/rules.d/thetisu2f.rules
sudo udevadm control --reload-rules

日常空载占用率过高，packagekit导致关机卡顿

如果发现日常使用中风扇狂转，大概率是你加了海外的软件源，然后packagekit在疯狂的拉取更新信息又被RST反复重试导致的。

如何验证呢？如果你的电脑风扇此时正在原地起飞电脑热到爆炸，立刻重启。

在Fedora转圈圈出现时按 Esc

你会发现整个系统在等待 packagekit 读秒，那大概率就是他的问题了。

可以通过 sudo systemctl mask packagekit 屏蔽该服务，重启后即可生效。

已知的影响点：Discover 软件商店的更新会挂掉，不过不影响你正常 dnf update 之类的手动更新方法，只是以后没有人提示你软件包需要更新了而已。

配置 Github 代理

由于众所周知的原因 Github SSH 基本连不上。于是需要编辑~/.ssh/config增加以下段：

Host github.com
    ProxyCommand /usr/bin/netcat -x 127.0.0.1:20170 %h %p

其实这一段也是网上复制来的，最重要的问题是：Fedora自带的nc不是netcat,需要手动装了然后修改这里面调用的命令。

其中，20170的端口号需要改成你自己的端口号。

后记

这部机器被我调教了一个星期不到，基本已经满足我的需求了，通过 Ubuntu 认证的机型对Linux友好程度非常棒，Fedora上适配的也很好，基本免驱动所有功能都OK,包括快捷键。

这部机会作为我的纯 Linux 环境开发使用，这配置应该可以支撑很久了。

小工具导航页

Sun, 01 May 2022 22:37:00 +0800

上班的时候经常需要使用工具网站，公司环境不方便登录自己的账号进行云同步。所以我简单的糊了一个 Vue 的小工具导航页。

开发

构想是一个简简单单的页面，可以通过名称进行搜索。对于纯前端筛选，Vue 无疑是最合适的选择，

最基本的页面结构是这样：

<div id="app">
    <input id="search-box" type="text" v-model="keyword" placeholder="Type keyword to search on name field">
    <br>
    <table>
        <tr>
            <th>Nameth>
            <th>URLth>
        tr>
        <tr v-for="item in searchInList()">
            <td>{{item.name}}td>
            <td><a v-bind:href="item.url" target="_blank">{{item.url}}a>td>
        tr>
    table>
div>

然后，搭配简单的 Vue 代码

Vue.createApp({
    data() {
        return {
            items: [],
            keyword: ""
        }
    },
    mounted() {
        var self = this;
        fetch('data.json').then(response => response.json()).then(data => {
            self.items = data.sort(function (x, y) {
                if (x.name.length < y.name.length) {return -1;}
                if (x.name.length > y.name.length) {return 1;}
                return 0;
            });
        });
    },
    methods: {
        searchInList() {return this.items.filter(item => item.name.toLowerCase().indexOf(this.keyword.toLowerCase()) != -1)}
    }
}).mount('#app');

简单解释一下这些 Vue 在做什么：

启动的时候，fetch拉取data.json，下载后读取数据进行按长度排序。
方法：searchInList，过滤包含 keyword 的条目（全转小写，方便搜索）。

部署

由于代码是托管在自己的Gitea服务器上，没法使用传统的CI/CD方案，所以找到个简单的 Webhook方案进行触发。（本想自己写，但是觉得没必要）

这里使用的方案是：https://github.com/adnanh/webhook

Debian 上直接 apt install webhook 可以安装。

默认端口 9000，自己修改systemd单元的Exec段增加 -port 切换到闲置端口。

简单列出一个我使用的配置文档

- id: deploysu
  execute-command: "/opt/scripts/deploysu.sh"
  command-working-directory: "/opt/scripts"
  trigger-rule:
    match:
      type: value
      value: refs/heads/master
      parameter:
        source: payload
        name: ref

写好后启动webhook服务，此时访问你的 http://server:9000/hooks/deploysu 就会调用你设定的 /opt/scripts/deploysu.sh。

再写一个简简单单的部署脚本。

#!/usr/bin/env bash
rm -rf yp
git clone ssh://git@server:22/zjyl1994/yellow_page.git yp
cd yp
cp index.html /var/www/su.zjyl1994.com/index.html
cp data.json /var/www/su.zjyl1994.com/data.json

最后去 Gitea 配置你的 Webhook

修改后 push 到 master 分支就可以自动更新服务端的部署了。

DevTerm 等待与失望

Sun, 02 Jan 2022 22:04:00 +0800

2020年11月，我在网上看到 ClockworkPi 发布的 DevTerm，在此之前我就听说过这家公司。他家的 GameShell 之前就想买来着，但是1000多块买一个只能玩游戏的开源掌机实在下不去手。

2020年12月15号，我在激烈的思想斗争下下单了A04版本。还记得那个时候按照汇率差不多花了1700-1800左右。计划是拿来做一个打字机的，然后页面显示四月前交付，这是我第一次先款预购东西。

等到2021年3月多，情况有变，全球供应链紧张，论坛帖子发布更新状态，官网等待多天以后变成9月前交付。

持续等待后，9月，CM3版本交付了。那个时候我看到了少数的真机开箱视频，感觉有点小了。然后10-11月A06交付了，只剩我这个A04用户持续等待。

2022年1月1日早晨，我收到了顺丰送来的 DevTerm。

组装

组装 DevTerm 很简单，个人推荐弄一个水口剪。官方塑料件的质量非常之高，基本不需要打磨，只要用心剪就行了。包装里还有三根小螺丝，需要很小的一个十字螺丝刀，主要用途是固定核心板和主板。我没有找到能用的螺丝刀，也就没上，也没影响使用。用的接口是笔记本的DDR3接口，所以固定能力应该没有问题。

唯一的组装问题就是上面扩展插槽保护盖过于紧了，我用小锤子才敲进去，需要巧劲，一定要看前后翻看说明书再装。

个人觉得会出问题的地方。

屏幕，网上蛮多人费劲把屏幕卡进去之后才发现接口没有对准留的位置，这个要注意一下。
WIFI天线，这个天线是贴在屏幕背板外侧的，我之前费力贴准到内侧，然后发现扣不上。
顶部扩展口盖子，一定要看好官方的顺序，先插入左侧的，然后右侧敲进去，大力出奇迹。因为左侧是完整的柱状，右侧是倾斜一些的，所以一定要从右侧敲进去。

使用

更新镜像

A04的镜像是基于Armbian的，所以本质上还是个Debian，但是screenfetch的信息是Ubuntu，具体信息可以看头图。基于Debian，所以可以用apt去装你想要的软件包，deb之类的还算很流行。

拿到手首先需要更新版本，SD卡中安装的是第一代系统。官方的APT源放在Github上，如果你是国内用户再没有魔法手段的话，那你100%连不上，不用试了。我搞了个APT源的镜像，具体使用方法参考前面的博客。

sudo apt update && sudo apt install -y devterm-kernel-current-cpi-a04 devterm-gearbox-a04 devterm-fan-daemon-cpi-a04 && sudo reboot

更新系统，重启。

刷键盘固件

官方自带的轨迹球使用体验非常的差，尤其超宽屏横着滚需要滚一年。幸好有论坛大神搞了定制版固件，官方也非常迅速地采纳了优化，当你滚得速度快的时候鼠标移动会很多，再也不用一点一点搓过去了。

首先确定你有/dev/ttyACM0，如果没有多重启几次试试，只有这个在的时候才可以刷。

sudo apt install dfu-util -y

wget https://github.com/clockworkpi/DevTerm/raw/main/Code/devterm_keyboard/bin/DevTerm_keyboard_firmware_v0.3_utils.sh

chmod +x  DevTerm_keyboard_firmware_v0.3_utils.sh

sudo ./DevTerm_keyboard_firmware_v0.3_utils.sh

这些指令来自官方的论坛帖子，我自己试用过，效果提升巨大。如果你在没有/dev/ttyACM0的时候就刷键盘固件，那你会得到一个失灵的键盘，别紧张长按电源键关机再开就好。

休眠

这个设备没有快速休眠按键，想休眠的话没法像笔记本一样合盖。所以可以使用systemctl suspend进行休眠，这样电池消耗会小一些。另外休眠以后键盘无法唤醒，可以通过轻按电源键唤醒。大概率是休眠期间给键盘断电了。

风扇

A04版本的风扇用的是GPIO进行控制，有一个Python写的风扇守护程序，温度超过66度的时候会转30秒进行降温，我个人觉得这个可以进行一些优化，首先代码层面，可以读写单独的配置文件，方便萌新来改，直接上手改Python，要不是我程序员出身可能就翻车了。

理论上操控风扇只需要三条指令

# 初始化GPIO
gpio mode 41 out
# 风扇转
gpio write 41 1
# 风扇关
gpio write 41 0

这个风扇逻辑也是有优化空间的，个人觉得可以弄成温度到多少的时候启动风扇直到某个温度值停止。现在这个启停逻辑只转30秒不太合适。这个小风扇持续转起来还是可以提供稳定降温的，55度吹一阵就可以变成49度。

总结

电池续航我买的松下电芯，现实7-8h，实际三小时多一些。浏览网页电跑的更快。

长按键除了空格手感都比较软，字母键倒是还可以，但是太小了，只能拿来双手举着打字。不过这也解决了放在桌子上打字看屏幕累的问题。

armbian使用比较OK，但是桌面不能改壁纸，可能是我没找到地方，apt里软件还不少，但是少数需要自己编译。

如果你是拿来当打字机想做生产力工具的话还是算了，不如买个便宜的商务本把浏览器都删掉装个focuswriter。

如果你是拿来做玩具+大手办，还愿意花这么多钱，那完全OK。官方的质感做的很好，可惜ARM Linux不太适合一般人，最后只能做成极客的Cyberdeck。如果不会折腾的话还是去买GameShell之类的开箱即用玩具。

据说国内买这个的也就几十个人，大部分订单都是外国人订走了，希望他们可以玩出一些花来吧。

等我有空了再折腾折腾，到时候也给官方贡献一些代码。

2021

Sun, 02 Jan 2022 20:05:00 +0800

2021 年度总结

其实我很少做年度总结，今年算是值得记住的一年，换了满意的工作，买了车，减肥也成功了一部分。

工作

2021 年最大的变化莫过于我换了工作，去年的总结里我说迫于生计去了腾讯外包，2020年卷了一圈发现外包并不香，大厂内部也是草台班子。

在去腾讯之前我以为可以学到蛮多东西的，结果进去了，大厂也就那么回事，而且外包员工不是人也是真的，唯一让我怀念的就是腾讯食堂了，怀念腾大13楼的羊排。

3月辞职跑路，在两个月的准备之后进入了面试过三次的0909，也算是圆梦成功了（毕竟每次离职我都收到过0909的面试，也算是老相识了，传说中的创维和中科场地我都以面试者身份进去过）。

生活

减肥

2021年最能吹的就是我减肥20多斤了，运动+节食+戒糖，3个月瘦下来，之前的衣服也能穿了，体力也好了。那个时候最喜欢干的事就是从家走到公司附近，16km往返。平时上班午休也要出去走，每天1w5千步起步。头几个月瘦的是很快的，后续就是保持住，坚持了半年也没反弹。

2022年还是得继续减肥，计划再瘦20多斤。

车

2020年末考了驾照，C1，考了三个月，科目二科目三都是一次过的，吐槽下福永考场那个车坡起无力差点死火，幸好油离配合成功救起来了。

2021年初和朋友去看车，当时计划是看卡罗拉雷凌之类的，顺便路过福特的店，我没想到8个月之后我在这买了车，那个时候还和销售说我要看雷凌搞得销售一脸黑线。

虽然电动车势头很猛，但我最后还是买的油车，上的邻近城市牌照，粤B继续摇看缘分了。至于不买电动车的原因，不是绿牌不香，实在是电动车没有打动我的地方，我对“林北”加速没那么看重，因为我认识一个开卡罗拉起步窜的比旁边电动的士还快的人。也对智能化无感，我也不想坐在车里看电影，更不喜欢没有实体按键全靠触摸的感觉。对我来说，适度的智能化是OK的，但是空调之类的实体按钮还是要有的，传统的机械手刹一拉噶嘣嘣响也特别有感觉（当然真开了车以后还是很希望有电子手刹+自动驻车的，确实方便）。

深圳这个地方不太适合开车，而且有没有牌不影响，早晚高峰堵的怀疑人生，就算有粤B我也不想上道。更别提我这个外地牌，所以除了刚开始新鲜两天开去上班，其他时间我还是放在停车场，没事就擦擦，就像买了个大手办一样。另外，新手小刮擦比较多，我已经预感到明年保费上涨了。

汽车的保险有能力还是多保一些，大城市豪车真的多，200万三者和400万三者只差不到400块钱，有能力的还是多加点为好。

设备

Mi 11 Lite

陪伴我3年的 K20 电池老化，所以退休了，继任是小米11青春版，也就那回事，我手机基本就是播放器+微信终端，偶尔拍个照。不打游戏的情况下 780G 真的挺香，续航足够坚持我在外面听歌溜达大半天的。

Redmi Buds 3 青春版

只要 99 的入耳式无线耳机，音质我觉得没啥问题，通勤神器，充电一次可以用几天。陪伴了我每天出去运动，要说唯一的问题就是音量有点小，调大了也不太行，安静路上走路听音乐和有声书 OK。个人不喜欢那种 AirPods 带一个棍式的耳机，还是这种小玩意好一些。

iPhone 11 Pro

阿米转手给我的，我拿了两部 GPD 的 UMPC 来换。iOS 的体验确实流畅，但是好多东西都不是我想要的东西，而且在这个平台上确实会不由自主地买一些 App，导致我卡里的港币越来越少。iOS 需要你的脑电波和苹果在一个频率上，你会觉得这玩意超级好用。我只在某些频段上和苹果脑电波一致，所以香，但是只香一点点。

另外，苹果的照片成像确实 OK。怪不得所有手机相机测评都要拉 iPhone 来陪着打。

DevTerm

2020年12月15号我订购了 DevTerm ，在长达12个月的等待之后我终于在2022年1月1日从顺丰手里拿到这部机器。简单来说有点失望，拿来当打字机键盘不太行，屏幕字也小。这部分我会单独写一个文章来讲。

技术

Go

在腾讯我也写 Go，但是接手的是前人留下来的奇怪代码，我以为是精妙设计的地方问了业务逻辑之后发现他们是在瞎写，彻底贯彻了人和代码只要有一个能跑就行的策略，整个人都麻了，也让我意识到大厂也是草台班子。花了两三个月重构完没多久我就离职了，听之前的同事说接手的同事吐槽代码太烂，我只想说：你还没经历过第一版呢，那时候带我们的老大给我一个服务器账号密码，告诉我代码就在这个服务器里，自己想办法编译起来吧。我好歹给改成了 Go Module，还写了 Makefile。（扶额）

在 0909，公司的代码质量好很多，他的代码结构我到现在自己写东西也在模仿。腾讯的优势是基建好但是组内代码比较烂，0909 的问题就是代码质量 OK，但是云端的基建真的菜，希望公司努力改进吧，这还是能慢慢优化解决的事情。

前端

对的，我又一次入门 Vue / React 失败了。2021 年我摆脱了 Bootstrap，开始用 Bulma 写页面，算是和现代 UI 设计接轨了一些。写代码写多了更喜欢写原生 JavaScript，现在的浏览器提供的东西基本可以满足需求，不再需要 jQuery 进行差异抹平，fetch 和基本的 DOM 操作就可以满足我的页面了。

开源项目

很惭愧，2021 年没输出什么有价值的开源项目，2022年一定搞一个有价值的东西。

2022目标

自驾里程过万
写一个有价值的开源项目
吃遍周边城市
瘦 25 斤
脱单

写在最后

2022 年，诸多预言家都说，会有新的一轮疫情爆发，当然这也会是最后一波疫情了，到 2023 疫情就会结束了。希望预言家说的是准确的，疫情快些结束吧。感觉 2019 年底还在昨天的样子，疫情改变了太多人和事。

Take care of youself.

And be well.

Clockworkpi APT 镜像源

Tue, 26 Oct 2021 20:20:00 +0800

Clockworkpi 的 APT 源放在 Github 上，由于众所周知的原因，国内访问稀烂。

2020年12月我预购了DevTerm，A04版本还没有发货，但是A06版本已经有群友拿到了，面临的一大问题就是官方的APT源在Github上，由于众所周知的缘故，国内访问十分艰难。就算你侥幸连上了，大概率也是不稳定的。所以我就搞了一个小小的镜像源。

使用这个镜像源十分简单。只需要你执行以下命令。

sudo sed -i 's/raw.githubusercontent.com/su.zjyl1994.com/g' /etc/apt/sources.list.d/clockworkpi.list

原理就是将 /etc/apt/sources.list.d/clockworkpi.list 中的 raw.githubusercontent.com 替换成 su.zjyl1994.com。

执行完毕后 sudo apt update，更新软件源，是不是加载速度变快很多了呢？

此镜像部署在我的服务器上，并且在 Cloudflare 上缓存一小时。基本可以理解为和官方同步的。

以下内容是技术向的，如果你只是想来更换软件源的可以不往下看了。

核心逻辑如下：

func aptReverseProxy(c *gin.Context) {
    githubRawContent, _ := url.Parse("https://raw.githubusercontent.com")
	proxy := httputil.NewSingleHostReverseProxy(githubRawContent)
	proxy.Director = func(req *http.Request) {
		req.Header = c.Request.Header
		req.Host = githubRawContent.Host
		req.URL.Scheme = githubRawContent.Scheme
		req.URL.Host = githubRawContent.Host
		req.URL.Path = c.Request.URL.Path
	}
	proxy.ModifyResponse = func(resp *http.Response) error {
		resp.Header.Set("Cache-Control", "public, max-age=3600")
		return nil
	}
	proxy.ServeHTTP(c.Writer, c.Request)
}

Go 中自带了一个单主机的反代组件，只需要把 Path 修改好，嫁接到 Gin 上就 OK 了。

Director 负责修改向后传递的http请求，只需要把Host、Scheme、Path都改成Github上的就行了。

ModifyResponse 负责修改传给客户端的响应，通过增加 Cache-Control 让 Cloudflare 的 CDN 网络缓存一小时请求内容。

你没有看错，就这么简单。

完整源码在这里。可以直接点进去看。

重构——在线网站更新手记

Wed, 06 Oct 2021 20:04:00 +0800

趁着十一假期，我更新了一下网站的设计。

重构，为了更好的设计。

我的网站，有三到四个子站组成。最早的设计是通过 VPS 直接提供服务，在一段时间的迭代中，我选择了 Cloudflare 进行防护和加速，虽然中国大陆地区使用 Cloudflare 是减速行为。

现在的网站结构：

www.zjyl1994.com 是我的主站，主要负责导航到其他子站点。

blog.zjyl1994.com 是我的博客站，就是这个站点了。

su.zjyl1994.com 是我的后端站点，我的所有活动功能都挂在这里。

Pages

www 和 blog 都是属于静态网站，www 是纯手写的 html 代码， blog 的代码是使用 Hugo 生成的，对于这种静态资源站点，我选择了 Cloudflare Pages 进行托管。静态资源依托全球网络可以抵抗任何形式的攻击，而且可以稳定的被 CDN 进行缓存，进行就近分发。

Tunnel

Cloudflare 于今年早些时候公布了免费的 Tunnel 计划，原先是收费计划的 Argo Tunnel，针对回源场景可以免费使用了。使用 Cloudflared 可以直接绕开 caddy、nginx 等反代工具，让 CF 成为你的 Portal。

我的服务器是 Ubuntu Server 20.04 LTS 的，所以可以直接参考官方的安装教程。

echo 'deb http://pkg.cloudflare.com/ focal main' | sudo tee /etc/apt/sources.list.d/cloudflare-main.list
curl -C - https://pkg.cloudflare.com/pubkey.gpg | sudo apt-key add -
sudo apt-get update
sudo apt-get install cloudflared

安装过后，就可以使用 cloudflared 命令进行后续操作了。

输入 cloudflared tunnel login ，它会给出一个 URL 地址，复制到浏览器里进行授权。

输入 cloudflared tunnel create 创建名为 NAME 的隧道，会给定一个 UUID 作为你的隧道标识符。

编辑 ~/.cloudflared/config.yaml，参考如下输入：

url: http://localhost:
tunnel: 
credentials-file: /root/.cloudflared/.json

PORT 替换成后端服务的端口号，UUID 替换成隧道标识符给的 UUID。

此时隧道配置完毕，通过 cloudflared tunnel route dns 在 CF 上创建指向 Endpoint 的 DNS 记录。此时，在 DNS 页面可以看到一条 Endpoint 的 CNAME 记录。

输入 cloudflared tunnel run 启动隧道，此时你就可以访问你的 Endpoint 网站，流量会打到你的内网服务端里。确定没问题后 Ctrl+C 停止运行，我们会用服务的形式启动隧道。

sudo cloudflared service install
sudo systemctl start cloudflared
sudo systemctl enable cloudflared

此时就可以稳定的访问你的内网服务了。

Su APIs

原本的 Su API 包含了 “订阅合并”、“赛博鱼师傅” 功能，全新重构的 Su API 在以上功能外扩展了 “文件共享库” 功能。

结构重构

结构重构，旧的 Su 属于传统的 Gin 程序，没有日志写盘，配置文件散落一地。

新的结构由 Gin + Zap 构成，全局状态包含 Debug 、Secret。根据 Debug 位决定 Zap 的日志输出方式，具体可以参考代码。

全局 vars 包，这是我在公司项目中学到的。将公众变量抽取到一个独立的包里，方便程序全局调取，也方便统一初始化和管理。

订阅合并

订阅合并部分，增加了 Always Online 类似的功能解决数据源经常挂掉的问题。

实现方式就是访问订阅源进行回源的部分，成功返回之前增加了一个写盘操作，当访问数据源失败时从磁盘加载上次获取成功的数据。参考代码。

文件共享库

增加这个共享库的原因是因为我有时候需要在外面获取一些配置文件等信息，需要在公开电脑上登陆各种网盘的话就会很麻烦。

DigitalOcean 的 Space 是一个 S3 兼容服务，每月5刀提供 250GB 的对象存储。共享 VPS 的 1TB 出站流量。

实现上就是很简单的 ListObject + Presigned 集合。参考代码。实际实现中，增加了缓存机制减少每次调用 S3 API 的开销。虽然 Space 的API调用不收费，但是时间层面还是比较大的开销。

赛博鱼师傅

赛博鱼师傅是一个 Telegram Bot 主要提供吃什么选择，旧的实现方式是读取配置文件到内存中，每次加载需要杀掉进程。新的实现方式是独立读取单独的 eatwhat.txt 文档，更新文档可以实时反馈到吃什么选择器中。

Webls - 简单易用的目录列出应用

Thu, 08 Apr 2021 22:32:00 +0800

正好有个工具文件上云的需求，就做了这么个工具。

最近有一个文件扔到服务器上的需求，简简单单用 Golang 糊了一个文件列出工具。

成品是这样的

还可以支持 Markdown 展示

只要你的文件夹中有README.md文件，就能渲染出来对应的文件内容。

而且使用了 GitHub 风格的渲染器，所以可以支持多种样式

而且支持中文的路径

对于带有点的文件和文件夹，和 unix 系列的行为一致，会被隐藏起来。

项目地址: https://github.com/zjyl1994/webls

使用方法很简单，把编译好的 webls 文件扔到你需要的地方就可以运行了。

运行后可以在 9496 端口上得到同款界面。同时我还制作了 docker镜像可以使用。

Redmi Note 8 刷机笔记

Sun, 08 Nov 2020 23:01:00 +0800

上班实在是忙，没时间折腾技术类的东西。只能水一篇刷机笔记了，由于这篇实在太水了所以只能放生活分类。（尴尬

前言

之前为了刷机玩，买了一部红米的9A，想着就一个摄像头，什么奇怪没有的手机最适合刷机了，不用担心奇怪硬件造成的BUG，结果我想多了，MTK平台一个刷机包没有。这手机7月发布到现在连个第三方官改都找不到。

后来我就买了这部红米Note8，为了防止之前的教训，我特地去XDA围观了一下这部机的论坛，也看了几大著名的ROM，比如LineageOS、Pixel Experience、Resurrection Remix。他们都官方支持我这部手机，而且Xiaomi.eu也有最终的兜底方案，如果什么都刷不了我还有欧版可以刷，不用担心谷歌服务装不上。

刷机

买到手第一步就是申请解锁，小米解锁需要等待168小时，真是一分钟都少不了，在经历一整个星期的等待后，我解开了红米Note8的BL锁。

然后就是刷机，我当初选择了 Pixel Experience 作为首选，毕竟谷歌自己出的手机就是安卓标杆，照着改的第三方ROM准没有错。

标准的刷机流程就是，长按音量下+电源键开机进fastboot，然后用刷机命令刷最新的 twrp recovery 进去(文后有附地址)。

注意刷完了不要直接重启，关机，按住音量上+电源键开机直接进入 recovery，要不然你的twrp会被自带的官方rec覆盖掉。可能是小米自己的保护机制。

进入 recovery 就是install、wipe 然后reboot system。非常正常的刷机方法。

等待开机的时候你需要准备一个魔法网络方便跳过开机的谷歌登录，如果没有请拔掉卡并不连接WIFI，等看到桌面再说。

调校

隐藏前摄

默认的设计实在太难看了，白白的屏幕多出来一个摄像头的尖。这个解决起来也很简单，装一个叫NachoNotch的应用就可以了,链接附在文末。

安装完开启Hide Notch！他会在程序最上方画一个黑底的悬浮窗盖住原先的白色，反正实现非常完美。

唯一美中不足的是，会显示一个Nacho Notch正在其他程序上显示的提示，此时右滑提示，选择关闭即可。

唯一的缺点是设置这个APP里没法覆盖，可能是系统安全限制。

快充

默认刷完 Pixel Experience，他会给你安装PE系列的通用内核，这会导致一些奇怪问题发生。比如本来有的功能就失灵了，比如说快充。使用Ampere这个软件可以看到当前充电的电流，使用官方内核充电时大约在300-500ma，对于一个4000mah的手机来说完全不能接受。

经过我在XDA等论坛不懈搜索，我最终找到了修复方案，刷一个优化过的内核。这个内核就叫 sixteen ，更新的地址在一个Telegram的Channel，Redmi Note 8 / 8T Updates,链接我附在后面了，里面有不少ROM可选。

刷新内核很简单，拿下内核的zip，进入TWRP直接Install就行了，不需要Wipe任何数据。

修复后的Ampere能达到快充标准。

优缺点

优点

原生谷歌体验
待机能力还可以
多摄像头可用（看起来是完全搬了MIUI的相机过来，用手挡镜头进行切换可以看到确实四个摄像头都生效了。）

缺点

录像功能不可用，慢动作、短视频、录像均不可用，虽然你能看到在录在转圈圈跑秒，就是没法存储下来。

目前我就找到这一个问题，以后发现再来补充。

最后

放在最后我要说点和刷机没关系的东西，本来买9A就是为了刷机的，但是没有包，手里的K20正好有包，我就反过来日常用MIUI的9A，K20拿来刷第三方ROM，就这么扭曲的用了差不多4个月。直到我发现第三方ROM下K20的拍摄画质下降太多了，而且9A每次拿出去支付都会卡，这才动了心思要把K20弄回主力机使用。

在此之前我纠结过要不要搞一部可以刷机的手机，最后一路甚至选到了一加8T，但是最后想想不值当，一个拿来刷推看P站的手机完全没必要那么好，最后还是搞了红米Note8。最主要的是，非官方ROM的优化调教很难超过原厂（除非是那些不怎么关注的迷你小厂），相机是重灾区，买一个好手机刷机让一切都变得更糟实在不值当。

我这部Note8为了多用几年选的6+64GB，只要999。相比之前选的一加8T，能买三部Note8，我觉得还是便宜的红米更香一些。

毕竟，2300的差价能吃100份加煎蛋的双排猪脚饭。

Youtube直播转IPTV直播源

Sun, 23 Aug 2020 19:17:23 +0800

这篇是升级版！

前言

Youtube直播转IPTV直播源，基于Youtube-dl，我之前写过一个版本，那个版本因为是自己用的所以安装起来比较麻烦。

水完博客断断续续到现在还有人过来找我问我怎么安装，所以我花了两个星期断断续续做了一下优化。

现在这个工具被我命名为 “LiveTV!” 主要应用场景就是在电视或者其他支持M3U8的软件上直接播放Youtube的直播。

考虑到国内的网络问题，我还增加了代理模式，让电视不用搞飞机也能看。

安装教程

首先，你需要安装Docker。安装docker的镜像网上很多，如果你是 Ubuntu 之类较新的发行版可以直接使用apt安装。

如果你在服务器上使用老版本的CentOS7或者Ubuntu14.xx，也可以搜索一下。Docker安装教学应该到处都是。

以下内容假定你已经安装好了Docker。

正常安装

当你在可以直连Youtube的环境下安装时请参考这部分。（比如使用境外VPS或者你本身就在境外）

运行 docker run -p外网端口:9000 -v宿主机目录:/root/data zjyl1994/livetv:1.0，直接启动 LiveTV！

比如说我使用的命令就是 docker run -d -p9500:9000 -v/mnt/data/livetv:/root/data zjyl1994/livetv:1.0。

-p命令指定端口号是必须的，否则你将无法使用这个容器（或许你可以使用host模式开启这个容器，但是会占用9000端口）

-v指定了/mnt/data/livetv作为外部存储目录，这个主要用来存放LiveTV运行产生的数据库和日志文件。

如果不指定外部存储目录，LiveTV将在每次重启时丢失你添加的频道信息。

代理模式安装

当你不能直接链接Youtube时，你需要首先有一个飞机。具体怎么弄自己查，此处假定你的飞机地址为 socks5://192.168.1.1:10808。

运行 docker run -p9500:9000 -eHTTP_PROXY=socks5://192.168.1.1:10808 -eHTTPS_PROXY=socks5://192.168.1.1:10808 -v/mnt/d/workspace/livetv/data:/root/data zjyl1994/livetv:1.0

此时，LiveTV应该可以联网并正确缓存频道地址了。

使用教程

考虑到不是所有的人都会写配置文件所以我搞了个非常简易的面板。

面板的访问地址是http://你的外网ip:你设定的端口，比如我自己的面板就是http://192.168.1.100:9500。

这个面板还有英文版，不过考虑到能读到我这篇文章的读者应该都能懂中文，还是放中文版的图比较好。

使用起来很简单，必须要做的一步就是点击红色设定框中的“自动填充”按钮（也就是URL地址那列的按钮）

原因是设定M3U8需要获取程序运行的外网地址，做自动感知倒是也可以，但还是要给用户修改的权力，毕竟自动感知不可能非常完美。

点击“自动填充”按钮，等待URL地址中的地址发生变化，再点击“储存设定”就可以愉快的使用了。

在蓝色的“直播频道管理员”设定框中可以输入频道名称和Youtube的地址，点击“添加频道”，向LiveTV中增加新的托管频道。如果你是在VPS或者其他设备上安装，想在电视等不支持飞机的设备上观看，请勾选“代理直播数据流”。

添加成功后下面的表格中会多出你新增的频道，此时复制M3U8那一列的URL丢进电视或者VLC之类的播放器就可以播放了。

如果你是使用Kodi或者其他软件，需要M3U文件，或者你只是单纯的懒得一个一个向电视添加直播源，可以尝试使用第一行“M3U频道列表”中提供的M3U文件。

备注

Youtube的链接每6小时失效一次，所以说我做了一个每隔4小时刷新所有频道youtube链接的功能。 Youtube-dl本身比较慢，不适合每次点击都现解析，所以缓存是必不可少的。如果你遭遇断流，可能就是链接失效了。解决方法也很简单，只要切到别的台再切回来，让电视重新读取最新缓存到的地址即可。

感谢Youtube-dl这么伟大的项目，也祝你的IPTV看的愉快~

（友情提示，操作面板拉到底有一个Log链接，点过去可以查看程序的日志，如果遭遇500可能就是Youtube-dl无法解析，多半是没有正确配置代理，可以自行排查。想要调节清晰度等请自行修改Youtube-dl的参数，默认是最高画质。）

记一次MySQL巨大表查询优化

Wed, 01 Jul 2020 23:01:00 +0800

今天上班折腾这个搞到晚上9点，记录下来免得后人踩坑

前言

今天项目经理过来说我有一张TAPD单已经挂了一个月了，要我解决免得影响考核。我一看，是首页的数据报表接口速度过慢超时。

这个问题很早就提给我了，那个时候因为其他任务过于着急只能先挂起。现在要过考核所以只能尽快解决。

分析

首先查询代码中的数据表名称，前往正式环境的 MySQL 种查看，不看不知道一看吓一跳，2500万行单表，没有索引。所以解决方法肯定是先加索引。这里我就被坑了，代码中使用了单独的函数生成 where 子句，我尝试把 where 子句中的值加入索引，结果没有效果。

然后我就尝试打印最后生成的 SQL 语句。结果得到了这样的白痴语句 WHERE a = ? AND b between ? AND ? AND c = ?。

回想起来之前看过的面经提到，SQL的联合索引在范围检索的时候会慢很多，所以正确的办法应该把所有准确匹配的先放在最左边，MySQL 的联合索引会根据最左原则匹配使用索引。

解决

首先，要调整代码中的 SQL 顺序，使准确匹配在最左侧。WHERE a = ? AND c = ? AND b BETWEEN ? AND ?。

然后，需要在数据库里增加索引 ALTER TABLE table_name ADD INDEX index_name (a,c,b);

添加索引这个事，耗时足足4分钟。

效果和总结

优化前：18秒，远远超出平台规定的5秒限制，只能稍等一会重新请求，第二次会打到缓存上所以说一直这么对付着。

优化后：800ms，相比之前是飞一样的进步。

总结：MySQL的非破坏性大表优化就是加索引，加索引最重要的就是要检查是否会有条件打断你的索引，一旦索引条件被破坏，那么 MySQL 只能全力扫表。扫表的话，2500万的表确实要扫一阵。我们的机器还是公司内部云的那种MySQL，底层有SSD加持，要是HDD怕是更烂。

当然如果数据表再大的话，就需要根据业务逻辑进行分表拆表了。倾向于根据业务逻辑选择进行分表，如果表还大的话，就需要根据时间进行分表了，那样要改动的逻辑就会很多了。

Youtube直播转IPTV源

Sun, 03 May 2020 23:05:19 +0800

Youtube 是个大宝库！

前言

Youtube 直播上有很多好东西，比如各大电视台喜欢在油管上直播自己的新闻频道。

比如海量台湾电视新闻台都在油管上搞了直播，我整理了一下这些。

#三立LIVE新聞HD直播
https://www.youtube.com/watch?v=4ZVUmEUFwaY
#TVBS新聞 55 頻道
https://www.youtube.com/watch?v=Hu1FkdAOws0
#東森財經新聞 57
https://www.youtube.com/watch?v=dphWo0r27Z4
#東森新聞 51 頻道
https://www.youtube.com/watch?v=RaIJ767Bj_M
#CTI中天新聞HD直播
https://www.youtube.com/watch?v=wUPPkSANpyo
#中視新聞台 LIVE
https://www.youtube.com/watch?v=3OPNkiqD48g
#民視新聞直播
https://www.youtube.com/watch?v=XxJKnDLYZz4
#華視新聞HD
https://www.youtube.com/watch?v=TL8mmew3jb8

解析

我曾经想过用 Golang 自己写一套 Youtube 解析算法，但是考虑到我可能没有精力随时维护解析算法，所以还是要用现成的第三方库来弄。

Github 有个非常出名的第三方 Youtube 工具，youtube-dl。能在开源世界上拿到 65.6k 的 star 非常不容易，也侧面证明了这个工具的靠谱程度。通过查看 youtube-dl 的帮助，可以知道 youtube-dl -f best -g {url} 能解析到 Youtube 的 M3U8。

在 Golang 中调用程序并获取输出内容，可以这么做：

_, err := exec.LookPath("youtube-dl")
if err != nil {
    return "", err
} else {
    ctx, cancelFunc := context.WithTimeout(context.Background(), 10*time.Second)
    defer cancelFunc()
    cmd := exec.CommandContext(ctx, "youtube-dl", "-f","best","-g","${URL}")
    out, err := cmd.CombinedOutput()
    return strings.TrimSpace(string(out)), err
}

首先需要检查要调用的程序有没有，免得出问题。exec.LookPath 会检查能否找到程序，在 err == nil 时，证明可以调用到程序。使用 exec.Command 指定调用的命令行，CombineOutput 会运行并输出程序运行内容。需要考虑的是，运行程序可能会卡住，尤其是国内的神奇网络，如果没有扶墙，可能会无限卡下去。所以，必须增加超时。通过指定超时 context.WithTimeout(context.Background(), 10*time.Second)，设定 10 秒的延迟。所以这个时候需要把 exec.Command 换成 exec.CommandContext，超时之后会自动取消。

提供服务

Kodi 之类的 IPTV 客户端，都只能使用 M3U8 地址。所以需要一个 Go 程序提供 Youtube 直播地址转换到 M3U8 功能。用 Gin 可以非常容易的写一个 Web 服务。

func liveHandler(c *gin.Context) {
	liveURL := c.Query("url")
	if liveURL == "" {
		c.AbortWithStatus(http.StatusNotFound)
		return
	}
	liveM3U8, err := getYoutubeLiveM3U8(liveURL)
	if err != nil {
		log.Println(err)
		c.AbortWithStatus(http.StatusInternalServerError)
		return
	}
	if cfg.ProxyStream {
		liveProxyM3U8 := cfg.BaseURL + "/p/live.m3u8?url=" + url.QueryEscape(liveM3U8)
		c.Redirect(http.StatusTemporaryRedirect, liveProxyM3U8)
	} else {
		c.Redirect(http.StatusTemporaryRedirect, liveM3U8)
	}
}

代理直播流

正常的油管 M3U8 在电视之类没扶墙的环境是不能播放的，所以代理是很有必要的。如何代理可以参看 RTHK 那篇博文。

这种代理就是简单的读取，转发。只是 M3U8 里面的连接也跟着替换一下，注意必须保持扩展名 .m3u8 .ts ，要不然 VLC 之类的会无法播放。

优化加缓存

实际使用的时候，会发现一个很大的问题。比如 Kodi 换台的时候，首先会访问设定的地址，然后调用一次 youtube-dl，解析个6-7秒返回结果，再加上 Kodi 需要去真实的直播源加载数据，每次换台需要卡顿 8-10s 左右。

考虑到频道列表是固定的，所以可以提前使用 youtube-dl 加载一下。要缓存数据，最好的方法是使用 redis 之类的工具。不过为了这个简单的缓存引入 redis 实在不值当，所以直接使用内置类型 map 会很方便，高并发环境下需要使用 sync.Map 防止冲突 panic。

具体实现可以参考 https://github.com/zjyl1994/livetv/blob/master/m3u8cache.go 文件。

缓存规则

在进行 Youtube 地址转换获取 M3U8 的时候，先行访问快取，如果命中快取就直接用快取中获取。获取不到再去用真实的 youtube-dl 获取连接。

冷启动

当程序启动的时候，快取中没有任何数据，所以程序启动时需要逐个获取连接放入快取。

func loadChannelCache() {
	channels, err := channelParser(cfg.ChannelFile)
	if err != nil {
		log.Println(err)
		return
	}
	for _, v := range channels {
		log.Println("caching", v.URL)
		liveURL, err := realGetYoutubeLiveM3U8(v.URL)
		if err != nil {
			log.Println(err)
			return
		}
		urlCache.Store(v.URL, liveURL)
		log.Println(v.URL, "cached")
	}
}

热更新

Youtube 生成的 M3U8 中有过期时间，一般是6小时。如果想要保持随时可看的状态，就得经常更新。编写一个更新函数，从频道定义文件里获取 Youtube 链接，然后更新一下所有频道的 M3U8。然后使用 sync.Map.Range 遍历所有的链接，清理掉过期的链接，只要2-3小时抓取一次即可。

func updateURLCache() {
	channels, err := channelParser(cfg.ChannelFile)
	if err != nil {
		log.Println(err)
		return
	}
	for _, v := range channels {
		log.Println("caching", v.URL)
		liveURL, err := realGetYoutubeLiveM3U8(v.URL)
		if err != nil {
			log.Println(err)
		} else {
			urlCache.Store(v.URL, liveURL)
			log.Println(v.URL, "cached")
		}
	}
	urlCache.Range(func(k, v interface{}) bool {
		value := v.(string)
		regex := regexp.MustCompile(`/expire/(\d+)/`)
		matched := regex.FindStringSubmatch(value)
		if len(matched) < 2 {
			urlCache.Delete(k)
		}
		expireTime := time.Unix(string2Int64(matched[1]), 0)
		if time.Now().After(expireTime) {
			urlCache.Delete(k)
		}
		return true
	})
}

安装和使用

本次的程序使用多配置文件模式，具体可以参考 https://github.com/zjyl1994/livetv/blob/master/README-zh.md。

这次折腾完了，就可以用 Kodi 看香港台，台湾台，等等各种直播频道，配置好之后就享受观影吧。

TVProxy 开发笔记

Tue, 28 Apr 2020 21:06:43 +0800

花了两整天时间搞了一个Kodi适用的香港电视直播代理。

这篇还是IPTV相关的东西，香港电视台的直播解析可以看前两篇博客，分别写了 RTHK 31/32 和 TVB 无线新闻 / 财经资讯台的解析方法。

众所周知 Kodi 是一个集成式的播放平台，本次的主要目的就是改造 TVProxy 让它可以支持 Kodi 的 PVR IPTV Simple Client，并且准备两种安装方法的必须文件。

首先，Kodi 的 IPTV 插件需要自行安装。然后可以看到，PVR 插件需要一个M3U文件。在谷歌搜索M3U可以找到大量现成的M3U文件，可以参考他们的格式。

在这里我就直接给出正确格式了：

#EXTM3U
#EXTINF:-1, 电视台名称
http://example.com/iptv.m3u8

有多个电视台的情况下不停重复2-3行即可。由此可以看出，可以直接让 TVProxy 输出一个预制的M3U，毕竟我们只有写死的四个台。

func m3uHandler(c *gin.Context) {
	m3u := `#EXTM3U
#EXTINF:-1,無綫新聞台
${baseURL}tvb/inews.m3u8
#EXTINF:-1,無綫財經資訊台
${baseURL}tvb/finance.m3u8
#EXTINF:-1,RTHK 31
${baseURL}rthk/31.m3u8
#EXTINF:-1,RTHK 32
${baseURL}rthk/32.m3u8
`
	processedBody := strings.ReplaceAll(m3u, "${baseURL}", baseURL)
	c.Data(200, "application/vnd.apple.mpegurl", []byte(processedBody))
}

让我们启动这个程序，然后在 PVR 中填上 http://127.0.0.1:10086/iptv.m3u，重启 Kodi 后就可以看到对应的频道清单了。

现在就可以舒服的在Kodi上看港台了。

如果你是 HTPC/服务器可能需要考虑开机自启动的问题。虽然我写了Docker文件，但是不推荐在本地环境适用，仅适用于服务器环境。注意，RTHK由于被墙所以采用了直接转发，如果部署在服务器上会很消耗流量。请注意自行添加防护手段免得被人爬走导致流量费用爆炸。 Docker部分我就不说了，注意以下参数：

环境变量	作用
TVPROXY_LISTEN	决定程序监听哪一个地址上的哪个端口，默认值为"127.0.0.1:10086"
TVPROXY_BASE_URL	决定程序对外服务的地址前缀，默认值为"http://127.0.0.1:10086/"

TVProxy受HTTP_PROXY这个环境变量影响，所以在本地使用时如果想给程序挂代理直接指定HTTP_PROXY的值即可。

说一下我自己的部署方案：

我有一台类似NUC的无风扇主机，安装Manjaro+Kodi作为下载机和电视。所以TVProxy就装在这台主机上，通过指定HTTP_PROXY走本地的HTTP代理出境。

程序管理使用的是systemd，具体可以查看项目中的service文件。最后，如果你觉得好用请给star，https://github.com/zjyl1994/tvproxy 。作为个人项目来说，暂时不会接受任何功能需求的issue，要是这些直播源挂了的话倒是可以开issue让我修修，当然不能保证100%可修复，直播源这个东西谁都没有准。

提前祝你观影愉快，尽情享受 IPTV 吧。

RTHK直播抓取笔记

Tue, 28 Apr 2020 17:31:56 +0800

网上提供直播源的香港电视台除了TVB还有RTHK。

RTHK 是香港唯一的公营电视机构，有31和32两个免费电视台，而且最重要的是他们都提供了线上直播。

官方的播放地址是 https://www.rthk.hk/tv

按下 F12 可以看到视频使用的是jwplayer播放，指向一个内存blob。

所以，我们需要转去 Network 标签查看所有网络流量。

尝试直接访问以下：curl -s https://www.rthk.hk/feeds/dtt/rthktv31_https.m3u8

会得到如下输出：

#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=344000,RESOLUTION=256x144,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_216_av-p.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=344000,RESOLUTION=256x144,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_216_av-b.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=560000,RESOLUTION=432x240,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_432_av-p.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=560000,RESOLUTION=432x240,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_432_av-b.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=938000,RESOLUTION=640x360,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_810_av-p.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=938000,RESOLUTION=640x360,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_810_av-b.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1424000,RESOLUTION=848x480,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_1296_av-p.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1424000,RESOLUTION=848x480,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_1296_av-b.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2180000,RESOLUTION=1280x720,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_2052_av-p.m3u8?sd=10&rebase=on
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2180000,RESOLUTION=1280x720,CODECS="avc1.66.30, mp4a.40.2"
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_2052_av-b.m3u8?sd=10&rebase=on

当然，你直接拿着这个想像TVB那样直接302是不行的。因为 akamaihd.net 整个在中国大陆不可用，所以说需要代理一下。

这就涉及到了HLS的基本知识，有需要的可以去了解以下。这里需要知道的是，M3U8只是播放清单，真正负责播放的是ts文件。所以代理分为两步，获取真实M3U8内容，然后代理ts文件。

刚才我们获取到的M3U8文件是MasterPlaylist，负责提供多种解析度的。在这里我们选择清晰度最高的 https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/index_2052_av-p.m3u8?sd=10&rebase=on 进行代理。(根据搜索，这个地址早在18年就有人解析出来了，一直没有变，可见十分稳定。只不过因为akamaihd全线被墙，不能播放)

利用curl可以查看到以下内容:

#EXTM3U
#EXT-X-TARGETDURATION:10
#EXT-X-ALLOW-CACHE:YES
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:20055342
#EXTINF:10.000,
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/segment20055342_2052_av-p.ts?sd=10
#EXTINF:10.000,
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/segment20055343_2052_av-p.ts?sd=10
#EXTINF:10.000,
https://rthklive1-lh.akamaihd.net/i/rthk31_1@167495/segment20055344_2052_av-p.ts?sd=10

我们要做的就是去代理ts文件，并且把M3U8中的地址换成我们自己的代理地址。

首先需要搞一个ts代理，很简单。

func tsProxyHandler(c *gin.Context) {
	remoteUrl := c.Query("url")
	resp, err := http.Get(remoteUrl)
	if err != nil {
		c.AbortWithError(500, err)
		return
	}
	defer resp.Body.Close()
	c.DataFromReader(200, resp.ContentLength, resp.Header.Get("Content-Type"), resp.Body, nil)
}

就是简单的获取参数，然后去读取数据，记住要原样传递 content-type，正确传输body，其他不重要。

然后，我们来编写M3U8的代理。 M3U8文件是纯文本文件，所有控制信息以 # 开头，所以可以写一个逐行操作的程序，替换掉非 # 开头的URL。基本代码如下:

func m3u8ProxyHandler(m3u8url string, c *gin.Context) {
	resp, err := getHttpClient().Get(m3u8url)
	if err != nil {
		c.AbortWithError(500, err)
		return
	}
	defer resp.Body.Close()
	bodyBytes, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		c.AbortWithError(500, err)
		return
	}
	bodyString := string(bodyBytes)
	processedBody := m3u8Proc(bodyString, baseURL+"i.ts?url=")
	c.Data(200, resp.Header.Get("Content-Type"), []byte(processedBody))
}

func m3u8Proc(data string, prefixUrl string) string {
	var sb strings.Builder
	scanner := bufio.NewScanner(strings.NewReader(data))
	for scanner.Scan() {
		l := scanner.Text()
		if strings.HasPrefix(l, "#") {
			sb.WriteString(l)
		} else {
			sb.WriteString(prefixUrl)
			sb.WriteString(url.QueryEscape(l))
		}
		sb.WriteString("\n")
	}
	return sb.String()
}

然后就是很简单的组装环节了，要注意的是，VLC 播放器非常吃后缀名这个设定。所以TS文件必须.ts结尾。要不然他会在日志里默默的打上一句"Nothing to play"，然后装傻不去播放。

最后的效果如下：

相关的代理我已经封装成库了，可以参看 https://github.com/zjyl1994/tvproxy ,觉得好用给个star啦。

TVB直播抓取笔记

Mon, 27 Apr 2020 16:24:56 +0800

找工作期间闲的无聊想看电视，买了一部NUC作为播放设备，但是没有合适的电视直播源，只能自己动手了。

TVB无线新闻台的直播地址是 http://news.tvb.com/live/inews

TVB无线财经资讯台的地址是 http://news.tvb.com/live/j5_ch85

当然这两个直接用网页打开就能看，但是我想在 Kodi 上播放，所以还要处理一下。

先检查一下源码，一般来说直播都是M3U8格式的，所以在源码里搜以下m3u8可能会有惊喜。

可以看见，TVB的地址基本没有做特殊处理，只是带了一些控制参数，比如exp看起来就像是过期时间，hmac可能是签名，防止你自己生成这个url的。如果直接使用这个地址进行播放，可能过一阵就会打不开了，因为他们做了过期处理。

所以就需要写一个程序专门提取这个地址，我选择了最熟悉的 Golang。

可以看出来，最重要的URL部分被包裹在 和 " type="application/x-mpegURL"> 中，所以我们可以写一个正则来直接提取这个URL。


随手写了一个正则:(?<=)
让我们测试一下:


拿到对应的播放URL之后就很简单了，只要起一个HTTP服务器，收到播放请求的时候，用302把播放器跳去官方的播放CDN即可。中间不需要你服务器做什么转发视频流的操作，基本消耗就是一次几KB？
Golang版代码如下:
func parseTVB(liveName string) (string, error) {
	resp, err := http.Get("http://news.tvb.com/live/" + liveName)
	if err != nil {
		return "", err
	}
	defer resp.Body.Close()
	bBody, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		return "", err
	}
	m3u8Regexp := regexp.MustCompile(``)
	match := m3u8Regexp.FindStringSubmatch(string(bBody))
	if len(match) > 1 {
		return match[1], nil
	} else {
		return "", nil
	}
}
这是最基本的 HTTP GET 请求 + 正则运用，没有什么好说的。
经过简单的包装，(代码可以看: https://github.com/zjyl1994/tvproxy )
我们来测试一下:


可以看到播放的很好。
可惜 akamaihd.net 被墙了，要不然还可以搞一个 RTHK 的直播源。



KaiAuth 开发笔记3
Wed, 01 Apr 2020 22:40:00 +0800

最近升级了一下 KaiAuth，目前版本 v1.1.1

就在前几天，偶然闲逛 Reddit，发现有外国人也很需要 KaiOS 上的 TOTP 工具。我就推荐了我的 KaiAuth ，
结果外国人并不知道如何OmniSD或者用WebIDE安装这个。我思考了一下，还是需要提交到官方商店。
考虑到 KaiAuth 早期版都是使用暗码开启高级功能的（其实是我懒得搞菜单），对于上架到官方商店来说，
我不能保证所有用户都会玩暗码这套，所以一个正常一些的菜单还是很重要的。
改造
先看看改造后的结果：








图标改造
首先，2FA是一个非常大的概念，包括短信验证码、实体安全密钥之类的验证方式。所以说图标上用2FA不太合适，
对于我这个应用来说，TOTP 是非常合适的。所以用 Aesprite 重新画一下图标，改成 TOTP 就好了。
完成品是这样的：




菜单改造
考虑到官方没有提供 UI 库，菜单的实现需要自己用 CSS 画。最简单易行的方案应该是用 web activities 方式，
单独开启一个页面。这样页面滚动逻辑可以复用主界面的滚动逻辑。
菜单中提取出来的功能有这些：

删除（原先的右软键）
修改名字（新增功能）
查看密钥（新增功能）
从SD卡中导入（旧有*#467678#）
导出到SD卡（旧有*#397678#）
清除现有数据（旧有*#7370#）

要注意的是，删除，修改名字，查看密钥在没有选中的代码项时应该禁用。
Activity 值传递
这里面用到一个新的功能，MozActivity 的 data 传递。经过查阅代码，我发现了正确用法。
下面是我程序中提取的例子：
调用方：
var menu = new MozActivity({
    name: 'com.zjyl1994.kaiauth.Menu',
    data: {activeId:authcodeActiveItem} // activeId 是你要传递的数据
})
接收方：
navigator.mozSetMessageHandler('activity', function(activityRequest) {
    activityHandler = activityRequest;
    var activeId = activityRequest.source.data.activeId;
    // activeId 就是传递过来的数据
});
简单的来说，调用方传递的 data 对象，就是接收方的 activityRequest.source.data 对象。
禁用某些项
禁用某些项很简单，只要确保你的这些禁用项靠在一起，然后让按键滚动的时候滚不上去就好了。
具体可以参考 menu.js 中的实现。代码在这里
内建功能
我很庆幸 KaiOS 实现了基本的 js 对话框。简单的文字输入框，询问对话框和信息对话框都不需要自己来写了。
而且这些对话框都可以暂停住js的流程等待对话框，比自己实现的方便好用很多。个人建议，没有特殊需求的话，
用它自带这些就可以了。
alert()
alert 是 js 提供的一个标准的消息对话框。
alert('在这写消息');
confirm()
confirm 会弹出一个对话框，询问你提供的文本，在2720上是左软键取消，右软键确认。
var result = confirm('询问文本');
if(result == true){
    // 当用户按下确认的时候执行这里
}else{
    // 当用户按下取消的时候执行这里
}
prompt()
var result = prompt('提示文本');
if (result!=null && result!=""){
    // 当用户输入了非空消息时候执行这里
}
多语言改造
本次更新，我加了多语言支持。目前KaiAuth支持英文，简体中文，正体中文和广东话。
要注意的是，正体中文并不是简单的把简体中文做繁简转换就行的。这个需要多读正体中文的科技文章，
学习一下正体中文的惯用词。要做多语言一定要下功夫用心来做，要不然不如不做。
同样一个TF卡，简中环境喜欢叫内存卡，正体中文环境喜欢叫記憶卡,廣東話環境喜歡叫記憶咭。
简中环境叫导入文件 导出文件 正体中文就叫 載入檔案 匯出檔案。
語言這個東西還是很神奇的，要多學習。
提交商店
KaiOS 官方商店提交需要看一下 官方提交文档。
按照要求改造 manifest.webapp 既可。
都做完之后登录 Submission Portal ,开始提交。
（神奇的是，这个页面不可以用之前注册的kaios防盗账户登录。所以我就重新注册了一个kaios账号。）


点击 New Packaged App ，上传 Web IDE 版的应用。然后点击 Test Device，输入你测试设备的 IMEI 代码。
等五六分钟后你测试机的商店里就能搜到你上传的应用了。（当然这个时候别人还是看不到的，要通过审核之后才能显示出来）
我的应用已经提交到了官方商店，四天了，还在审核中（3/27~4/1）。只能说他们效率堪忧。


KaiDeploy 开发笔记
Sun, 22 Mar 2020 23:31:00 +0800

折腾 KaiOS 的我又搞了一个没什么人会用到的小工具

引子
最近折腾完 KaiAuth，就在 KaiOS 的交流群里和他们吹水。总能发现小白玩家连基本的操作都不懂却被迫折腾 adb，然后和 Palemoon 之类的过时火狐战斗，才能把应用装上。（有大把的人连 adb 都找不到）
Kai OS 脱胎与 Firefox OS，应用要用当年 Firefox 的 Web IDE 才能 sideload 到手机。由于 Mozilla 已经在 2016 年停止开发 Firefox OS， 新版本 Firefox 逐渐拿掉了自己不需要的 Web IDE，这却给我们这些 Kai OS用户造成蛮大的困扰。为了能随时 sideload 新的 app 进手机，必须保留最后一代有 Web IDE 的浏览器。这很不方便，一不小心就自动更新了。
折腾
破解协议
首先，Web IDE 是用 ADB 导出的调试端口进行通讯的，标准端口就是localhost:6000，这是一个很大的突破点。
为了抓到中间的通讯内容，我们需要一个转发器，并且能记录所有中间流过的数据。我选择了 sokit ，毕竟这种东西没必要自己写。
打开 sokit 的转发功能，打开记录到日志，这时候形成了一个 Web IDE <-tcp-> 转发器 <-tcp-> ADB <-USB电缆-> 手机 的连接隧道。
打开 Web IDE ，我们会抓到非常多的数据包，不利于解析。所以我选择了一个更取巧的办法。
Kai OS 曾经有过一款部署工具，叫做 kdeploy，不知道为什么被官方删除了。Lux Ferre 大佬开发了一个替代品，gdeploy。可以直接通过命令行抓包推送软件包到手机。
现在，通讯隧道变成了  gdeploy <-tcp-> 转发器 <-tcp-> ADB <-USB电缆-> 手机 。完成一次通讯就可以抓到协议报文了。
协议分析
报文太长了，我就不贴在这里了，有兴趣的可以自己抓一下。我这里直接说一下结论，如果你有一定的基础看懂那个报文很简单。
协议体是这样的：json长度:json体 (来回的信息都是这样的，最简单的例子就是这样的 2:{})
首先，打开 TCP 端口，手机会主动上报一条消息，内容是操作系统支持的调试功能。这个对部署应用没有什么意义，可以忽略。
然后，gdeploy 发送：
31:{"to":"root","type":"listTabs"}
得到手机响应：
452:{"from":"root","selected":0,"tabs":[],"memprofActor":"server1.conn9.memprofActor1","preferenceActor":"server1.conn9.preferenceActor2","actorRegistryActor":"server1.conn9.actorRegistryActor3","settingsActor":"server1.conn9.settingsActor4","webappsActor":"server1.conn9.webappsActor5","deviceActor":"server1.conn9.deviceActor6","directorRegistryActor":"server1.conn9.directorRegistryActor7","heapSnapshotFileActor":"server1.conn9.heapSnapshotFileActor8"}
结合上下文，我们发现对于应用部署最有用的就是 webappsActor 这个里面的值，记录下来。
电脑端发送以下报文：
59:{"to":"server1.conn9.webappsActor5","type":"uploadPackage"}
其中，to 表明要发送给的 actor, type 必须为 uploadPackage 。
手机端响应：
86:{"actor":"server1.conn9.packageUploadJSONActor9","from":"server1.conn9.webappsActor5"}
记下来 actor 中的值，后续上传会用到。
电脑端下行以下内容：
43865:{"to":"server1.conn9.packageUploadJSONActor9","type":"chunk","chunk":"PK....."}
通过后面的几条报文，我们可以知道，to 是刚才拿到的 actor， chunk 是分片的 zip 包。（chunk 中的PK头可以很容易的知道这是一个 zip 包）
发送后手机端会响应以下：
79:{"written":20480,"_size":102400,"from":"server1.conn9.packageUploadJSONActor9"}
其中 written 是本次写入的数据量，_size是整个 uploadActor 接收到的数据量。
多发几次把完整的zip包发过去就可以了
电脑端发送以下 json 通知手机上传完成:
60:{"to":"server1.conn9.packageUploadJSONActor9","type":"done"}
手机端会回复一个没什么用的 ack 信息：
48:{"from":"server1.conn9.packageUploadJSONActor9"}
电脑端下达安装指令给 webappActor, 这里的 appId 我查看了 gdeploy 里的实现，一层一层的扒代码进去得到就是个 uuid.v1，所以随便生成一个就好了。
149:{"appId":"eb4942c0-6b89-11ea-b686-7fba009c94d8","upload":"server1.conn9.packageUploadJSONActor9","to":"server1.conn9.webappsActor5","type":"install"}
手机会返回以下响应：
135:{"appId":"kaiauth.zjyl1994.com","path":"/data/local/tmp/b2g/eb4942c0-6b89-11ea-b686-7fba009c94d8","from":"server1.conn9.webappsActor5"}
如果你想在安装完成后和 Web IDE 一样自动打开应用，可以记住 appId 。
电脑端下行以下指令清除用过的 uploadActor
62:{"to":"server1.conn9.packageUploadJSONActor9","type":"remove"}
选做部分：
以下内容是通过 Web IDE 安装流程抓取到的：
自动打开应用，manifestURL 的格式是这样的 app://${appId}/manifest.webapp，发给 webappsActor
111:{"to":"server1.conn0.webappsActor5","type":"launch","manifestURL":"app://kaiauth.zjyl1994.com/manifest.webapp"}
手机端响应：
114:{"from":"server1.conn0.webappsActor5","type":"appOpen","manifestURL":"app://kaiauth.zjyl1994.com/manifest.webapp"}
此时手机上会自动弹出你刚才安装的App界面。
实现踩坑
考虑到需要免除运行库，所以 Golang 就是最简单的解决方案了。
打包 Zip
网上能找到的 Golang 打包 zip 代码或多或少都有一些问题, 多数问题出现在他会把绝对路径压制进 zip。所以我修改了一个版本的 zip 打包方法，考虑到没必要留存zip包，所以说直接内存操作又快又方便，毕竟 Kai OS 应用也没见过超过 10 MB 的。
func zipToMem(source string) (data []byte, err error) {
	buf := new(bytes.Buffer)
	archive := zip.NewWriter(buf)
	source, err = filepath.Abs(source)
	if err != nil {
		return nil, err
	}
	info, err := os.Stat(source)
	if err != nil {
		return nil, err
	}
	if !info.IsDir() {
		return nil, errors.New("source not dir")
	}
	filepath.Walk(source, func(path string, info os.FileInfo, err error) error {
		if err != nil {
			return err
		}
		if info.IsDir() && info.Name() == ".git" {
			return filepath.SkipDir
		}
		header, err := zip.FileInfoHeader(info)
		if err != nil {
			return err
		}
		header.Name = strings.TrimPrefix(path, source)
		if info.IsDir() && header.Name == "" {
			return nil
		}
		header.Name = filepath.ToSlash(header.Name)
		if info.IsDir() {
			header.Name += "/"
		} else {
			header.Method = zip.Deflate
		}
		header.Name = strings.TrimPrefix(header.Name, "/")
		if *verboseFlag {
			fmt.Println(header.Name)
		}
		writer, err := archive.CreateHeader(header)
		if err != nil {
			return err
		}
		if info.IsDir() {
			return nil
		}
		file, err := os.Open(path)
		if err != nil {
			return err
		}
		defer file.Close()
		_, err = io.Copy(writer, file)
		return err
	})
	archive.Close()
	return buf.Bytes(), nil
}
简单来说就是通过 filepath.Walk 遍历文件夹里的文件，然后对路径做处理，考虑到 Windows 和 *nix 系列的路径分隔符不一样，所以统一用 filepath.ToSlash 转换到 /，然后方便处理。
最后的结果就是打开 zip 包，所有文件都是相对路径模式存在。这样就正确了！
如果你的zip处理不正确，不是相对路径的，Kai OS 那边只会提示安装失败，并不会给你详细原因。
协议解析和组装
func readJSON(r *bufio.Reader) (*simplejson.Json, error) {
	strLen, err := r.ReadString(delimByte)
	if err != nil {
		return nil, err
	}
	strLen = strings.TrimSuffix(strLen, ":")
	bJSON := make([]byte, atoi(strLen))
	_, err = io.ReadFull(r, bJSON)
	if err != nil {
		return nil, err
	}
	return simplejson.NewJson(bJSON)
}

func writeJSON(w io.Writer, json *simplejson.Json) error {
	bJSON, err := json.MarshalJSON()
	if err != nil {
		return err
	}
	buf := bytes.NewBufferString(itoa(len(bJSON)))
	err = buf.WriteByte(delimByte)
	if err != nil {
		return err
	}
	_, err = buf.Write(bJSON)
	if err != nil {
		return err
	}
	_, err = w.Write(buf.Bytes())
	return err
}
为了方便解析，所以输入输出都是 simplejson 对象。组装协议很简单，读取协议使用了 bufio.ReadString 实现了截取冒号前字符串的功能，要注意：截取到的字符串是包含冒号的，需要处理掉。
不得不说这个协议设计的还是很简单明了的，如果可以的话甚至可以用 telnet 进行操作，基本不需要二进制操作。一般来说我设计协议都是固定字节的包头，决定后面要读取多长的数据。这种文本协议解析速度肯定没有二进制协议快，但是胜在简单明了。
chunk转换
本次最大的问题就在于，直接使用 Go 的 json.Marshal 处理字节数组，会处理成 Base64 ，如果协议是我设计的我肯定不会在 json 里直接写二进制，但是手机端的处理程序是固定的，只能针对性的修改。
通过查阅 https://www.json.org/json-zh.html ，可以知道 JSON 的字符串需要转义一定的内容。


考虑到 ASCII 中有不少控制字符，最好的办法就是只显示可见字符。
可见字符的 ASCII 范围是 32~126，不可见字符用 \u00FF 表示。（FF是字节的十六进制值）
func jsonEncodeBytes(byteArray []byte) *json.RawMessage {
	var sb strings.Builder
	sb.WriteString(`"`)
	for _, b := range byteArray {
		switch b {
		case 8:
			sb.WriteString(`\b`)
		case 9:
			sb.WriteString(`\t`)
		case 10:
			sb.WriteString(`\n`)
		case 12:
			sb.WriteString(`\f`)
		case 13:
			sb.WriteString(`\r`)
		case 34:
			sb.WriteString(`\"`)
		case 92:
			sb.WriteString(`\\`)
		default:
			if b >= 32 && b <= 126 {
				sb.WriteByte(b)
			} else {
				sb.WriteString(`\u00`)
				sb.WriteByte(hextable[b>>4])
				sb.WriteByte(hextable[b&0x0f])
			}
		}
	}
	sb.WriteString(`"`)
	result := json.RawMessage(sb.String())
	return &result
}
这样就能得到手机端需要的 Json 里面跑二进制流了。
一些废话
Kai OS 还是很有折腾潜力的，3月14日的时候 Mozilla 已经和 Kaiostech 达成协议。由 Mozilla 给 Kai OS 升级 Gecko 内核，
新闻在这里 KaiOS Technologies and Mozilla partner to enable a healthy mobile internet for everyone。
重点在于，升级后的 Kai OS 速度会得到一系列更强的 Buff，毕竟现在的 Kai OS Gecko 还停留在 2016 的 48 版本。2017 年大把的特性更新还上了量子火狐，现在 Kai OS 一点没吃到。就是不知道未来的 HMD 能不能给 Nokia 2720 Flip 升级新内核了，估计很难。


最后，完整的代码在这里: https://github.com/zjyl1994/kaideploy
我已经借助 bat 批处理文件和 WinRAR 自解压做好了一个 自带 ADB 的 OmniSD 一键安装器，个人测试还是很方便使用的。


Introducing KaiAuth
Fri, 20 Mar 2020 23:10:00 +0800

KaiAuth is a simple alternative of Google Authenticator on KaiOS



I’m not a native speaker of English so there will be some mistakes in my sayings.
Install
WebIDE

Download https://github.com/zjyl1994/KaiAuth/archive/master.zip .
Extract this zip to a folder.
Click “Open Packaged App” and select the folder from the previous step.
Click “Install and Run” button.

OmniSD

Open https://github.com/zjyl1994/KaiAuth/releases/latest and download kaiauth.zip.
Copy this zip file to the apps directory of the memory card.
Open OmniSD and install this zip.

When you do the right thing by following the steps above,KaiAuth will appear in your phone menu.
Use
Basic functions


Main interface


Although these screenshots are in Chinese, don’t worry, English versions are now available.
You can see a lot of TOTP codes on the screen, you can use the navigation keys to scroll them up, down, left and right.
There are two soft keys at the bottom, the left one means to add a new code, and the right one means to delete the currently selected code.
Before deleting, you will be asked if you want to delete, so you do n’t need to worry about deleting an account profile mistakenly.
Press the soft key named Add on the left,the application will switch to the scan QR code page.
Scan QR code interface


To use the QR-code scanning feature, the application requires permission for using the camera. A dialog will popup to ask you whether you are going to grant it or not.
Place the QR-code into the camera’s sight. If any valid QR-codes are identified, the application will automatically extract information contained in the QR-code then generate a new profile from the information. The new profile will then be shown in the main interface of the app.
Advanced Features
Based on what I actually need, I have made some advanced features. They can be activated by pressing keys in some special sequences.
Please enter these codes by sequence when you are opening KaiAuth. Entering these codes in the phone dialer has no effects at all.
*#7370#
Designed for very old Nokia phones. Will clean the data stored in the app. Very useful when you have messed up your code list and had to re-import the correct data.
*#0000#
Also useful when you are using an old Nokia. The version of the KaiAuth app will be shown after typing the sequence above.
*#467678#
Will automatically import profiles from a file kaiauth.json located in the SD card. Useful when you are transferring an existing profile list from another device, or restore profiles from a backup you previously made.
*#397678#
Will export current profiles stored in the application into a file named kaiauth.json in the SD card. Used for backing up or transferring profiles to a new device.
WARNING: The file contains sensitive information, please keep it in a safe place. Anyone who gets the file can get access to your account by using profiles stored in the file!
Why i made it
I bought a Nokia 2720 Flip, which runs KaiOS. I have many accounts protected with Google Authenticator. I hope that I can still query these codes and log in to my account on my computer when I am away from my smartphone, so I go to the Internet to search for related tools.
Unfortunately, I didn’t find related tools, some of them are only rough implementation of web pages, which need to use cursor to operate, which is very uncomfortable. Some don’t even have a basic feature to scan QR codes. It ’s very difficult to enter the two-step verification key accurately on the T9 keyboard of old phones. So I developed this KaiAuth myself, hoping that it can help someone who needs it.
If you like my work, please give me star on GitHub. https://github.com/zjyl1994/KaiAuth
Thanks for the help of Google Translate, I hope you can understand my bad English.
Finally, I would like to say great thanks for the correction on semantics and words to the article from Carina Nebula!
Easter egg in logo: 86 is the international calling code of China, 0755 is the calling code of Shenzhen.


KaiAuth 开发笔记
Wed, 11 Mar 2020 12:43:00 +0800

KaiAuth 是一款 KaiOS 上的谷歌验证器替代品

12月初的时候，我用原生 JavaScript 实现了第一版的 KaiAuth。具体可以看之前的博文。
如果没有耐心看下去也可以去 https://github.com/zjyl1994/KaiAuth/releases/ 直接下载最新版编译好的应用。
改进目标
首先，需要确认改进点，旧版本的 KaiAuth 是这样的：


目测可以看到：没有添加删除，没有其他功能，只有简单的看两步验证代码和一个方向键滚动屏幕。
添加删除账号需要修改 data/data.json 然后重新部署。
期望的改进点是，可以手机自己独立增加删除账号，所以引入左右软键。左边是Add，右侧是Delete


（上面的是已经做了多语言的截图，感谢 LiarOnce 的贡献）
考虑到添加需要扫描二维码，所以说需要实现一套扫码的页面和逻辑。


扫码功能界面就长这样。扫描到二维码会自动添加并返回主列表。
实现
存储
首先，KaiAuth 第一版使用 fetch('data/data.json') 加载软件内的 JSON ，没有办法实现动态修改。在第二版中，使用 localStorage 存储，可以方便的修改。
列表数据采用JSON存储，格式如下：
[
    {
        "id":1,
        "name": "Example Account 1",
        "secret": "2DMCERI7V4OPLHYBWNLQ4WASIIH4XZTP"
    },
    {
        "id":2,
        "name": "Example Account 2",
        "secret": "MYCX4VGRCNXXCVXEDC2ZLPM6MZORO55Z"
    },
    {
        "id":3,
        "name": "Example Account 3",
        "secret": "JBSWY3DPEHPK3PXP"
    },
    {
        "id":4,
        "name": "Example Account 4",
        "secret": "LL7HWMUW77Z75J3D"
    },
    {
        "id":5,
        "name": "Example Account 5",
        "secret": "WUABTBGATYBBEURE"
    }
]
localStorage只能存储字符串，所以要保存成JSON格式。通过authcodes = JSON.parse(window.localStorage.getItem("authcodes"));可以拿到保存的列表。
删除
删除功能比较简单，只要在列表上绑定data-id，然后获取到当前active的那条数据的id，去authcodes数组里删掉即可，然后刷新UI。
扫码增加
扫码功能是本次的难点，首先，扫码库我选择jsQR。
通过查看官方Demo：https://cozmo.github.io/jsQR/
可以获得以下代码：
navigator.mediaDevices.getUserMedia({
    audio: false,
    video: { facingMode: "environment" }
}).then(function(stream) {  
    video.srcObject = stream;
    video.setAttribute("playsinline", true);
    video.play();
});
video对象是标签，用户看到的内容就是摄像头获取的视频流。
考虑到方便用户使用，扫描到二维码的时候就应该获取结果，无需用户做更多操作。
function capture(){
        if (video.readyState === video.HAVE_ENOUGH_DATA) {
            canvas.height = video.videoHeight;
            canvas.width = video.videoWidth;
            canvasContext.drawImage(video, 0, 0, canvas.width, canvas.height);
            var imageData = canvasContext.getImageData(0, 0, canvas.width, canvas.height);
            var code = jsQR(imageData.data, imageData.width, imageData.height, {
                inversionAttempts: "dontInvert",
            });
            if(code){
                activityHandler.postResult(code.data);
            }
        }
    }
每隔200ms触发一次capture，检测video的状态，当video有数据的时候，通过canvas把video的当前帧画过去，这样可以获取照片数据，交给jsQR进行检测。当jsQR读取到内容后，code里就会有二维码的内容了。
多Activity
和Android一样，Kai OS也是有activity设定的。
activity需要在manifest.webapp中提前注册。首先需要指定origin,一个简单的例子如下：
{
    "origin": "app://kaiauth.zjyl1994.com",
    "activities": {
		"com.zjyl1994.kaiauth.addCode": {
			"href": "./add.html",
			"disposition": "inline",
			"returnValue": true
		}
	}
}
指定href为activity的页面，disposition为inline（inline模式下显示为弹出层，也可以选择window，会新开一个页面），returnValue控制是否可以读到返回值。如果你需要activity返回一些数据，可以设置为true。
启动Activity
var Activity = new MozActivity({
    name: '前面注册的activety名字'
})
Activity.onsuccess = function () {
    ActivityResult = this.result;
}
以下代码执行后，会调用系统自带的函数启动新activity，结果会返回到ActivityResult里。唯一美中不足的就是切换activity会短暂的出现一次应用的Splash（闪屏，指启动的loading页面），尚不清楚是特性还是bug。
ActivityResult 可以是Object，所以可以承载很丰富的数据。
返回数据
var activityHandler = null;
navigator.mozSetMessageHandler('activity', function(activityRequest) {
    activityHandler = activityRequest;
});
// 返回错误信息，通过onerror接收
activityHandler.postError('No QR Code');
// 返回成功数据，通过onsuccess接收
activityHandler.postResult('any object here')
调用post后会自动关闭activity。
Shortcodes
Shortcode是老式按键手机最喜欢用的功能，通过数字按键得一系列特定组合，可以实现很多隐藏功能。
KaiAuth得隐藏功能如下：

	
			
					Shortcodes
					功能
			
	
	
			
					*#0000#
					查看版本信息
			
			
					*#7370#
					清空 localstorage，这会丢失所有的认证数据
			
			
					*#467678#
					导入SD卡中的kaiauth.json文件
			
			
					*#397678#
					导出当前数据到SD卡kaiauth.json中
			
	



2020
Sun, 02 Feb 2020 15:11:00 +0800

失业在家半年了，刚开始是自己想休息，然后马上家里的事就来了，一通瞎忙，折腾完了就到了过年，现在过完年又闹肺炎。这个庚子年不消停啊。

总结我的 2019 ，就是折腾。
我知道 2020 年 2 月份再回顾 2019 太晚了，所以也不打算过多的回顾。2019 年，年中拿到一线城市户口，9 月遭遇裁员，经济寒冬，闲下来的我帮着家里装修监工一通搞。我的 2019 也就这么几样事。
眼看到了 2020，一月份有多乱大家都看到了。
我自己的 2019 愿望也就实现了一个，独立游戏一直也没开工，可能是我实在太懒，不过大概率这个锅要甩给编不出好故事的我。
看了太多魔幻新闻，我是想不到什么可以安全写出来而不会被上名单的故事。
没了收入最大的问题就是买东西不痛快了，后期很多时候都不能出去浪了，出去坐动车也舍不得买一等座了。
就看这个经济形势，2020 的企业肯定不会好过，新一轮裁员风暴就在眼前。也不知道这波延期开工后会有多少公司在招人，一切听天由命好了。
幸好当年上班的我自控能力，存了点生活费，短期内还衣食无忧。不过要是继续保持这个状态，给座金山都能吃没了。
希望 2020 的 IT 公司都能好好的生存下去，给我们普通程序员一条生路好了。
另外，今天是完全回文日，亚洲欧洲美洲的写法里都是哦，本世纪内唯一一次。 (2020-02-02/02-02-2020)



Authy 导出密钥
Sat, 07 Dec 2019 21:40:00 +0800

Authy 也可以导出密钥，而且现在很简单了

Authy 是一款挺好用的 2FA 生成器，问题在于它没有 KaiOS 版本，所以我昨天自己写了一个生成器。详情可以见上一篇文章。
Authy 官方没有给密钥导出方案（说是为了安全考虑不提供这个），网上的 js 方案都是从chrome版的authy中读取，还不能用。我花了很久找到了这个现成的方案。
https://github.com/alexzorin/authy
可以用 go get github.com/alexzorin/authy 下载这个包，然后使用 go run $GOPATH/src/github.com/alexzorin/authy/cmd/authy-export/authy-export.go 运行。
注意 不要用 Git Bash 运行这个程序，否则到输入密码部分会直接崩溃。建议用 CMD 或者 PowerShell 运行。
运行起来之后，首先要求输入的是 Authy 的电话区号，不带+号的。
然后输入手机号，它会联系 Authy 服务器，此时你的 Authy 设备上会有个登录提示，按照提示同意即可。
然后会显示输入 backup password，输入你的密码后，就会显示出你所有的 token。
输出的都是 otp:// 开头的 2FA URI，你就可以把这些 OTP 导入其他 2FA 验证器了。



KaiOS 折腾开发笔记
Sat, 07 Dec 2019 15:23:00 +0800

11 月末冒险过关去 HK 买了一部诺基亚 2720 Flip

前言
2019年9月5号，HMD 发布了 Nokia 2720 Flip，一部翻盖的半智能机。
个人对翻盖机还是很喜欢的，之前纯为了情怀买过一个飞利浦的真功能机，结果只支持 GSM，2019 年 GSM 已经不行了，很多时候信号都没有。而这部 2720 Flip，支持4G、VoLTE、热点分享，瞬间种草各种想买。
当时说，2019 年第四季度大陆发售，结果转眼间从 10 月等到 12 月，每天跑去诺基亚中国的微博下蹲守也不见发布，正好有朋友约了我过关买东西，我就去丰泽拎了一部港版 2720 Flip 回来。
淘宝上很多卖这个的，基本都是 799 RMB，但是丰泽的官网上显示只要 798 HKD，考虑到港币的汇率，实际到手价格也就710 RMB。（不过丰泽只有黑色版本，也不知道为啥没有白的可以买）


系统
KaiOS 用起来，有种 S40 和 S60 的混合体，可能年轻人都没用过这东西了吧？


在香港的时候，连上丰泽的 WiFi ，桌面上有 Youtube、Twitter、WhatsApp，甚至有 Google 助理。
但是我拎回来，插上大陆的电话卡，这些东西全都消失了，甚至自带的小游戏都没了。
KaiStore 也还行，可以直接访问没有被墙掉。但是里面可用的应用非常少，你可以理解为商店只是个摆设。
折腾
作为一个备用机，我主要的需求就是密码管理器和两步验证，密码管理器我现在有在线版的可以用，但是两步验证，之前只能用智能手机。Authy 必须要谷歌框架，而一般的国内手机很少有这种东西。所以我对 TOTP 应用比较有需求。
KaiOS 是一个 HTML5 驱动的半智能手机，基于停止开发的 Firefox OS 二次开发，也就是说你只要会前端技术就可以给这个写 App。要开发，首先要打开开发者模式。输入*#*#33284#*#*，直接进入调试模式，可以看到状态栏上有个 DEBUG 图标。
电脑上要安装 ADB，没有的可以直接在这里下载。装好 ADB，就可以尝试连接了。（我是不太知道为什么 KaiOS 要用 ADB 链接）使用adb forward tcp:6000 localfilesystem:/data/local/debugger-socket命令一键连接。
电脑上的调试器，可以使用 Pale Moon，虽然都推荐 Firefox 59 ESR 版本，但是因为这个东西每次都要自动升级，就很麻烦。所以推荐用不会强行自动升级的 Pale Moon 28.6.1，找不到可以直接点这里下载。




KaiAuth
KaiOS 的开发说简单也简单，说复杂也复杂，可能是我没有相关的前端经验。先来看我的最终成品：


首先要理解一个概念，KaiOS 并没有官方的 UI 库和控件，你可以理解为一个全屏的 Firefox 浏览器，你所看到的一切都是用 HTML 和 CSS 一点点画出来的。（也就是上图除去最上面一行状态栏，其他都是要自己实现）
我首先看了 KaiOS 的官方开发者网站，推荐的是 KaiUI ，但是这个并不能用，依赖遭到破坏不能顺利安装。
后来找到了一系列的 react 工具链，但是折腾很久都不会弄。 （项目创建工具：create-kaios-app ，配套的 UI 库：Kaid ）
最后，我的办法最后就是用原生 Javascript 写。参考了 OmniSD 的代码，总共花了不到一晚上就写好了。
界面
KaiOS 的界面有一定的设计指导，大部分界面都由三个区域组成。标题栏就是最上面蓝色的 KaiAuth 那一行，最下面的是软键，由于我这个应用非常特殊，不需要软键。所以我就把软键区改成了验证码倒计时提示。
中间的区域，是最重要的信息区。KaiAuth 中，这个区域是一个列表，上部大大的验证码，下面是验证码对应的名字。这个列表可以用方向键上下滚动。
这部分就是简单的 HTML + CSS写成，重要的是用position: fixed;把对应的元素固定到该去的位置。
按键
KaiOS 的按键需要你自己使用 js 进行响应，包括软键，因为软键也是你自己画的。 具体的实例可以参考官方的教程。官方的五维导航键例子就是这样的：
document.activeElement.addEventListener('keydown', handleKeydown);
function handleKeydown(e) {
  switch(e.key) {
    case 'ArrowUp':
      nav(-1);
      break;
    case 'ArrowDown':
      nav(1);
      break;
    case 'ArrowRight':
      nav(1);
      break;
    case 'ArrowLeft':
      nav(-1);
      break;
  }
}
function nav (move) {
  const currentIndex = document.activeElement.tabIndex;
  const next = currentIndex + move;
  const items = document.querySelectorAll('.items');
  const targetElement = items[next];
  targetElement.focus();
}
ArrowUp、ArrowDown、ArrowRight、ArrowLeft 是导航键的四个方向，Enter 是方向键中间按下。SoftRight、SoftLeft是左右软键。其他按钮就直接和键盘上印的一样了，123 就是 123。
TOTP
谷歌验证器用的数字生成算法，就是标准的 TOTP 算法，每隔 30 秒一个切换。这个也不需要自己来实现，有专门的 otplib 库可以使用。要注意，otplib 是针对 Node.js 环境用的，KaiOS 是标准的 Gecko 48 环境，不是 Node ，所以要使用 otplib-browser 版本。下面是 TOTP 的例子：
var secert = 'WUABTBGATYBBEURE'; // TOTP 中的密钥
var code = window.otplib.authenticator.generate(secert); // 生成的验证码
var remain = window.otplib.authenticator.timeRemaining(); // 验证码剩余的时间
最初的实现，是每秒刷新一次，但是这样会导致滚动列表时的闪烁问题。所以，现在每秒更新的是 remain 这个数值，当 remain 为 30 时，重新生成一波验证码并显示。
TOTP标准的添加方法是扫描二维码，但是没有合适的资料可以借鉴，短期内无法实现。
从原理上来说二维码会解析出一个 otpauth 开头的 uri，解析后就能得到 secert 和其他设置信息。


解码出来，就是：otpauth://totp/otplib-website:otplib-demo-user?secret=WUABTBGATYBBEURE&period=30&digits=6&algorithm=SHA1&issuer=otplib-website
数据源
数据的存储同网页，可以用 localStorage 实现。但是本应用中不太一样，因为目前还不能支持扫码添加账号， 而且 KaiOS 并没有提供文件选择器直接提取文件，所以说最简单的办法就是把数据文件直接写入 app 内部，等后期有时间再做改进。KaiOS 可以读取 SD 卡，但是需要特别提请授权，可以查看 API 手册 学习。
要访问本应用包内的数据，KaiOS 并没有提供特别的 API ，所以还是要使用传统的 XHR 或者 fetch。为了简单我选择了 fetch。
fetch('data/data.json')
.then(res => res.json())
.then((out) => {
    // out 就是已经处理好的js对象了
});
方向键滚屏
方向键滚屏其实是这中间比较重要的一件事，如果不滚动，方向键一路滚动选择条往下，最后会走出屏幕。这样会导致屏幕区域外的看不到，影响使用体验。所以需要记录滚动位置，点亮对应的 Item，核心代码就是这样的：
var selectIndex = 0;
var mainlist = document.getElementById('authcodes');
function selectItemByIndex() {
    [].forEach.call(mainlist.children, function(el) {
        el.classList.remove('active');
    });
    let activeElem = mainlist.children[selectIndex];
    activeElem.classList.add('active');
    activeElem.scrollIntoViewIfNeeded(false);
}
window.addEventListener('keydown', function (e) {
    switch (e.key) {
        case 'ArrowUp': //scroll up
        case 'ArrowLeft':
            selectIndex--;
            if (selectIndex < 0) selectIndex = authcodes.length - 1;
            selectItemByIndex();
            break;
        case 'ArrowDown': //scroll down
        case 'ArrowRight':
            selectIndex++;
            if (selectIndex > (authcodes.length - 1)) selectIndex = 0;
            selectItemByIndex();
            break;
    }
});
scrollIntoViewIfNeeded 是一个非标的方法，是 WebKit 世界的东西。因为 KaiOS 的渲染引擎是 Gecko，所以这个其实是没有用的。所以我们要单独找一个 Polyfill 来实现这个功能。
// scrollIntoView polyfill
// from https://gist.github.com/KilianSSL/774297b76378566588f02538631c3137
if (!Element.prototype.scrollIntoViewIfNeeded) {
    Element.prototype.scrollIntoViewIfNeeded = function (centerIfNeeded) {
        centerIfNeeded = arguments.length === 0 ? true : !!centerIfNeeded;
        var parent = this.parentNode,
            parentComputedStyle = window.getComputedStyle(parent, null),
            parentBorderTopWidth = parseInt(parentComputedStyle.getPropertyValue('border-top-width')),
            parentBorderLeftWidth = parseInt(parentComputedStyle.getPropertyValue('border-left-width')),
            overTop = this.offsetTop - parent.offsetTop < parent.scrollTop,
            overBottom = (this.offsetTop - parent.offsetTop + this.clientHeight - parentBorderTopWidth) > (parent.scrollTop + parent.clientHeight),
            overLeft = this.offsetLeft - parent.offsetLeft < parent.scrollLeft,
            overRight = (this.offsetLeft - parent.offsetLeft + this.clientWidth - parentBorderLeftWidth) > (parent.scrollLeft + parent.clientWidth),
            alignWithTop = overTop && !overBottom;
        if ((overTop || overBottom) && centerIfNeeded) {
            parent.scrollTop = this.offsetTop - parent.offsetTop - parent.clientHeight / 2 - parentBorderTopWidth + this.clientHeight / 2;
        }
        if ((overLeft || overRight) && centerIfNeeded) {
            parent.scrollLeft = this.offsetLeft - parent.offsetLeft - parent.clientWidth / 2 - parentBorderLeftWidth + this.clientWidth / 2;
        }
        if ((overTop || overBottom || overLeft || overRight) && !centerIfNeeded) {
            this.scrollIntoView(alignWithTop);
        }
    };
}
简单来说，就是计算边距然后判断是否在可视范围内，不在就滚动到对应的位置。一般的 scrollIntoView 就只能做到上对齐，但是scrollIntoViewIfNeeded可以做到根据距离对齐最近的一边。这样列表的滚动体验和传统的S60手机接近了。
安装和使用


下载 KaiAuth 项目


编辑 data/data.json，把你的名字和密钥写进去。（注意，显示的顺序就是你JSON中写的顺序）


打开 WebIDE，加载 KaiAuth 项目


按照前文所述开启手机调试模式


点击 三角形 播放键直接下载到手机中


这样一个能用的 KaiAuth 就装好了。
后记
感受
KaiOS 本身可玩性不足，而且 2720 价格很高。但是它可以使用 HTML5 编写 app，前提是你有足够的前端经验。
由于官方没有给任何内置的UI或者控件库，所以有种给你个 GDI 句柄自己画界面的感觉，甚至要自己处理消息循环响应控件按键，感觉非常的原始。
KaiAuth 为了实现简单，其实是不可用的状态，因为数据从 app 内部加载。如果未来有时间的话，我会给它更新扫描二维码添加和导入导出功能。这样不仅仅需要实现拍照，也要自己实现多 activity 切换，而且导入导出也要自己实现一套文件选择逻辑。目前看来，并没有相关的第三方库可以用。想要实现这些功能，基础控件和页面切换还是要自己整的。
相关链接

诺基亚 2720 官方主页
丰泽 2720 信息页面
KaiOS 官方开发者门户
官方的 ToDo Demo
BananaHackers
独立版 ADB
Pale Moon 28.6.1 下载
KaiUI
create-kaios-app
Kaid
官方五维导航键教程
otplib
存储 API 手册



Hugo 博客折腾记
Wed, 06 Nov 2019 22:42:00 +0800

五一期间折腾了一下服务器的 Docker 化，踩了好多的坑，写文记录下来。


别小看这篇文章，我已经折腾两天了

起因
本来想搞个第二博客写点非技术性的东西，经过一系列纠结，选定了 WordPress + Docker-Compose 的部署方案，本来教程都快写完了，但是 WordPress 死活拉不起来，昨天整整调试了一天，最后放弃。
后来选定了 Hugo + GitHub Web hook + Caddy 这种备选方案，因为我现在的博客就是这么搭建的。由于我不想开源，所以选了 GitHub 的私有仓库，一切都很美好。但是 Caddy 的 Git 插件有 bug，并不能处理 私有仓库这种 git@github.com:username/example.git 的地址，相关讨论 issue 在这里： https://github.com/abiosoft/caddy-git/issues/106 。简单来说就是标准库更新之后这个插件处理 ssh 式仓库地址的功能就炸了，虽然有人提 fix，但是开发者没有 merge。所以只能用最原始的办法了：Nginx+部署脚本+Web hook handler。
教程
Nginx 安装
# 先安装 epel 源，才能安装 nginx
yum install epel-release
# 装 nginx
yum install nginx
# 启动nginx+自启
systemctl start nginx
systemctl enable nginx
安装后需要简单的配置，主要就是网站的 root 指定到 /var/www 目录中，当然你也可以指定到其他地方。
部署脚本
部署脚本是最重要的，去 Github 拉数据，送到 hugo 编译，把编译后的内容放到 nginx 的 web root 目录中。
我的部署脚本是这样的：
#!/usr/bin/env bash
cd story_site
git pull --recurse-submodules
hugo --cleanDestinationDir --destination=/var/www
写完部署脚本可以试一下，执行完毕之后应该就可以在浏览器中看到对应的博客页面了。
自动更新
现在的更新是每次搞完了手动调用 deploy.sh , 自动更新非常有必要。（因为 Caddy 版可以做到这一切）
wget https://github.com/adnanh/webhook/releases/download/2.6.10/webhook-linux-amd64.tar.gz
tar -xvf webhook*.tar.gz
mv webhook-linux-amd64/webhook /usr/local/bin
rm -rf webhook-linux-amd64*
新建一个hook描述文件 webhook.json
[
  {
    "id": "redeploy-webhook",
    "execute-command": "/root/deploy.sh",
    "command-working-directory": "/root"
  }
]
然后运行  webhook -hooks webhook.json -port=10086 端口写什么都可以
然后去 GitHub 上设置 Webhook 就可以了。
Webhook 地址就是这样的 http://ipaddress:10086/hooks/redeploy-webhook
结语
折腾了两天，我本身没想到搞一个第二博客会这么麻烦，中间 debug 耗费太多时间。现在看来 PHP 的 WordPress 已经不适用于轻量级网站了，Caddy 也有 bug，等待修复把。（服务器上的 Caddy 还留着，等官方修复了）



10月乱想
Fri, 25 Oct 2019 23:16:00 +0800
不知不觉十月份就要结束了，经济形势越来越差，很多公司都在裁员过冬。
很不幸的是，我也被裁了。
其实一切都是可以预料到的，从去年年底福利缩水，聚餐减少，到今年一次团建没有，外加老板各种电话出去要债，技术部门停止招新。
不知道他们有没有，我反正做好了被裁员的准备。全组在 Java 背景的组长领导下集体转向 SpringBoot 做困兽挣扎，我这个写 Go 的留下来一点用处没有。
说起来也是造化弄人，中途公司接了一个微信二次开发的，如果做好了也能缓解一下经济困难，硬着头皮捡起多年不写的 C# WinForm 肝了一个星期，
等我搞完了测试都过了，结果正式上线前一天微信接口让腾讯封了。也许公司注定赚不到这份钱。
2019.9.16 拿到离职证明，拿到裁员协议，和 HR 告别，背上包，离开公司。
舒舒服服的玩了一个月，也该准备准备迎接新生活了。
（另外，物价一直在涨，村里吃粉都加一块钱了，猪脚饭叉烧饭之类的的更是要加两三元。）
2019.10.25 睡不着的夜晚



GPD MicroPC 使用感受
Tue, 27 Aug 2019 23:29:00 +0800
前言
四月还是五月的一天，无聊的我在地铁上刷今日头条，突然看到一个文章，说 GPD 又出新玩具了（准确的说是生产力工具）。一看价格也不贵，京东众筹 1999。于是买了一台，算是了却心愿。
说起来我对袖珍电脑有兴趣不是一两天了，一个是大学上课带电脑偷偷玩东西，电脑巨大无比不好藏，而且真的很重。大学用的昭阳 K29，虽然是台 12 寸的笔记本，但是由于巨大的 9 芯电池，
重量不输一般的 15 寸笔记本，每天上课十分健身。所以一直以来都想要小型化的电脑。
上班后，在北京的公司里接了一个做嵌入式设备的项目，然后做完了需要出现场调试设备。那个设备本质上是个工控机，但是没有屏幕。需要用串口线连进去 tty 控制，所以大笔记本也是麻烦。
那个时候就看到了 GPD Pocket ，没记错的话 3300，咬着牙买的。那个时候每个月到手也就6k，为了这个分期+吃土三个月。体验嘛，真的很方便，现场设备很小挂在墙上，
笔记本的话需要拖着很难搞。而这种便携设备只需要放在盒子里，连好线敲就是了。
那个嵌入式项目结束后，pocket 就一直在吃灰。究其原因，铝合金外壳，漂亮，但是烫手，ATOM 处理器真的很热。而且性能对于电脑软件真的稀烂，幸好我只用 XShell。Chrome总会无端崩溃，
估计也是性能的锅。而且，只有一个标准尺寸 USB 口，接了鼠标就没法弄U盘，为了 pocket 还买了个宜丽客马克鼠，就为了不占住 USB 口。（顺带一提，我的马克鼠也在吃灰）
入手
我也不知道为什么我就突然想买这个。因为我已经没有需要出现场的活了，而且我还买了宏基的11寸笔记本专门做移动的活。两个USB口就很够用，而且大键盘也不错。至少比pocket的奇怪键位舒服很多。
但是，就是心里非常长草，最后决定还是拔掉。所以京东众筹我就参与了，等了一个多月，6月多发货。从南山科技园那边发到这边，中通居然要交换到深圳市总集散中心，也不知道是什么奇怪的玩法。
合盖状态是这样的：


然后打开它是这样的：


你没有看错，后面插了一排的线。GPD 现在终于弄明白了自己的定位，Windows 机器就是生产力，而不是简单的做一些Windows掌机。
这次主打的买点是工程师必备电脑，接口齐全的令人发指，这也是我买它的原因。


这个小电脑有以下接口：

USB Type-A x3
RS232 串口 x1
HDMI x1
USB Type-C x1
RJ45 x1
MicroSD 读卡器 x1

是的你没有看错，不是MicroHDMI，是全尺寸的HDMI。RJ45网线口也是标准大小，3个标准尺寸USB端口完全不需要OTG线之类的累赘，还有个RS232端口可以用来处理该死的串口交换机。几乎不需要任何转接头。
简单测评和调教
老套的参数我不想细说，这东西百度 GPD MicroPC 一抓一大把。简单说一下，京东众筹的这版是 8G 内存+ N4100 的，国外版众筹只有 4GB 版本。大内存应对Chrome之类的巨无霸应用还不算吃力。
键盘使用起来呢，肯定没有pocket那种大键盘舒服，但是作为一个应急本，应该没人想在上面用键盘敲长篇大论吧。而且这次的键位还算正常，不像pocket经常按错。
然后这次的散热异常给力，背面巨大的散热窗口，我都能看到风扇本体。外加风扇开关，可以选择关闭让它被动散热，也可以选择让风扇转起来。根据我听声估测得有800-1000转吧，反正高负载的时候风扇确实很有效。
屏幕，不同于pocket，这次GPD MicroPC的不是触屏，导致某些操作就得去操作右上角的那个触摸板，手感还不错，但是我习惯于Mac式的滚屏，我的linux主机和Windows机都改过滚动方向。
到这里就很不适应，中途也搞了很多方法，结果发现它这个触摸板是作为PS/2鼠标接进去的，滚动在BIOS里就处理了。等了一个星期官方发布了翻转滚动的BIOS，刷进去就好了。痛点解决
还是滚屏相关的，不同于pocket没法手持只能桌子上用，这次的 MicroPC 非常适合端起来使用，我经常使用它在床上举着上网侧着上网。这个时候双指触摸板滚屏就很不现实。解决方案也有，
但这次不是官方的方案了，使用XMouseButton映射鼠标键中键，设置为按下后配合单指触摸板滑动上下滚屏，目前体验超好。痛点解决
目前来说 GPD MicroPC 是满足了我的需求。从前面的图片你们可以看出，我装了xshell装了vscode和office全家桶。体验嘛，应急打字，修服务器都不在话下。我可以安心的把我的SSH密钥放进去，然后从不离身。随时保持对服务器的控制。像是自己私钥这种东西，放在公司电脑里是很难令人放心的。
我在公司尝试使用这东西办公了一天，期间chrome三四个标签页，除了偶发标签页崩溃其他还好（估计还是cpu孱弱）。然后vscode写Golang的代码，后台Go的工具链频繁分析语法给智能提示啥的，完全没问题。
使用的时候，HDMI接显示器，键盘鼠标一插，再插上电源，完全体的移动办公室。不需要任何转接头。
优缺点和值不值得买
优点

小巧，一巴掌大，6寸屏幕，同事都说像文曲星。
标准 Windows 10 专业版，这东西居然给了套正版win10专业版（虽然绑定机器的）
接口过于齐全，之前买的转换器都没用了。
可自己更换SSD，用的NGFF标准接口。客服群里有人改了512G的，不过发热有点感人。
运行轻度应用毫无压力（你要是指望用这东西P图压片子就不要想了）
PD2.0 TypeC充电口，随便找个PD2的快充就行了，甚至手机充电器支持PD2也成。（推荐Anker超极充，还能当充电宝用，就是原装线太短了）

缺点

电池，差不多4-5小时，也可能和我的应用状态有关，反正没有Pocket电池耐用。
屏幕只有720P，6寸720p有点难受，而且某些exe应用对720px高的电脑不友好，有些沙雕专业软件为了768屏幕做的
最下面一排按钮看不到，需要拖拽。
重，虽然相比正常的电脑轻便很多，但是依然是通勤出门的累赘。（不过是个出差小帮手，可以扔进行李箱或者肩挎包，不占多大空间）

值不值得买
这种小众产品值不值得买还是要看个人，我在B站看测评的时候一帮人都在纠结游戏性能。想想也是，这帮学生每天就是玩游戏自然是游戏最重要，不能打游戏的都是垃圾。
只有上班狗才知道，当你出现场调试设备，站在船上摇摇晃晃，举着一个全尺寸的15.6寸高性能游戏本是多沙比的一幕。
这种小东西作为工作用机，能运行厂商提供的各种诡异土制MFC exe，有串口有网口，只要1999。相比拿着自己心爱的笔记本在河上飘飘荡荡还要举着练臂力改设备的配置文件，
肯定是这种东西超值的很。simple but it works 就够了。
当然，你要是没有特殊需求买了玩玩也是可以的，小尺寸Windows设备我也就见到GPD还在做了，而且主打的都是各色掌机，像Win2配置更高，但是要4k+。这种工作本真的不多见。
如果你是想拿来玩游戏，那么千万别买，这东西不是你的菜，虽然有人尝试用这玩意跑动GTA了，但是那个帧率惨不忍睹你真的能玩下去？有这个钱不如赶紧去买个Switch体验下真正的游戏。


OhMyPushBot ———— Telegram 推送 Bot
Sat, 06 Jul 2019 23:41:00 +0800

前几天做的小玩具

OhMyPushBot
Telegram 是个有趣的聊天工具，最好玩的就是它十分开放 Bot 系统。相比于微信公众号这种层层审核还一堆限制，或者 QQ、微信 机器人这种强行扒官方协议的灰色接口，
Telegram 提供的 API 非常简单。你可以用 Bot 管理 Channel，制作好玩的 Bot，这一切只需要和 BotFather 聊聊天，就可以设置并创建一个Bot，完全不需要等待审核。
制作这个 Bot，最大的用处就是方便一些自动化脚本通知事件结束。一般的场景下，自动化脚本要发送通知，多数使用发送邮件的方案，但是发送邮件需要使用专用的工具。
而且一般的邮件需要自己检查邮件情况，早些年有过黑莓的PushMail服务，几百元一个月的服务费也不是一般人玩得起的。现在好了，Telegram 作为一个免费 IM 工具，
完善的客户端支持（Linux、Windows上都有，各大手机平台也都有），比较实时的推送速度，简直是事件通知最佳的选择。
如何使用
我已经部署了一个实例，挂在我的服务器上做转发。访问 OhMyPushBot，先和 Bot 聊一下天。

和 Bot 聊天，点击 start 按钮
点击命令或者手动输入 /url 命令
Bot 会发送给你一个 URL，像是 https://ohmypushbot.zjyl1994.com/send?chatid=1234567890&sign=xxxxxxxxxxxxxxxxxxx
给刚才的 URL 发送一个 HTTP POST 请求，请求Body中的消息会被投递到您和 Bot 的聊天窗口中
消息体正文支持 Markdown 格式，请求成功后接口返回 ok ，否则返回错误消息

Markdown 支持
消息体支持的 Markdown 特性 ，原文是英文的，简单翻译如下：
*粗体*
_斜体_
[行内超链接](http://www.example.com/)
[行内提及用户](tg://user?id=123456789)
`行内代码块`
```代码块
预先格式化过的代码块
```

如何实现
原生的 Telegram Bot API 非常好用，只需要你拿到合法的 Bot Token，调用 HTTP 格式的接口，就可以发送消息，也可以用 Webhook 接收用户发来的消息。
这个 Bot 主要使用了两个 API，sendMessage 和 setWebhook,使用方法可以参见 Telegram Bot API 文档。
首先我先使用 setWebhook 挂了一个 Webhook 到 Telegram 服务器，当 Bot 收到消息的时候，Telegram 会主动调用我们的接口，解析 JSON，
可以得到当前聊天的 ChatID，调用 sendMessage 通过 ChatID 可以发送消息到特定的对话中。
具体实现可以参见开源代码的 service.go。
为了防止无聊的人随机生成 ChatID 调用接口发送垃圾消息，我增加了一个简单的参数验证，接口的 sign 部分就是 ChatID 根据 BotToken 进行 HMAC-MD5 之后的结果。
如果不知道的人想伪造 sign，从密码学角度来说几乎不可能。而且 HMAC 的 Key 是 BotToken，每个Bot都不一样，所以十分的安全。
开源代码
为了方便各位审计我的代码，我把代码托管到了 GitHub 上，地址是：https://github.com/zjyl1994/telegram-push-bot
欢迎各位大佬和神仙拍砖。


几种报表SQL常用的时间分组写法
Sat, 22 Jun 2019 13:50:00 +0800

写了小一个月报表相关的SQL，把最容易忘的记下来

最近在公司的任务多数是写各种报表，SQL最长的格式化完了有30行，各种 JOIN 和 UNION ALL 拼 N 张表里的数据。其中最常用到的就是按照时间分组。
假设有如下表

	
			
					员工名(VARCHAR)
					交易金额(INT)
					时间(DATETIME)
			
	
	
			
					张三
					66
					2017-06-23 19:34:00
			
			
					张三
					166
					2017-06-23 19:36:00
			
			
					张三
					566
					2017-06-23 20:34:00
			
			
					张三
					934
					2017-06-24 21:34:00
			
			
					李四
					661
					2017-07-01 10:36:00
			
			
					李四
					83
					2017-06-25 19:34:00
			
			
					李四
					23
					2017-06-26 19:34:00
			
	

如果想查某个时间段里每个人的总交易金额报表，大概的 SQL 写完应该是这样的
SELECT `staff_name`,SUM(`money`),(DATE_FORMAT(`time`, '%Y-%m-%d')) AS date_char
FROM table_name
WHERE `time` >= "开始时间" AND `time` <= "结束时间"
GROUP BY staff_name,date_char
其中最重要的部分就是 date_char ,它决定了时间分组的粒度。


服务器 Docker 化笔记
Sun, 05 May 2019 23:50:00 +0800

五一期间折腾了一下服务器的 Docker 化，踩了好多的坑，写文记录下来。

起因
起因很简单，五一去玩了一圈，结果到处都是人，所以在家猫着总得折腾点什么。
在公司写东西日常使用 Docker，目前对 Docker 的操作也非常熟悉了，所以总想着把我的服务器 Docker 化
先说一下我的基础配置，Kimsufi 的 KS-7 主机，i3 处理器，8G 内存，2T 硬盘，100M 带宽。
内存很充裕，就可以放心的折腾 Docker 环境。事实上我最后弄完几个容器，实际服务器占用也就 500M - 700M 左右。
重装服务器
由于我的主机已经用了一阵，所以服务器里很多已经抛弃的东西，也有很多正在用的东西。首先要备份数据到其他地方，我还有其它的服务器，所以把有用的数据 rsync 送到别的服务器上。
Kimsufi 登入管理面板，重新安装最新版的 CentOS 7。配置 SSH Key，升级最新软件包和内核。Kimsufi 安装的时候要注意，一定要勾选 use distribution kernel 选项。
如果没有勾选这个选项，Kimsufi 会给你安装定制版的内核，我不太清楚定制版内核会带来什么优势，但是目前来看只会造成麻烦。所以一定要使用发行版自带的内核。
升级内核
升级内核很简单，因为有秋水逸冰大佬写的一键 BBR 脚本。他的一键 BBR 脚本本质上就是给你的服务器升级到 4.12 以上版本带 BBR 的内核。所以说拿来使用非常方便。
wget --no-check-certificate https://github.com/teddysun/across/raw/master/bbr.sh && chmod +x bbr.sh && ./bbr.sh
一条命令，按照提示按y，最后会重启应用最新的内核。（目前能安装的最新内核是 Linux 5.0）
配置 Docker 环境
安装 Docker CE
安装 Docker CE 并配置自启动
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install docker-ce docker-ce-cli containerd.io
systemctl start docker
systemctl enable docker
运行完上面这些命令的话，Docker 环境也应该装好了。如果你想试试 Docker 的话，可以输入 docker run hello-world，看一下 Docker 的 Hello World。
容器规划
一个好的服务器环境需要提前规划。

	
			
					容器
					用途
			
	
	
			
					caddy
					Web 服务器，反代所有 Web 服务
			
			
					portainer
					图形化的 Docker 管理面板
			
			
					mariadb
					MySQL 服务器 (个人倾向 mariadb 分支)
			
			
					phpmyadmin
					图形化的 MySQL 管理面板
			
			
					registry
					Docker 镜像的私有仓库
			
			
					blog
					我的博客服务
			
	

配置 Docker 的网络环境
要想 Docker 容器之间愉快的互联，需要设置一个 Docker 网络。(本文中用 xxcloud 作为网络名)
docker network create xxcloud
配置 Portainer
Portainer 是一个非常好用的 Docker 面板，要启动这个非常简单。
docker run -d  --restart=always -v /var/run/docker.sock:/var/run/docker.sock --name portainer --network xxcloud portainer/portainer
（由于我打算使用 Caddy 做反代，所以此处不暴露端口给外部，如果需要的话，自己添加 -p 参数映射外网端口）
非常神奇的是，Docker 容器中的面板可以操作 Docker 自身，只需要映射 docker.sock 文件到容器中就行了。
配置 Caddy
安装 Caddy
Caddy 是一个非常好用的 Web 服务器，支持自动 ACME 申请 Let’s Encrypt 的 TLS 证书。很多东西都需要强制 HTTPS，如果使用传统的 Nginx，你需要去申请，然后拿到证书回来安装证书，每隔 90 天再手动去换证书。如果你不想手动换证书，市面能买到的证书也差不多需要1年一换。
使用 Caddy 就很简单了，给一个邮箱名字然后它自己会去处理这些麻烦事。
mkdir -p /home/data/caddy
docker run -d -p 80:80 -p 443:443 --restart=always --name caddy  --network xxcloud -e ACME_AGREE=true -v /home/data/caddy/caddyfile:/etc/Caddyfile -v /home/data/caddy/srv:/srv -v /home/data/caddy/certs:/root/.caddy abiosoft/caddy
Caddy 需要映射 80 和 443 到外网，因为它负责反代所有服务，作为整个的入口。
映射功能说明：

	
			
					实体机上的路径
					用途
			
	
	
			
					/home/data/caddy/caddyfile
					配置文件 Caddyfile
			
			
					/home/data/caddy/srv
					存放网站文件
			
			
					/home/data/caddy/certs
					存放 Caddy 获取到的证书文件
			
	

80 和 443 都需要自己在 Firewalld 里打开端口，具体如何可以自己搜索。
配置 Caddy
修改 Caddyfile：(注意，你需要把 example.com 换成你自己的域名，具体Caddy写法可以参考Caddy教程)
portainer.example.com {
	tls email@example.com
	gzip
	proxy / http://portainer:9000
}
安装 MariaDB
日常开发中 MySQL 是非常重要的一个东西，我个人倾向于 MariaDB。MySQL 被 Oracle 收购以后，MySQL 的原作者在最后一个自己的版本上起了新的分支，开发了MariaDB。MariaDB 和 MySQL 完全兼容，所有的教程都能用，而且也不用怕 Oracle 搞事。
mkdir -p /home/data/mysql
docker run --name mariadb  --restart=always --network xxcloud -v /home/data/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=REPLACE_IT_WITH_YOU_ROOT_PASSWORD -d mariadb:latest
运行完上面的命令，MariaDB 就拉起来了。MariaDB 的数据会存在 /home/data/mysql 里。
注意：  MYSQL_ROOT_PASSWORD 这个密码一定要换成自己的，而且，这个仅限于第一次运行时设置。如果你的 /home/data/mysql 里有现成的 MySQL 数据，那么容器会使用现成数据里的密码。
phpMyAdmin
安装 phpMyAdmin
mkdir -p /home/data/phpmyadmin/themes
docker run --name phpmyadmin  --restart=always --network xxcloud -e PMA_HOST=mariadb -e PMA_ABSOLUTE_URI=https://phpmyadmin.example.com -d -v /home/data/phpmyadmin/config.user.inc.php:/etc/phpmyadmin/config.user.inc.php -v /home/data/phpmyadmin/themes:/var/www/html/themes phpmyadmin/phpmyadmin
官方教程十分的坑，并没有说明白实际的运行位置。官方文档说主题需要映射 /www/themes，实际上这个主题文件在 /var/www/html/themes，我费了好大劲才进入容器查到位置。（它使用的是sh，也不在/bin里，只能来回试）
映射功能说明：

	
			
					实体机上的路径
					用途
			
	
	
			
					/home/data/phpmyadmin/config.user.inc.php
					配置文件
			
			
					/home/data/phpmyadmin/themes
					放主题
			
	

配置 phpMyAdmin
持久化高级设定
phpMyAdmin 的高级设定想要持久化，需要在 MySQL 里建立数据库。新建一个叫 phpmyadmin 的数据库，使用 phpMyAdmin 源码包中的 sql/create_tables.sql 初始化数据表。
编辑 /home/data/phpmyadmin/config.user.inc.php :
php
$cfg['blowfish_secret'] = '/Cwzlc:SHQ9}sxGN/0;iuOX1:H3QSbpy';
$i = 0;
$i++;
$cfg['Servers'][$i]['auth_type'] = 'cookie';
$cfg['Servers'][$i]['host'] = 'mariadb';
$cfg['Servers'][$i]['compress'] = false;
$cfg['Servers'][$i]['AllowNoPassword'] = false;
$cfg['Servers'][$i]['controlhost'] = '';
$cfg['Servers'][$i]['controlport'] = '';
$cfg['Servers'][$i]['controluser'] = 'phpmyadmin';
$cfg['Servers'][$i]['controlpass'] = 'REPLACE_IT_WITH_YOU_ROOT_PASSWORD';
$cfg['Servers'][$i]['pmadb'] = 'phpmyadmin';
$cfg['Servers'][$i]['bookmarktable'] = 'pma__bookmark';
$cfg['Servers'][$i]['relation'] = 'pma__relation';
$cfg['Servers'][$i]['table_info'] = 'pma__table_info';
$cfg['Servers'][$i]['table_coords'] = 'pma__table_coords';
$cfg['Servers'][$i]['pdf_pages'] = 'pma__pdf_pages';
$cfg['Servers'][$i]['column_info'] = 'pma__column_info';
$cfg['Servers'][$i]['history'] = 'pma__history';
$cfg['Servers'][$i]['table_uiprefs'] = 'pma__table_uiprefs';
$cfg['Servers'][$i]['tracking'] = 'pma__tracking';
$cfg['Servers'][$i]['userconfig'] = 'pma__userconfig';
$cfg['Servers'][$i]['recent'] = 'pma__recent';
$cfg['Servers'][$i]['favorite'] = 'pma__favorite';
$cfg['Servers'][$i]['users'] = 'pma__users';
$cfg['Servers'][$i]['usergroups'] = 'pma__usergroups';
$cfg['Servers'][$i]['navigationhiding'] = 'pma__navigationhiding';
$cfg['Servers'][$i]['savedsearches'] = 'pma__savedsearches';
$cfg['Servers'][$i]['central_columns'] = 'pma__central_columns';
$cfg['Servers'][$i]['designer_settings'] = 'pma__designer_settings';
$cfg['Servers'][$i]['export_templates'] = 'pma__export_templates';
$cfg['DefaultLang'] = 'zh';
其中 controluser 是你给 phpMyAdmin 存储数据时开的数据库账户，
controlpass 是账户的密码，
pmadb 是数据库名。
要注意的是 blowfish_secret 需要你生成一个自己的密语，如果你不知道如何生成，可以点这里，每次刷新你都会得到一个新的随机密语。
配置主题
phpMyAdmin 的主题可以在 https://www.phpmyadmin.net/themes/ 这里下载，下载之后可以在 phpMyAdmin 首页主题处切换。
注意： 下载后的主题需要解压后变成文件夹放在themes文件夹里。由于有 php 文件，所以最好使用官网上的主题，安全性比较高。
通过 Caddy 映射外网访问
编辑前文提到的caddyfile，增加如下内容
phpmyadmin.example.com {
	tls email@example.com
	gzip
	proxy / http://phpmyadmin:80
}
配置私有 Docker 仓库
安装 Docker Registry
安装私有 Docker Registry 很简单，它本身也是一个镜像。
我希望的 Docker Registry 是 HTTPS + 密码保护 的安全私有仓库，所以说首先需要生成密码文件。
mkdir -p /home/data/auth
docker run --entrypoint htpasswd registry:2 -Bbn testuser testpassword > /home/data/auth/registry.htpasswd
你需要替换上述命令中的 testuser 和 testpassword 为你自己的用户名和密码。
然后用命令 docker container stop registry 停止刚才的 registry 容器
现在，可以拉起真正使用的 registry 了。
mkdir -p /home/data/registry
docker run -d --restart=always --name registry --network xxcloud -v /home/data/registry:/var/lib/registry -v /home/data/auth/registry.htpasswd:/auth/htpasswd -e "REGISTRY_AUTH=htpasswd" -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd registry:2
实体机上的 /home/data/registry，就是存储仓库数据的地方，建议放在空间大的目录下。
配置 Caddy
编辑 Caddyfile
registry.example.com {
	tls email@example.com
	proxy / http://registry:5000 {
		transparent
	}
}
特别注意： 反代 registry 的时候一定要增加 transparent 这个属性，要不然 push 镜像的时候会无限 retry。（我在这上面坑了好久）
配置博客
配置博客可以单独写一篇文章，就不在这写了
后记
很久没有写过这么长的文章了，我是一个金鱼记忆的人 （毕竟是咸鱼），如果不记下来肯定会忘记。
写这篇博客一个是为了记录我遇到的问题踩到的坑，如果能帮到后来人更好。
服务器 Docker 化之后整洁很多，数据都在 /home/data 里，一目了然，尝鲜新的东西只需要docker拉下来，也不用配置更多更麻烦的东西。而且自制的一些东西只要本地 Docker 能跑起来，push 到线上环境100%也能跑起来，这就是 Docker 的优势。总的来说利大于弊。
而且，我在配置完所有内容后，服务器实际占用空间也就500MB - 700MB。当然 Docker 还是需要大内存的，1G 以下的服务器就不要这么折腾了。


Alpine with CGO
Mon, 08 Apr 2019 22:17:00 +0800

今天折腾这个一天，记录下来免得未来踩坑

Alpine with CGO
Golang 很棒，静态编译十分方便。但是，它也不是 100% 静态编译的，因为它需要依赖glibc （ 标准C运行库 ）。
而 Docker 最常用的 Apline 镜像，使用的是 musl 库，并不能愉快的运行 Go 程序
网上大部分教程都是教你，CGO_ENABLED=0 go build -a -installsuffix cgo，使用纯 Go 编译，不用 CGO 链接 glibc ，问题就可以解决了。
但是最麻烦的问题是，你需要引入 C/C++ 库的时候，你并不能禁用 CGO 。
幸好 Alpine 有包管理器，所以我们可以很愉快的安装所需要的库。（我之前尝试手动安装glic和libstdc++，很难弄）
默认的 Golang 官方编译环境中，没有我们所需的 GCC 和 G++ 编译环境，所以要先安装 build-base 配置编译环境。
运行镜像我们也使用 Alpine ，由于 Alpine 极为精简，并没有常用的时区、证书等，会导致不可预料的错误。所以我们需要安装这些东西：

	
			
					包名
					用处
			
	
	
			
					ca-certificates
					[可选] CA 证书，方便使用 TLS
			
			
					tzdata
					[可选] 时区配置，方便 GORM 等需要处理时间的场景
			
			
					libc6-compat
					[必选] C 标准库
			
			
					libgcc
					[必选] GCC 相关库，CGO 编译的程序会依赖
			
			
					libstdc++
					[必选] C++ 标准库
			
	

完整版 Dockerfile 如下：
（使用这个 Dockerfile 时需要将 github.com/zjyl1994/app 替换为自己的包路径）
FROM golang:1.12.2-alpine3.9 AS builder
RUN apk --no-cache add build-base
COPY . /code
RUN mkdir -p /usr/local/go/src/github.com/zjyl1994 && \
    ln -s /code /usr/local/go/src/github.com/zjyl1994/app && \
    cd /usr/local/go/src/github.com/zjyl1994/app && \
    CGO_ENABLED=1 go build -a

FROM alpine:latest
RUN apk --no-cache add tzdata ca-certificates libc6-compat libgcc libstdc++
COPY --from=builder /usr/local/go/src/github.com/zjyl1994/app/app /app/app
CMD ["/app/app"]



解决Alpine缺少字体的问题
Mon, 11 Feb 2019 16:20:00 +0800

2019-02-11 农历己亥年上班第一天
好久没有写博客了，我这个博客是Hugo静态编译的，写一次还是蛮复杂的，而且上班以后基本没有什么值得写的东西，所以博客基本都在长草。
立一个FLAG，2019 博客不长草。

前言
我现在的这家公司基本都在用现代化的开发工具，所有程序写完都在docker环境下运行，我们公司dalao钦定的底包就是alpine。后续的问题都是Alpine没有自带默认字体造成的。如果你想快速知道怎么解决请直接看最后。
问题
我遇到的问题是这样的：
java.lang.NullPointerException at sun.awt.FontConfiguration.getVersion(FontConfiguration.java:1264)


场景是公司买的快速开发框架jeeplus，自带一个数据导入功能，需要下载excel模板，当下载模板时触发NPE。
追踪问题
要解决一个问题最好的办法就是去看调用栈。
通过看调用栈，我们可以知道问题出在Excel组件上。
Excel组件试图根据字体大小自动调整单元格宽度，当寻找fontconfig时发现根本找不到，返回一个Null。
拿着java.lang.NullPointerException at sun.awt.FontConfiguration.getVersion(FontConfiguration.java:1264)在谷歌搜索，可以看到很多github的issue，第一条连接 NullPointerException in Alpine JRE 8 Font #73 就证明了我的猜想，确实是Alpine环境缺少对应的包。此问题影响所有使用官方Alpine的Java环境。
解决方案
在 Dockerfile 中进行修改，增加如下内容:
ENV LANG en_US.UTF-8
RUN apk add --update ttf-dejavu fontconfig && rm -rf /var/cache/apk/*
通过添加fontconfig和一款字体dejavu，可以完美解决问题。
不过最好的方法还是封装一个镜像，替换掉官方的底包。流水线上每次打包都安装ttf-dejavu还是挺慢的。


Ubuntu 18.04 必做操作
Fri, 12 Oct 2018 07:00:00 +0800

新开一个栏目，专门记录开发中常见的命令和操作

新装完Ubuntu Server之后要做几个操作，才能让他更好用:

更新软件源
安装必备软件
设置系统代理

首先我们要做的事是更新软件源，默认软件源在美国，拜天朝国情所赐，你科学上网依然很慢。
这里选用中科大的源，USTC的源国内各个地方速度都不错。
sudo vi /etc/apt/sources.list
打开的文件按I进入插入模式，在最前面加上如下内容:
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
然后ESC:wq保存，再输入 sudo apt-get update 使修改的源生效。
下一步是安装常用软件，开发机上git和基础的编译工具得装，要不然缺一些什么以后麻烦。
sudo apt-get install -y git build-essential
设置系统级代理很简单，只需要设置两个环境变量：
http_proxy 和 https_proxy，为了保险 HTTP_PROXY 和 HTTPS_PROXY 也最好设置上。
格式如下：
export http_proxy=http://127.0.0.1.15000
export https_proxy=http://127.0.0.1.15000
export HTTP_PROXY=http://127.0.0.1.15000
export HTTPS_PROXY=http://127.0.0.1.15000
经过这一番设置基本上 Ubuntu 就可用了，根据需要安装 Python 、 Go 或者 PHP 环境使用即可。


Ringbuffer环形缓冲区
Sun, 05 Aug 2018 11:53:00 +0800
前言
环形缓冲区是很常用的数据结构，用途很广泛。我目前遇到的使用场景就是TCP分片转回TCP流，一个线程读取TCP分片拆包，写入缓存区，另一个线程从缓存区中读取，互相不影响。
为此Google了一番，发现了kfifo这个Linux内核的实现，十分精妙。
原理
基本原理
struct kfifo {   
    unsigned char *buffer;    /* the buffer holding the data */   
    unsigned int size;    /* the size of the allocated buffer */   
    unsigned int in;    /* data is added at offset (in % size) */   
    unsigned int out;    /* data is extracted from off. (out % size) */   
    spinlock_t *lock;    /* protects concurrent modifications */   
};
先看一下基本定义，buffer是数据缓存区，size是缓存区长度，in/out是输入输出指针位置（%size后就是真实指针了）。
size需要检测是否为2的次幂，不是的话需要升到2的次幂。方便后续计算。（可以看内核的roundup_pow_of_two实现）
in、out每次操作都+对应的读写长度，通过取模运算回落size区间。
data := kfifo.buffer[kfifo.out % kfifo.size:kfifo.in % kfifo.size]
data就是有效数据的缓存区区间。
快速取模
kfifo使用了二进制的位运算实现了2的幂取模运算，并且利用了无符号数的溢出做回绕。很精妙的设计。
首先，缓存区尺寸要取整为2的幂次，这样可以利用位运算进行取模。
M mod N = M & (N-1),当N为2的幂次时有效。
取模运算对于计算机来说运算速度也是很慢的（虽然你感觉不出来），而位运算就是分分钟的事了。
回绕
无符号数溢出后，就会变成0从头开始，借助这个特性可以绕开逻辑判断。
Go版本实现
type RingBuffer struct {
	data []byte
	size uint
	in   uint
	out  uint
}

func NewRingBuffer(size uint) RingBuffer {
	// if size not pow of 2 round up it
	if (size & (size - 1)) != 0 {
		size = size | (size >> 1)
		size = size | (size >> 2)
		size = size | (size >> 4)
		size = size | (size >> 8)
		size = size | (size >> 16)
		size++
	}
	var rb RingBuffer
	rb.size = size
	rb.data = make([]byte, size)
	rb.in = 0
	rb.out = 0
	return rb
}

func (rb *RingBuffer) Write(p []byte) (n int, err error) {
	lData := uint(len(p))
	lData = min(lData, rb.size-rb.in+rb.out)
	l := min(lData, rb.size-(rb.in&(rb.size-1)))
	copy(rb.data[rb.in&(rb.size-1):], p[:l])
	copy(rb.data[:lData-l], p[l:])
	rb.in += lData
	return int(lData), nil
}

func (rb *RingBuffer) Read(p []byte) (n int, err error) {
	lData := uint(len(p))
	lData = min(lData, rb.in-rb.out)
	l := min(lData, rb.size-(rb.out&(rb.size-1)))
	copy(p, rb.data[rb.out&(rb.size-1):rb.out&(rb.size-1)+l])
	copy(p[l:], rb.data[:lData-l])
	rb.out += lData
	return int(lData), nil
}

func min(x, y uint) uint {
	if x < y {
		return x
	}
	return y
}
Linux内核的Kfifo原版实现
struct kfifo {   
    unsigned char *buffer;    /* the buffer holding the data */   
    unsigned int size;    /* the size of the allocated buffer */   
    unsigned int in;    /* data is added at offset (in % size) */   
    unsigned int out;    /* data is extracted from off. (out % size) */   
    spinlock_t *lock;    /* protects concurrent modifications */   
};

struct kfifo *kfifo_alloc(unsigned int size, gfp_t gfp_mask, spinlock_t *lock)   
{   
    unsigned char *buffer;   
    struct kfifo *ret;   
  
    /*  
     * round up to the next power of 2, since our 'let the indices  
     * wrap' tachnique works only in this case.  
     */   
    if (size & (size - 1)) {   
        BUG_ON(size > 0x80000000);   
        size = roundup_pow_of_two(size);   
    }   
  
    buffer = kmalloc(size, gfp_mask);   
    if (!buffer)   
        return ERR_PTR(-ENOMEM);   
  
    ret = kfifo_init(buffer, size, gfp_mask, lock);   
  
    if (IS_ERR(ret))   
        kfree(buffer);   
  
    return ret;   
}

unsigned int __kfifo_put(struct kfifo *fifo,   
             unsigned char *buffer, unsigned int len)   
{   
    unsigned int l;   
  
    len = min(len, fifo->size - fifo->in + fifo->out);   
  
    /*  
     * Ensure that we sample the fifo->out index -before- we  
     * start putting bytes into the kfifo.  
     */   
  
    smp_mb();   
  
    /* first put the data starting from fifo->in to buffer end */   
    l = min(len, fifo->size - (fifo->in & (fifo->size - 1)));   
    memcpy(fifo->buffer + (fifo->in & (fifo->size - 1)), buffer, l);   
  
    /* then put the rest (if any) at the beginning of the buffer */   
    memcpy(fifo->buffer, buffer + l, len - l);   
  
    /*  
     * Ensure that we add the bytes to the kfifo -before-  
     * we update the fifo->in index.  
     */   
  
    smp_wmb();   
  
    fifo->in += len;   
  
    return len;   
}  
  
unsigned int __kfifo_get(struct kfifo *fifo,   
             unsigned char *buffer, unsigned int len)   
{   
    unsigned int l;   
  
    len = min(len, fifo->in - fifo->out);   
  
    /*  
     * Ensure that we sample the fifo->in index -before- we  
     * start removing bytes from the kfifo.  
     */   
  
    smp_rmb();   
  
    /* first get the data from fifo->out until the end of the buffer */   
    l = min(len, fifo->size - (fifo->out & (fifo->size - 1)));   
    memcpy(buffer, fifo->buffer + (fifo->out & (fifo->size - 1)), l);   
  
    /* then get the rest (if any) from the beginning of the buffer */   
    memcpy(buffer + l, fifo->buffer, len - l);   
  
    /*  
     * Ensure that we remove the bytes from the kfifo -before-  
     * we update the fifo->out index.  
     */   
  
    smp_mb();   
  
    fifo->out += len;   
  
    return len;   
}   



宏碁TMB117测评
Tue, 17 Jul 2018 22:45:00 +0800

2018-07-17夜 深圳 狂风暴雨配闪电

前言
买了个摸鱼用的笔记本，宏碁TravelMate B117，使用体验还挺好。
我的需求很简单：

能运行Manjaro
电池耐用
尺寸小
便宜

选来选去就选到了这个笔记本。基本配置是这样的：

Intel 奔腾 N3710 处理器
4GB 内存 / 128GB 闪存
11.6英寸1366*768屏幕

最重要的是：这个本子我买的时候特价只要2399，现在2499也不是很贵。


购买链接：https://item.jd.com/3119258.html


搭配的45W充电器，内置48Wh电池，充电速度还算可以。


PS：这个指示灯在电脑合盖休眠时会呼吸闪烁，不过并没有多烦人。
PS2：这个电脑无风扇的！而且是固态的！也就是说，没噪音！
PS3：N3710自带AES-NI加持。（Intel的硬件AES加速方案）
PS4：Intel自己家的蓝牙无线方案，Linux免驱。
PSP：没有显卡，Intel核显，Linux免驱。
配置环境
安装Manjaro
买这个本子最重要的用途就是使用实体机安装Manjaro了，首先先去下载XFCE版的Manjaro。
下载完Manjaro的ISO镜像后，需要使用Rufus的DD模式进行U盘制作。
由于这个电脑预装了一个WIndows10家庭版，所以先要把它请出去。首先需要去Win10里重启电脑到UEFI设置界面，然后关闭UEFI的SecureBoot功能。这样才能在UEFI模式下启动Manjaro安装程序。
**注意：**默认情况下是不给你操作SecureBoot的选项的，默认Enabled。你需要设置Supervisor Password之后才可以激活SecureBoot选项。如果怕忘了密码可以选择关闭SecureBoot后再取消Supervisor Password。（设置的时候新密码和确认新密码直接回车就是取消）
安装过程不再赘述，网上有不少Manjaro安装教程。相比ArchLinux本身，Manjaro有自己的图形化安装界面简单太多了。要注意，N3710这颗处理器居然是有AES-NI加持的，也就是说加密性能会有Intel的定向优化加持。所以说全盘加密等特性想开就开，不用担心影响性能。
日常使用情况，4GB内存占用1.3G左右，主要是浏览器。开机通过free命令查看内存消耗，大约350MB左右。（XFCE环境）
安装基本开发工具
我这个本子主要做golang开发，所以说golang环境和vscode是必不可少的。由于这个电脑CPU的孱弱性能，不建议上来就用Goland之类的巨型IDE，这种IDE还是在正规的台式开发机上使用为好。

安装Go环境  pacman -S go
安装Yaourt pacman -S yaourt
安装Vscode yaourt visual studio code binary 选第一个aur上的包就可以了

安装Fcitx
中文输入法很烦人，我也是折腾到现在才把输入法搞定。
首先要装一堆输入法的依赖：
pacman -S fcitx fcitx-configtool fcitx-qt4 fcitx-qt5 fcitx-gtk2 fcitx-gtk3
然后根据你的喜好安装对应的输入法，我个人比较喜欢sunpinyin，这是早年用Ubuntu养成的习惯。
pacman -S fcitx-sunpinyin
重启之后，你就可以使用Ctrl + space激活输入法了。
配置代理
大陆程序员都懂这步该怎么搞。
我只想提醒一点，你需要把HTTP_PROXY 、HTTPS_PROXY、 http_proxy、 https_proxy 都给设置上。有的应用吃大写，有的应用吃小写，xfce并没有提供统一设置的地方。
总结
宏碁的这款TravelMate B117适合于作为开发备用机使用，用来开发和测试一些需要真机Linux支持的应用，便宜够用，这就够了。
官方声称拥有防泼溅键盘，但日常生活中还是不要让它沾水。
机器本身自带AES-NI，全盘加密的应用场景不会太慢。
不俗的电池使用时间，日常打打代码测试一下离了电源也能坚持5h以上。（这还是代码开了自动提示，后台程序总在那扫来扫去的成绩。Windows用户可以参考官方给的9h续航时间）
性能上，如果你会折腾电脑有信心保证不被全家桶占领的话，这个电脑还是可以做一些日常应用的。打个字上个网完全无压力。
无风扇，固态硬盘，噪声近乎于0，你晚上在屋里写东西也不会很吵。
最主要的是便宜，2399就能买到正规老牌笔记本厂商出品的真正x86电脑，而且做工对得起售价，手感不错。
毕竟，2399要什么自行车。（N3160处理器 + 32GB闪存版本最低能卖到1799，和手机差不多价了）


逃离北京，移居深圳
Mon, 09 Jul 2018 22:14:00 +0800

很早之前就应该写这篇文章了，毕竟已经来这边两个多月了，是时候总结一下这次的北京大逃离了。
（长篇唠唠叨叨流水账预警）

引子
刚毕业的时候有两个选择，北京or深圳。家里建议我选择北京，毕竟离家近，都是北方生活可以很好的习惯。最主要的是冬天有暖气，回家还方便。再加上之前去过一次北京稍稍有点认识地方，毕业就去了北京找工作。具体找工作怎么经历按下不提，最后在16年9月份在北京站住脚了。隔了几个月，因为之前经历了城中村，加上老板给涨了一下薪水，觉得应该提高一下居住水平，我就和同事搬到了五环边上的清河地区一起合租。房租从之前的单间1000每月涨到2500一个次卧。
经历了北京的低端人口大清理，我在清河地区的房子再续租已经从5200一个月涨到了6800一个月，再加上糟糕的天气和公司里的各种斗争搞事，我觉得不应该在这样下去了。所以2018过年期间下了决心，必须走。（压垮我的最后一根稻草应该是涨薪的时候只给涨了900块钱，和糊弄人没什么区别，本来基数就少，涨一次抠抠搜搜连房租涨幅都追不上）
离职
要离职肯定要提前申请，折腾快一个月的交接。三个人分别接收了我不同领域的任务，然后开了离职证明。（有个小插曲：离职证明网上下载的模板，领导给盖完公章说我应该没事看看文化方面的知识，全因为离职证明的那段话没空两格? 拜托那是百度搜到的模板诶，不知道老板讨这个嘴上面子有什么意思，可能是小孩子脾气？）
因为是裸辞，拿着我的所有东西离开的时候还是蛮爽的。开开心心的走出办公楼坐上回家的公交。就这么在家颓废了一个月。当然，到了出信用卡账单的时候就很方，要交最后一次房租，要还一个月放纵的生活费，也是一笔超大的开支。毕竟每个月都是动态平衡，虽然攒不下钱但不至于负债。没了工作只能用之前的存款生抗，也是没办法。
启程
定下要走了，收拾了一大堆东西，能拿走的都拿走了。拿不走的一部分送给室友一部分拜托室友等有地址了帮忙邮到广东。去深圳有好多种方法，我和家里人一起去他们帮我拿着大量的行李，肯定不能坐飞机也不能坐高铁，毕竟没有这么大的储物空间。最后买了北京西到深圳的硬卧，在车上折腾了一天一夜。硬卧车可以放很多行李，至少我的两只行李箱两只双肩背和两袋子锅碗瓢盆都能装得下。（不要考虑动卧，动卧只有床底下能放少量扁的行李，亲身体会。）
落脚
到了深圳，就是出来打车到之前订的酒店。有个秘诀，就是酒店在酒店集团自己的APP里选7天长租比那些旅游软件里选住一个星期便宜不少。一口气订了一个星期的房子，1000出头，每天100多点，周六日贵一些。相比直接订238一晚便宜多了。
落脚之后就是找房子，深圳有个好处。做IT的科技公司就南山科技园那一片，以那个地方为目的地找合适的地铁线路还是比较好找的。这个时候建议在高德地图上搜公寓，大把的农民房可供选择。深圳的农民房真是很惊人，有的都有电梯，还能修到将近10层，楼道里打扫的干干净净。相比之下北京城中村里强行续的三四层脏乱破小楼简直就是违章建筑。这种聚集区还是很好找的，高德地图打开，放大，名叫xx村，然后地图上一块一块的建筑就是了。有个显著特征，这种楼都是方的。你看旁边的小区楼都是有奇怪造型的，最次也是长方形的，就这种农民房是正方形的密密麻麻一片。
最后我是找到了1800一个月的农民房单间，这边基本都是这个价格，有的有电梯的贵一些，也不会贵太多。上班不用发愁，有地铁还是很方便的。选的好的话通勤时间可以压在一小时以内，毕竟深圳比北京小太多了。建议地点，西乡、坪洲、翻身、灵芝、洪浪北。这几个地方我都去实地考察过确实有不少我说的这样的房子。
（然后有个朋友能在南山附近租到2000多一点的酒店式公寓，也不知道怎么做到的。）
上班
确定住处之后就是海投简历然后等待offer，这个没什么难度，就是不停地投简历跑面试。最后确定一家offer就可以了。不过这边好多就是让你回去等消息然后没下文，即使有回信处理速度也很慢。我都上班一个多月了拉钩上还有还有反馈不合适的面试，也是没谁。根据我的测算，这些公司至少要半个月~一个月来给你回信，而且大概率是不给明确拒绝的。（再吐槽一下，拉钩上某家招PHP的来回骚扰我，那个时候我写的还是面Go岗，等我搭话了去面试了，到现在都没明确回复结果（我都上班一个多月了），简直就是逗人玩。）
一些杂项

深圳通地铁站就能办，有押金卡和纪念卡。有机器卖，不要去人工那边买。人工那边大概率买到带图案的纪念卡，50块钱一张简直抢钱一样。
北京西到深圳有好几种，普通卧铺是到深圳站（罗湖），动卧到深圳北站，是高铁站。如果行李很多不要买动卧，一个是贵第二个没地方放行李。动卧一张1500，普通硬卧一张450。区别就是动卧晚上上车早上到，硬卧多消耗一个白天。（感谢铁道部慢车也给提速了）
深圳有两个口岸比较方便，罗湖口岸就在火车站边上，福田口岸在4号线终点。这俩都有地铁不用淋雨就能到HK那边，当然先要办港澳通行证。深圳户口可以办那种一星期一次的签证，有频繁往来需求会方便很多。
深圳这边便利店有的是，而且卖速食面。和北京那种不知道放了多久的便利店盒饭比还是看着现煮的速食面更放心，而且拌面的XO酱也不错。
选择一个好的房子可以解决很多问题，有的房东会在楼下放快递篮，还有的快递可以给你放到附近的快递点让你晚上回来自己拿，蛮方便的。这边很多个人商店也是24小时的，我不止一次晚上12点下去买个饮料什么的，都开着。
敲定房子之前可以先看看第二天早上从你选定的房子出门吃早餐到进地铁站需要多久，大概有个数再交钱签合同。免得到时候发现地铁和早餐摊堵爆需要早早出来排队。这边早餐多数是肠粉，肉蛋肠4~6元都有可能，也不算太贵。
深圳有入户补贴，应届生现在秒批，像我这种非应届的就需要慢慢跑手续办了。办成了本科给打1w5的补贴，研究生博士生更多。也许这是唯一一个面对普通人开放户口的一线了，等过几年户籍人数差不多了可能也要走上北上封闭的路子。所以说要搞还是得尽早。人才引进落户至少需要一个月的社保才能提交申请。
如果之前是北上广这种一线，转移公积金可以去公积金中心填表转移。不需要回北京开这个那个的证明，在深圳连续交6个月社保公积金就能在深圳直接转过来，据往上消息需要你之前城市的公积金是封存状态。
社保转移很难，需要上家减员的时候做省外减员，而且钱提不出来只能给你转年限，而且这个年限只是退休时候有用，对你在深圳办事没用。一般上家减员都不会给你特地选省外的，就很麻烦。所以说这个需要等未来社保联网再转了。总结下来，麻烦得很不建议现在搞。
换城市是一笔很大的开支，包括车票，临时居住的宾馆，租房的押金，等等一大堆事。需要你至少准备1w块钱免得到时候资金周转不开。一般来说从落脚到上班开第一次工资要2个月，这两个月的生活费也不是小数目。
提前咨询退房是否需要本人，如果有宽带一定要提前转给室友或者在当地的人。自用宽带的话能提前消了最好。宽带不支持异地销号，而且必须机主本人持身份证回归属地办理，我为了这个特地回了一趟北京简直日了狗了。你要是到期不销号，按月收钱你还用不上就很亏。
一般来说，从你提交辞呈到交接完可以走，是一个月。算上放松心情一个月，一个月启程落脚，一个月找工作，一个月上班。从你这边有想法要走到在深圳站住脚需要4个月，如果你不需要放松心情也需要3个月时间。期间这3个月是没有人给你发薪的，全要靠自己积蓄了，多准备一些钱是没错的。
深圳很热，所以说你需要关注一下电费价格，农民房有1.3一度的电也有1.8一度的电，要选最便宜那个，要不然开会空调你电费就爆了。
去广州城际不需要对号入座，从罗湖站买票80块钱就可以到广州东，当天车票随便上那一趟就走了，除了贵其他的蛮不错的。高铁必须按照车次来，75块钱，城际不需要。
羊城通全广东除了东莞深圳都能用，办一张押金也就18，很划算的。



区块链是什么，我来告诉你
Wed, 02 May 2018 21:26:00 +0800
区块链是什么
区块链，当今最火热的技术热点。为什么这么火呢，三个字：“比特币”。
首先，我们要知道区块链是什么，根据维基百科的描述来看，是这样的：

区块链（英语：blockchain 或 block chain）是用分布式数据库识别、传播和记载信息的智能化对等网络，也称为价值互联网。

用简单的话来说，区块链就是一个全球一起写的一本书。这本书有可能是账本，也可能是别的什么东西。
区块链有以下几个优势：

不可修改，数据写进区块就不能更改了。
单向性，你只能在最后一个块后面加新的块，而不能在之前区块中间加新块。
众生平等，任何人只要有合适的客户端就可以入网，根本没有限制。谁能出新块完全取决于共识算法。
去中心化，每个人都是客户端，每个人也都是服务端，每个人都拿着所有人的账本，所以这是完全的去中心化。

区块链的去中心化是真正的去中心化，没有管理员，唯一一种有效的攻击手段就是拿到51%以上的算力，这在现在这么多人参与的情况下几乎是不可能的。而且，这种攻击仅仅能拿来控制新出块的内容，并不能改动之前的老块。
区块
想了解区块链的本质，我们需要知道什么是区块。
一个区块分为区块头和数据两部分。
区块头
区块头包含当前块的一些描述数据，一般来说有以下内容

上一区块的整体HASH
当前区块的生成时间
当前区块中数据的HASH
负责让大家猜的随机数NONCE

HASH就是哈希算法，是一种数据摘要，MD5/SHA1之类的就算是HASH的一种。一个合格的HASH算法能做到只要修改原始数据一比特，哈希得到的结果都会面目全非，这就是密码学中的雪崩效应，具体不多讲感兴趣的可以搜一下雪崩效应。而且，两份不同数据得到同样哈希结果也是几乎不可能的，这是哈希的抗碰撞性。而且，哈希是不可逆的（谁发明了这种任意数据压缩成256bit还能解压回去的技术，今年的图灵奖就是你的了。）
区块数据
区块数据就是承载区块链的实际应用了。如果你在里面记录历史事件，这就是历史链；如果你用来记录交易账目，这就是金融链；如果你用来记录溯源信息，这就是溯源链。能做什么全看你的想象力了。
链
区块链之所以是区块链，主要是这条链。
区块头中包含上一块的HASH，意味着你的区块不能提前生成，只有知道上一个区块的HASH才行。
而且你也不能修改链上的某个块，因为你修改了区块数据，HASH会因为雪崩效应变得面目全非。后面的链就不知道前面的链是哪个了，这条链也就断了。在实际应用中，生效的永远是最长的那条链。也就是说，想要修改数据，你需要同时修改该块和以后的所有数据，还得让全世界都承认你的修改（让你的链比别人都长），这简直就是不可能的事情。
共识
为什么，你的块提交了别人就要收下并信任呢？这就涉及到了节点之间的共识问题。当前主流的就是比特币的工作量证明。原理简单来说可以理解为：求一个特别难的密码学题目。其中最适合的就是计算哈希。区块链用的是SHA256算法，可以把任意数据计算成256bit。举个简单的例子，给定一个HASH值，要求区块头计算的HASH小于这个值，这个区块才会生效。你要做的就是猜出来NONCE（实际上真实的链有一套自己的难度计算体系控制出块速率，动态调节HASH的门槛）。
因为哈希的单向性，任何人都可以验证你的答案对不对。但是你没法反推，只能一点一点的改变数据去计算HASH做碰撞（这也是大家诟病的地方，因为除了作为工作量证明以外，算出来的数真的没有什么用处）。这就是数字时代的挖矿。
你的结果传给全网，他们计算后发现答案正确，就把你的这一块加入了他的区块链里。这个操作是全世界同步的。为什么你不能修改链就在这，你做不到那么短时间内计算好N多块的哈希和答案，也就没法让其他人也按照你的要求修改链了。
中本聪设计了一套动态调整出块难度的算法，使得出块时间维持在10分钟左右。就是通过调节HASH门槛来实现的。
当两个人同时拿到了正确答案怎么办？主要还是看谁快。你早拿到答案早广播，他们早采纳。谁先到6个块以上就采取谁的链，以最长的为准，这就是共识算法。
后记
事实上，区块链的应用场景十分有限。他出块速度慢，VISA的全球支付网络每秒钟都要处理几万笔交易，用区块链每块几MB完全不够用的，等10分钟出一个块，一个块存不了几笔交易，那就非常耽误事。你等着你的数据同步到全世界最少也得等1小时再去确认是不是真正的写链了，这对金融行业也是不太现实的事。而且计算哈希很巧妙，从数学上证明了安全，但是算力白白浪费也是一种浪费。
目前区块链我觉得做的最好的应用场景还是电子货币，银行银行之间，银行客户之间，客户客户之间拿来交换数据，让密码学保证数据安全性和不可篡改性。当然，要做好这些还是需要修改链的出块速度和块大小，否则永远不能愉快的商用。
想象一下，现在比特币上用的区块链拿来做VISA体系的话，你刷卡之后交易得排队等着确认，然后全世界每10分钟确认几万笔，你买一件衣服可能确认交易要等2个月，你会用嘛？


30行不到自动下载Tumblr小姐姐
Thu, 05 Apr 2018 22:31:00 +0800

Tumblr是个好东西，上面有很多漂亮小姐姐。

在Tumblr的海洋里遨游，总会有几个对胃口的博客。如果你想下载里面的图片，应该怎么下呢？
普通人肯定是手动一张一张另存为啦。但是你要知道有的博客里会有几千张甚至几万张照片哦，你不会想一个一个手动来吧。 XD
这个时候就要请出Python了！
Python不用我过多介绍了吧，就是一个编程语言。嗯，这个东西很简单，要学的话教程网上很多，有英文基础就可以了（其实关键词就那几个，不会英文也能学啦。
要爬Tumblr的图片，首先要知道Tumblr的图片地址，正常来说需要我们解析网页然后抓取HTML中的jpg路径。但是，Tumblr这个好心的家伙居然给了API！
它的API分为两个版本，V2需要注册，功能更多。但是V1并不需要注册，只需要在Tumblr的地址后面加上/api/read就可以获取到XML格式的信息了。给你们看一下他输出的XML：




就是这样，你要的图片路径都有，还有很多附加信息。
拿到了XML文档，我们就该想一下怎么解析了，首先要了解一下什么是XPath。
XPath是一种用来访问XML节点信息的描述语言，可以根据你的需要找到所有数据。算是一种小小的DSL，具体内容可以谷歌，或者去Bing搜一下。
在这个程序里我用到了4条XPath，分别是：

/tumblr/posts/@start
/tumblr/posts/@total
/tumblr/posts/post/photoset/photo[*]/photo-url[1]/text()
/tumblr/posts/post/photo-url[1]/text()

通过查看XML结构我们得知，tumblr节点下的posts有两个属性，start和total，这两个查看API文档可以知道是翻页查询时使用的参数，所以分别用1、2提取。
然后可以观察图片的路径，可以看到位于post节点下的photo-url节点中，这时候使用photo-url[1]就可以提取结果集中的第一项了。至于为什么只要第一个photo-url？那是因为别的都是小分辨率的，只有第一个是分辨率最大的那个。所以说我们有了第4个xpath，至于为什么有第3个xpath，观察某些多图片博客的xml可以看到他有个photoset在外面，所以我们用3把它也兼容掉。
通过3、4拿到对应的文件路径之后我们就可以下载了，要注意34的结果集要做一次去重，防止匹配到同一张图片哦，剩下的用Python3自带的urllib下载就行了。
下面是完整代码：
#!/usr/bin/env python3
import os
import json
import requests
import urllib
from lxml import etree
# 配置信息
tumblrUsername = "megane-megane-megane" # 你想下载的Tumblr博客用户名
saveToPath = "D:/needtest/tumblr/pics" # 下载到的文件夹路径
# 程序本体
postOffset = 0
total = 1
while postOffset < total:
    baseUrl = "https://%s.tumblr.com/api/read?type=photo&filter=text&num=50&start=%s" % (tumblrUsername,postOffset)
    response = requests.get(baseUrl)
    xml = etree.fromstring(response.content)
    start = int(xml.xpath('/tumblr/posts/@start')[0])    # 起始条目
    total = int(xml.xpath('/tumblr/posts/@total')[0])    # 总条目
    print("[%s]%d/%d" % (tumblrUsername,start,total))
    picList = xml.xpath('/tumblr/posts/post/photoset/photo[*]/photo-url[1]/text()')
    picList.extend(xml.xpath('/tumblr/posts/post/photo-url[1]/text()'))
    postOffset = start + 50
    picList = list(set(picList))
    for pic in picList:
        filename = os.path.join(saveToPath,os.path.basename(pic))
        print(pic)
        try:
            urllib.request.urlretrieve(pic,filename)
        except urllib.error.HTTPError as e:
            print(e)
这是运行效果图：




这算是简易版的了，下载速度慢可以通过多线程来解决，不过这样的话就不止30行了，有能力可以自己动手改造一下。


爱沙尼亚电子公民计划
Mon, 26 Mar 2018 22:11:00 +0800
最近一直在研究爱沙尼亚的电子公民计划，感觉很有意思，把我整理的这些东西写出来，希望对后人有用。
首先，爱沙尼亚电子公民是2014年发布的一个项目。爱沙尼亚这个国家曾经是苏联加盟国，本来是个独立国家，40年被苏联强行吞并，90年获得独立，然后现在是欧盟和北约成员国。爱沙尼亚的国旗也很好看，蓝黑白三色旗，辨识度很高很独特。爱沙尼亚域名后缀.ee，国际区号+372，首都塔林。
爱沙尼亚有发达的线上政务系统，用电子身份证可以在线办理很多很多的业务。甚至开公司都不用出门，直接线上就能办理。也正是因为有这个系统，才能搞电子公民这套东西。
爱沙尼亚的电子公民卡就长这样，还得配个专用的读卡器


实际上使用的效果是这样的


刚才你看到的图片都来自爱沙尼亚电子公民的项目主页，https://e-resident.gov.ee/ (上了HTTPS，而且还是个Wordpress站，很赶潮流)。
电子公民身份能做什么呢：首先是开公司，然后是开相关的银行账号。并且可以在线享用一系列的远程政府服务。
这个电子公民身份就是鼓励世界各地的人成立爱沙尼亚的公司，以他们国家公司身份进行经营。当然最后要的肯定是你给他们政府交税了，我查了一下20%的税。而且只有分红和开工资的时候抽税，钱放在账户里扩大经营花掉的话是不会收税的。但是这个电子公民身份证没有照片也不能作为线下环境的身份证明，也不是绿卡或入境许可。你去爱沙尼亚还是要申请签证去。
如何申请
要申请电子公民，首先你需要有护照，护照在户口所在地的出入境管理局就能办，费用80-100左右。
然后去https://apply.gov.ee/ 提交申请，注意是纯英文的，中间会让你填写上传护照图片和个人照片。
申请这个需要交100欧元的费用，支持VISA和MasterCard，不支持银联。
申请之后爱沙尼亚的边境管理部门会审核你的资料，审核通过后需要去大使馆领取电子公民卡和读卡器。
开公司需要什么
开当地公司你需要有当地地址、还有一系列法律文书要办，有很多Provider可以提供这些服务。我在网上搜到的就是LeapIN他家，网址是https://www.leapin.eu ，还有很多其他的Provider可以选择，看电子公民主页上的信息就知道了。https://e-resident.gov.ee/run-a-company/
#费用如何
以下数据翻译自LeapIN的文档，别人家可能更便宜也可能更贵。（原文 https://www.leapin.eu/faq/cost-and-fees ），他家官方文档说可以刷信用卡支付这些费用。
一次性费用


电子公民卡100欧元+去北京大使馆拿卡的路费


190欧元的公司注册手续费（LeapIN代收）


公司在线注册费用25欧元（也是LeapIN代收）


开银行账号的钱（他家支持三种账号方式，见下文）


每月费用

LeapIN的月费，（收入小于1000欧的刚起步公司统一49欧元一个月，超过1000欧元按照价格表算钱，价格表在下面）
2欧元的银行卡卡费

LeapIN的套餐
以下内容翻译自https://www.leapin.eu/pricing 这个页面，私人公司就是咱们的有限责任公司了，他们叫OÜ
59欧元 APP开发者

一个私人公司
银行账号和付款卡
账号、税、规则他们都包了
LeapIN的自助在线服务
支持全球的App商店

79欧元 专业版

一个私人公司
银行账号和付款卡
账号、税、规则他们都包了
LeapIN的自助在线服务
高级销售收据（Invoice，可能叫发票更贴切）
VAT号码（增值税税号）

99欧元 SaaS提供者

一个私人公司
银行账号和付款卡
账号、税、规则他们都包了
LeapIN的自助在线服务
支持支付网关和批量开收据
VAT号码

银行账号
银行账号有两种，一种是传统的银行账号，比如LHV，他就需要去爱沙尼亚当地进行面签，当然他也是最好的选择。支持支付网关集成，便宜功能全，还有LeapIN的内部集成。
还有一种是电子帐号，主要是TransferWise和Holvi。
TransferWise支持多种钱，并且可以远程开户。开这个户可以得到这些（后面的各种code实在不会翻译）

欧洲 IBAN
英国账号 和 sort code
澳洲账号 和 BSB code
美国账号 和 routing number

Holvi只支持欧元，也可以远程开户，适合在欧洲地区和欧洲客户结算欧元使用。35欧元每月的服务费。
不同银行间的区别请看这个 https://www.leapin.eu/faq/banking#what-are-the-differences-between-banking 很长，翻译不下去了。
简单来说就是TranfserWise支持英镑欧元和美刀，Holvi只支持欧元，LHV支持15种货币（美元除外）。
LHV和TransferWise支持用SWIFT方式转账，Holvi不支持。
LHV支持与LeapIN实时交换数据，其他需要自己倒。
TransferWise没有银行卡，Holvi免费拿，LHV2欧元一个月。
LHV支持各种支付网关（毕竟传统银行账号），Holvi支持一部分，TransferWise不支持（在线卖东西就不方便收钱了）。
LeapIN他家支持多个账号，你可以先用远程能开户的先做业务，等需要传统账号的时候再切到LHV上也可以。
文档里还说，如果是USD的业务推荐用TransferWise，其他的推荐LHV。

我最近一直在研究这个，中文世界里很少有讲电子公民和如何开爱沙尼亚公司的，我就简单翻译了一下LeapIN的文档贴在这里给大家一个方便。
爱沙尼亚公司税不多（20%），而且电子公民身份开公司很简单，这种Provider都给包办了。自由职业什么的需要公司身份进行收款或申请什么的话，这个应该是很好的选择。在家动动鼠标就把公司开了然后收款。
就是不知道TransferWise和Holvi的账号能不能拿来收Google Play开发者或者Steam开发者的收入，如果可以的话搞一个真挺好的。起码不会被每年5万美刀的限额控制住，也算是离岸了。


使用UWF保护电脑免遭全家桶
Tue, 27 Feb 2018 22:48:00 +0800
春节回家，几乎是修了好几天电脑。没有办法，现在国产全家桶实在是太厉害了，你随便搜个想要的软件，直接安装就会中各种全家桶。
我回家在我爸的电脑里发现了各种播放器各种压，桌面被各种助手占据，悬浮窗五六个，还有时候被装上奇怪的输入法，安全软件也不止一份。
对于我这种电脑从业人士来说，要想避开那些捆绑安装还是很轻松的，但是家里的普通人们就不一定了。他们习惯于缺少功能，就去百度搜一下，点击高速下载，然后中各种下载器。下载器下载的安装包装完推荐的各种勾也不取消直接点立即体验来打开所需要的应用。这不是教的问题，谁能指望五六十岁的长辈们和我们年轻人一样对各种电脑问题如此精通呢？
为了解决这个问题，我想到了机房常用的还原卡。小学机房就有还原卡，做任何操作只要重启就会还原到老师刚装好的状态。但是还原卡第一是要买硬件产品，第二是笔记本没法装。经过苦苦搜索终于找到了适合Windows10的软件还原卡方法，不需要额外花钱买硬件，通吃所有设备。这一切只需要你有Windows10企业版或者教育版。（企业版实测通过，教育版据说也有这个功能）（Windows其他版本升级到企业版只需要安装企业版密钥并进行激活即可。）
Windows10企业版有一个很好的功能，就是Unified Write Filter，中文名为“统一写入过滤器”。简单的工作原理就是把对要保护硬盘的写入暂存，而不是真实的写入硬盘本身。也就是说，这是一个内核级的软还原卡。建议用这个功能的时候物理内存大一些，免得后期使用过卡。
首先你需要先激活Win10企业版，然后在控制面板->程序和功能->启用和关闭Windows功能->设备锁定中选中统一写入筛选器。


然后按Win+X弹出高级功能菜单，选择“Windows PowerShell（管理员）”。打开拥有管理员权限的PS后，输入如下命令：
uwfmgr filter enable	# 开启UWF过滤器
uwfmgr volume protect c: # 保护C盘
按照上面的指令操作后，重启电脑。你的C盘就处于UWF保护下了，无论你做什么操作C盘都不会被污染，中全家桶之后只要重启就又是完好如初的状态。
要想解除UWF，你还是需要打开“Windows PowerShell（管理员）”，输入以下命令：
uwfmgr volume unprotect c: # 取消C盘的保护
uwfmgr filter disable	# 开启UWF过滤器
经过这样一系列设置，你就可以放心大胆的把电脑交给长辈了，永远也不会中什么乱七八糟的卫士，压缩软件和桌面助手。因为每次重启C盘都会被重置到你设置保护的那个时刻。即使卫士什么的学聪明了躲到其他盘里，也会因为C盘没有对应的自动启动方式而无法自启动祸害电脑。
说真的，国产软件的名声就是被这些外门邪道害了。买别人捆绑的推广，一时间装机量上去了数据好看了，实际上用户发现一个删一个，想靠捆绑安装建立用户忠诚度简直是天方夜谭。追这些虚的数据有啥用，商业上要的是忠诚肯花钱的死忠用户，而不是被捆绑搞得一肚子气的敌对用户。


Golang采集系统信息
Wed, 31 Jan 2018 15:58:00 +0800
一直以来就想做一个可以显示服务器信息的集中式监控页面。经过两三天艰苦努力终于放弃(前端实现地图上展示信息太难了。
虽然对应的前端做不出来，但是对应的信息采集后端已经写好并且可以使用，为了不浪费我的成果，在这贴出来。你们谁要是写个对应的前端的话，请务必通知我。
package main

import (
	"encoding/json"
	"flag"
	"fmt"
	"github.com/shirou/gopsutil/cpu"
	"github.com/shirou/gopsutil/disk"
	"github.com/shirou/gopsutil/host"
	"github.com/shirou/gopsutil/load"
	"github.com/shirou/gopsutil/mem"
	"github.com/shirou/gopsutil/net"
	"log"
	"net/http"
	"time"
)

type StatusServer struct {
	Percent  StatusPercent
	CPU      []CPUInfo
	Mem      MemInfo
	Swap     SwapInfo
	Load     *load.AvgStat
	Network  map[string]InterfaceInfo
	BootTime uint64
	Uptime   uint64
}
type StatusPercent struct {
	CPU  float64
	Disk float64
	Mem  float64
	Swap float64
}
type CPUInfo struct {
	ModelName string
	Cores     int32
}
type MemInfo struct {
	Total     uint64
	Used      uint64
	Available uint64
}
type SwapInfo struct {
	Total     uint64
	Used      uint64
	Available uint64
}
type InterfaceInfo struct {
	Addrs    []string
	ByteSent uint64
	ByteRecv uint64
}

func main() {
	port := flag.String("port", ":58000", "HTTP listen port")
	flag.Parse()
	http.HandleFunc("/", getInfo)
	err := http.ListenAndServe(*port, nil)
	if err != nil {
		log.Fatalln("ListenAndServe: ", err)
	}
}

func getInfo(w http.ResponseWriter, r *http.Request) {
	w.Header().Set("Access-Control-Allow-Origin", "*")
	w.Header().Add("Access-Control-Allow-Headers", "Content-Type")
	w.Header().Set("Content-Type", "application/json")
	fmt.Fprintf(w, infoMiniJSON())
}

func infoMiniJSON() string {
	v, _ := mem.VirtualMemory()
	s, _ := mem.SwapMemory()
	c, _ := cpu.Info()
	cc, _ := cpu.Percent(time.Second, false)
	d, _ := disk.Usage("/")
	n, _ := host.Info()
	nv, _ := net.IOCounters(true)
	l, _ := load.Avg()
	i, _ := net.Interfaces()

	ss := new(StatusServer)
	ss.Load = l
	ss.Uptime = n.Uptime
	ss.BootTime = n.BootTime
	ss.Percent.Mem = v.UsedPercent
	ss.Percent.CPU = cc[0]
	ss.Percent.Swap = s.UsedPercent
	ss.Percent.Disk = d.UsedPercent
	ss.CPU = make([]CPUInfo, len(c))
	for i, ci := range c {
		ss.CPU[i].ModelName = ci.ModelName
		ss.CPU[i].Cores = ci.Cores
	}
	ss.Mem.Total = v.Total
	ss.Mem.Available = v.Available
	ss.Mem.Used = v.Used
	ss.Swap.Total = s.Total
	ss.Swap.Available = s.Free
	ss.Swap.Used = s.Used
	ss.Network = make(map[string]InterfaceInfo)
	for _, v := range nv {
		var ii InterfaceInfo
		ii.ByteSent = v.BytesSent
		ii.ByteRecv = v.BytesRecv
		ss.Network[v.Name] = ii
	}
	for _, v := range i {
		if ii, ok := ss.Network[v.Name]; ok {
			ii.Addrs = make([]string, len(v.Addrs))
			for i, vv := range v.Addrs {
				ii.Addrs[i] = vv.Addr
			}
			ss.Network[v.Name] = ii
		}
	}
	b, err := json.Marshal(ss)
	if err != nil {
		return ""
	} else {
		return string(b)
	}
}
运行起来后，用浏览器访问被采集机器的58000端口就可以看到机器的信息了。
{
	"Percent": {
		"CPU": 0,
		"Disk": 11.68627166041493,
		"Mem": 21.34952360680132,
		"Swap": 1.498353300558446
	},
	"CPU": [{
		"ModelName": "Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz",
		"Cores": 1
	}],
	"Mem": {
		"Total": 2097467392,
		"Used": 447799296,
		"Available": 1649668096
	},
	"Swap": {
		"Total": 2145382400,
		"Used": 32145408,
		"Available": 2113236992
	},
	"Load": {
		"load1": 0,
		"load5": 0,
		"load15": 0
	},
	"Network": {
		"ens32": {
			"Addrs": ["192.168.1.68/24", "fe80::20c:29ff:fed6:1bea/64"],
			"ByteSent": 10643267063,
			"ByteRecv": 3625202751
		},
		"lo": {
			"Addrs": ["127.0.0.1/8", "::1/128"],
			"ByteSent": 8310060,
			"ByteRecv": 8310060
		}
	},
	"BootTime": 1512095971,
	"Uptime": 5290007
}
gopsutil可以获取更多信息，具体可以去看gopsutil文档。


博客自动部署系统Shell版
Thu, 25 Jan 2018 11:28:00 +0800
这是用bash脚本+Crontab结合的自动部署，只依赖md5deep包。
建议设置2-3分钟一次，以免影响性能。
#!/bin/bash
RESULT=`md5deep -x /tmp/blogs.md5 -r /path/to/blog/root/ | wc -l`
if [ $RESULT -ne 0 ]; then
    hugo -s /path/to/blog/root/ -d /tmp/blog
    rsync -avz --delete /tmp/blog/ rsync@example.com:/path/to/you/www/root
    rm -rf /tmp/blog
    md5deep -lr /path/to/blog/root/ > /tmp/blogs.md5
fi



博客自动部署系统
Thu, 25 Jan 2018 01:32:00 +0800
静态网站生成器是一个很好用的东西，问题就是他没有控制面板，就会带来一个问题。
你每次写完文章都要手动去ssh里build一次网站，对于能懒就懒的我来说，这么弄不行。
传统的实现方式是Git+Hook，这种就需要用Git，很不方便。
我选择的方案是 Nextcloud 直接编辑文件，inofity监听文件变化进行更新。
#!/usr/bin/env python3
import time
import os
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

lastmodify = 0

class Watcher:
    DIRECTORY_TO_WATCH = "/path/to/folder/blogs/"
    DELAY_SECOND = 5
    COMMAND_RUN = "/path/to/script/blog.sh"
    def __init__(self):
        self.observer = Observer()
    def run(self):
        global lastmodify
        event_handler = Handler()
        self.observer.schedule(event_handler, self.DIRECTORY_TO_WATCH, recursive=True)
        self.observer.start()
        try:
            while True:
                if lastmodify != 0 :
                    if (lastmodify + self.DELAY_SECOND) < time.time():
                        os.system(self.COMMAND_RUN)
                        lastmodify = 0
                time.sleep(5)
        except:
            self.observer.stop()

        self.observer.join()


class Handler(FileSystemEventHandler):
    @staticmethod
    def on_any_event(event):
        global lastmodify
        lastmodify = time.time()

if __name__ == '__main__':
    w = Watcher()
    w.run()



博客2.0
Wed, 24 Jan 2018 13:48:56 +0800

Hugo 是个不错的静态网站生成器

早前博客都用的Wordpress，然后做迁移，数据就没了，我还没备份。年年新建
中间过渡的时候用过一阵Blogger，但是好多国内朋友都没法访问，就很皮。
重新配了一个Hugo的博客，挂在洛杉矶的服务器上，就当是从头开始了。

Shortcodes	功能
*#0000#	查看版本信息
*#7370#	清空 localstorage，这会丢失所有的认证数据
*#467678#	导入SD卡中的kaiauth.json文件
*#397678#	导出当前数据到SD卡kaiauth.json中

员工名(VARCHAR)	交易金额(INT)	时间(DATETIME)
张三	66	2017-06-23 19:34:00
张三	166	2017-06-23 19:36:00
张三	566	2017-06-23 20:34:00
张三	934	2017-06-24 21:34:00
李四	661	2017-07-01 10:36:00
李四	83	2017-06-25 19:34:00
李四	23	2017-06-26 19:34:00

容器	用途
caddy	Web 服务器，反代所有 Web 服务
portainer	图形化的 Docker 管理面板
mariadb	MySQL 服务器 (个人倾向 mariadb 分支)
phpmyadmin	图形化的 MySQL 管理面板
registry	Docker 镜像的私有仓库
blog	我的博客服务

实体机上的路径	用途
/home/data/caddy/caddyfile	配置文件 Caddyfile
/home/data/caddy/srv	存放网站文件
/home/data/caddy/certs	存放 Caddy 获取到的证书文件

实体机上的路径	用途
/home/data/phpmyadmin/config.user.inc.php	配置文件
/home/data/phpmyadmin/themes	放主题

包名	用处
ca-certificates	[可选] CA 证书，方便使用 TLS
tzdata	[可选] 时区配置，方便 GORM 等需要处理时间的场景
libc6-compat	[必选] C 标准库
libgcc	[必选] GCC 相关库，CGO 编译的程序会依赖
libstdc++	[必选] C++ 标准库