1. 事件

    时近中午时间，突收短信提示有非常IP登入AI服务器。紧急登录，发现ssh账密已被篡改，并且禁用密钥，转用ISP的Web Console登录，发现有个俄罗斯IP的家伙（姑且叫贱贱）正鬼祟地部署挖矿工具，改掉原用户密码（当自己家了是吧<_>），看日志/var/log/auth.log：

   这服务器装了不久，是用来做AI工作流开发/测试工作的，也怪我大意：

1. 没对ComfyUI做访问安全限制措施
2. 用root跑这程序

致使对方有机可乘。

2. 处理过程

既然发现了对方，也想学习学习，等他把东西弄好了，2秒钟内改掉所开的newroot密码，封掉程序端口，踢他下线，然后copy其安装的东西研究，清单如下：

特征命令行：

root@iZbp10tbvk6i9ro6sjtkzgZ:~# ps -aux|grep cache-builder
root        7239  0.0  0.0 316604  7972 ?        Sl   10:33   0:00 /lib/systemd/cache/cache-builder --url xmr-us-east1.nanopool.org:14433 --algo rx/0 --user 493vAu7Kz7334zjD24RbvBbxXKwbyQ6y8Azc47j8LvZZiWRNBM7MqXWZgesxj6sE8ibY4hVqCkmqpCYFZcG43poKAZgM54n.hisana6151/krisapython@gmail.com --pass x --tls --cpu-max-threads-hint=60 --proxy 127.0.0.1:10808 --log-file /var/log/hydra-services/xmrig.log

工具路径：/usr/lib/systemd/cache

新开服务：

其中采用了看门狗，应用互启等手段，让人难以清除。

处理：

1. 因入侵时间较短，估计还没来得及上更多手段，所以监视一段时间后，判断后门仅限于ComfyUI的插件安装漏洞
2. 改掉所有的文件名，后面加.ori, 或者减去可执行权限
3. 删除以上服务

4. 杀掉相关进程 

   pkill health-monitor && pkill notebook-launch && pkill cache-builder && pkill process-watcher

5. 检查进程是否会重新拉起，监听端口有无异常

3  检讨

不省心的世界...