[QUESTION] OSError: [Errno 28] inotify watch limit reached

[sdu-huanhq]

🤔 Question description [Please make everyone to understand it]

使用DDP，在rank=0下使用swanlab.init(project=cfg.model_arch, config=vars(cfg))报错

OSError: [Errno 28] inotify watch limit reached

🧑‍💻 Expected result

🚑 Any additional [like screenshots]

• SwanLab Version:
  0.3.6
• Platform:
  ubuntu 22.04+python3.8

[SAKURA-CAT]

实际上此问题来自于系统对于监听文件更改的限制，参考：https://stackoverflow.com/questions/73027461/oserror-errno-28-inotify-watch-limit-reached

这个报错信息表明你遇到了 inotify watch limit reached 的错误。这通常发生在 Linux 系统中，当 inotify 实例的数量超过了系统限制时就会出现这个问题。inotify 是 Linux 内核的一个特性，用于监控文件系统的变化

临时规避这个bug的方式：

sudo echo fs.inotify.max_user_watches=655360 | sudo tee -a /etc/sysctl.conf && sudo sysctl -p

永久规避：

• 以管理员权限编辑：/etc/sysctl.conf
• 在文件尾添加：fs.inotify.max_user_watches=524288
• 使用命令：sudo sysctl -p刷新环境

---

此bug来自于watchdog，我在 #418 中使用了它。不过当前来看它并不高效，并且对于系统要求较高——因此未来版本中将抛弃它。