MomentsCleaner 源码解析：群晖 Moments 重复文件清理工具的实现

package main

import (
	"github.com/0990/momentscleaner/cleaner"
	"github.com/0990/momentscleaner/logconfig"
	_ "net/http/pprof"
)

func main() {
	logconfig.InitLogrus("cleaner", 10)
	cleaner.DoClean()
}

const BACKUP_DIR_NAME = "被删除的文件"

var allDelCount int32   // 总删除文件数
var allFileCount int32  // 总扫描文件数
var allDirCount int32   // 总扫描目录数
var ignoreCount int32   // 忽略文件数（.log 文件）

func DoClean() {
	t := time.Now()
	dirWalk("./")
	logrus.Infof("总扫描文件数:%d", allFileCount)
	logrus.Infof("总扫描文件夹数:%d", allDirCount)
	logrus.Infof("总重复文件被删除数:%d", allDelCount)
	logrus.Infof("总耗时%v", time.Since(t))
}

func dirWalk(dirPath string) {
	// 跳过备份目录，避免循环处理
	if strings.Contains(dirPath, BACKUP_DIR_NAME) {
		return
	}

	log := logrus.WithField("目录", dirPath)

	// 检测隐藏文件/目录
	hidden, err := isFileHidden(dirPath)
	if err != nil {
		log.WithError(err).Info("isFileHidden")
	}
	if hidden {
		return
	}

	// 读取目录内容
	fs, err := ioutil.ReadDir(dirPath)
	if err != nil {
		logrus.Panic(err)
	}
	atomic.AddInt32(&allDirCount, 1)

	// 使用 map 存储 MD5 -> 文件列表的映射
	hash2files := make(map[string][]os.FileInfo, 0)

	for _, file := range fs {
		if file.IsDir() {
			// 递归处理子目录
			dirWalk(dirPath + file.Name() + "/")
		} else {
			// 跳过 .log 日志文件
			if path.Ext(file.Name()) == ".log" {
				atomic.AddInt32(&ignoreCount, 1)
				continue
			}

			name := dirPath + file.Name()
			md5, err := md5File(name)
			if err != nil {
				logrus.Panic(err)
			}

			// 将文件按 MD5 值分组
			hash2files[md5] = append(hash2files[md5], file)
			atomic.AddInt32(&allFileCount, 1)
		}
	}

	// 处理重复文件
	// ...
}

var delCount int32
for _, files := range hash2files {
	// 文件数量小于 2，说明没有重复
	if len(files) < 2 {
		continue
	}

	// 保留名称最短的文件
	min := len(files[0].Name())
	for i := 1; i < len(files); i++ {
		lname := len(files[i].Name())
		if lname < min {
			min = lname
		}
	}

	// 删除其他重复文件
	for _, file := range files {
		if len(file.Name()) == min {
			log.WithField("filename", file.Name()).Info("保留")
			continue
		}

		// 创建备份目录
		backupDir := "./" + BACKUP_DIR_NAME + "/" + dirPath[2:]
		createDirIfNoExist(backupDir)

		// 移动文件到备份目录（而非直接删除）
		err = os.Rename(dirPath+file.Name(), backupDir+file.Name())
		if err != nil {
			logrus.Panic(err)
		}

		delCount++
		atomic.AddInt32(&allDelCount, 1)
		log.WithField("filename", file.Name()).Info("删除")
	}
}

func md5File(filename string) (string, error) {
	file, err := os.Open(filename)
	defer file.Close()
	if err != nil {
		return "", err
	}
	md5h := md5.New()
	io.Copy(md5h, file)
	return fmt.Sprintf("%x", md5h.Sum([]byte(""))), nil
}

func isFileHidden(path string) (bool, error) {
	name := utf16.Encode([]rune(path + "\x00"))
	attributes, err := syscall.GetFileAttributes((*uint16)(unsafe.Pointer(&name[0])))
	if err != nil {
		return false, err
	}
	return attributes&syscall.FILE_ATTRIBUTE_HIDDEN != 0, nil
}

func createDirIfNoExist(path string) {
	_, err := os.Stat(path)
	if err != nil {
		if os.IsNotExist(err) {
			os.MkdirAll(path, os.ModePerm)
			return
		}
		return
	}
}