南洋理工大学 S-Lab
⭐ 如果 CodeFormer 对您的图像或项目有帮助，请为这个仓库点星标。谢谢！🤗
CodeFormer 现已集成到 共绩算力平台，为您提供强大的 AI 人脸修复服务！
- 顶级算力: RTX 4090 集群，24GB 显存，专为 AI 训练优化
- 即开即用: 预装深度学习环境，无需配置，1.68元/时起
- 弹性扩容: 按需付费，按秒计费，只为有效价值付费
- 环境持久化: 开发环境可保存，支持 Jupyter、VSCode 等工具
- 注册登录: 访问 共绩算力平台 注册账号
- 选择配置: 推荐使用 RTX 4090 配置（24GB 显存，64GB 内存）
- 环境部署: 选择预装 PyTorch 环境的镜像
- 代码部署: 克隆本仓库并安装依赖
- 开始使用: 运行推理脚本，享受顶级算力
- 单卡配置: RTX 4090 (24GB) + 16核 CPU + 64GB 内存 - ¥1.68/时
- 双卡配置: 2×RTX 4090 (48GB) + 32核 CPU + 128GB 内存 - ¥3.36/时
- 四卡配置: 4×RTX 4090 (96GB) + 64核 CPU + 256GB 内存 - ¥6.72/时
- 实时监控: GPU 使用率、显存占用实时监控
- 环境管理: 支持环境快照和恢复
- 数据同步: 支持本地与云端数据同步
- 团队协作: 支持多人协作开发
- 官方文档: 共绩算力文档中心
- 技术交流: 扫码加入技术交流群
- 客服支持: 7×24小时在线技术支持
- 2023.07.20: 集成到 🐼 OpenXLab 平台。体验在线演示！
- 2023.04.19: 🐳 训练代码和配置文件现已公开。
- 2023.04.09: 为裁剪对齐的人脸图像添加修复和着色功能。
- 2023.02.10: 包含
dlib作为新的人脸检测选项，产生更准确的人脸身份。 - 2022.10.05: 支持视频输入
--input_path [YOUR_VIDEO.mp4]。尝试用它来增强您的视频！:clapper: - 2022.09.14: 集成到 🤗 Hugging Face。体验在线演示！
- 2022.09.09: 集成到 🚀 Replicate。体验在线演示！
- 更多更新
- 添加训练代码和配置文件
- 添加人脸修复的检查点和脚本
- 添加人脸着色的检查点和脚本
-
添加背景图像增强
- Pytorch >= 1.7.1
- CUDA >= 10.1
- 其他必需包在
requirements.txt中
# 克隆此仓库
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer
# 创建新的 anaconda 环境
conda create -n codeformer python=3.8 -y
conda activate codeformer
# 安装 Python 依赖
pip3 install -r requirements.txt
python basicsr/setup.py develop
conda install -c conda-forge dlib (仅用于人脸检测或使用 dlib 裁剪)从 [Releases | Google Drive | OneDrive] 下载 facelib 和 dlib 预训练模型到 weights/facelib 文件夹。您可以手动下载预训练模型或运行以下命令下载：
python scripts/download_pretrained_models.py facelib
python scripts/download_pretrained_models.py dlib (仅用于 dlib 人脸检测器)从 [Releases | Google Drive | OneDrive] 下载 CodeFormer 预训练模型到 weights/CodeFormer 文件夹。您可以手动下载预训练模型或运行以下命令下载：
python scripts/download_pretrained_models.py CodeFormer您可以将测试图像放在 inputs/TestWhole 文件夹中。如果您想测试裁剪和对齐的人脸，可以将它们放在 inputs/cropped_faces 文件夹中。您可以通过运行以下命令获得裁剪和对齐的人脸：
# 您可能需要通过以下方式安装 dlib：conda install -c conda-forge dlib
python scripts/crop_align_face.py -i [输入文件夹] -o [输出文件夹][注意] 如果您想在论文中比较 CodeFormer，请运行以下命令并指定 --has_aligned（用于裁剪和对齐的人脸），因为整个图像的命令将涉及人脸背景融合过程，可能会损坏边界上的头发纹理，导致不公平的比较。
保真度权重 w 在 [0, 1] 范围内。通常，较小的 w 倾向于产生更高质量的结果，而较大的 w 产生更高保真度的结果。结果将保存在 results 文件夹中。
🧑🏻 人脸修复（裁剪和对齐的人脸）
# 对于裁剪和对齐的人脸 (512x512)
python inference_codeformer.py -w 0.5 --has_aligned --input_path [图像文件夹]|[图像路径]🖼️ 整张图像增强
# 对于整张图像
# 添加 '--bg_upsampler realesrgan' 以使用 Real-ESRGAN 增强背景区域
# 添加 '--face_upsample' 以使用 Real-ESRGAN 进一步上采样修复的人脸
python inference_codeformer.py -w 0.7 --input_path [图像文件夹]|[图像路径]🎬 视频增强
# 对于 Windows/Mac 用户，请先安装 ffmpeg
conda install -c conda-forge ffmpeg# 对于视频片段
# 视频路径应以 '.mp4'|'.mov'|'.avi' 结尾
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [视频路径]🌈 人脸着色（裁剪和对齐的人脸）
# 对于裁剪和对齐的人脸 (512x512)
# 为黑白或褪色照片着色
python inference_colorization.py --input_path [图像文件夹]|[图像路径]🎨 人脸修复（裁剪和对齐的人脸）
# 对于裁剪和对齐的人脸 (512x512)
# 输入可以通过使用图像编辑应用程序（例如 Photoshop）的白色画笔进行遮罩
# （查看 inputs/masked_faces 中的示例）
python inference_inpainting.py --input_path [图像文件夹]|[图像路径]如果我们的工作对您的研究有用，请考虑引用：
@inproceedings{zhou2022codeformer,
author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
booktitle = {NeurIPS},
year = {2022}
}本项目根据 NTU S-Lab License 1.0 获得许可。重新分发和使用应遵循此许可证。
本项目基于 BasicSR。部分代码来自 Unleashing Transformers、YOLOv5-face 和 FaceXLib。我们还采用 Real-ESRGAN 来支持背景图像增强。感谢他们的出色工作。
如果您有任何问题，请随时通过 shangchenzhou@gmail.com 联系我。
- 顶级硬件: RTX 4090 集群，专为 AI 训练优化
- 成本优势: 按秒计费，只为有效价值付费
- 环境完善: 预装深度学习框架，开箱即用
- 技术支持: 7×24小时专业技术支持
- 弹性扩容: 根据需求自动扩缩容
- AI 研究: 深度学习模型训练和推理
- 图像处理: 人脸修复、图像增强、风格迁移
- 视频处理: 视频修复、超分辨率、帧插值
- 学术研究: 计算机视觉、图像生成研究
- 访问 共绩算力平台
- 注册账号并完成实名认证
- 选择合适的 GPU 配置
- 部署 CodeFormer 环境
- 开始您的人脸修复项目
立即体验: 共绩算力平台