🃏模型结构分析-纸牌屋项目

[isLinXu]

项目背景：

随着深度学习的发展，模型结构变得越来越多，且日益复杂，那么能不能借助一些工具，来将这些模型权重和信息提取出来，从而进一步进行模型结构优化与分析的相关工作呢，这个就是我们希望实现的。
在此项目中，我们将使用包含模型结构信息的JSON作为知识库，存储模型的信息。然后，我们将使用大语言模型来分析和设计模型结构。这个过程借鉴了神经结构搜索（NAS）的思想，自动化地搜索最优的神经网络结构。这将使我们能够更有效地理解和修改模型，同时也使模型能够更好地适应不同的应用场景。

功能设计：

基础：

• 创建和维护JSON知识库：该功能将允许用户创建和更新存储模型信息的JSON文件。
• 模型分析：通过大语言模型，我们将能够分析模型结构，包括其参数、层级和连接方式等。
• 模型设计：此功能将利用大语言模型的能力，帮助用户设计和优化模型结构。

进阶：

• 自动模型优化：借鉴NAS的思想，我们可以自动找出模型的瓶颈并提出优化方案。这包括自动搜索最优的神经网络结构，以及自动调整模型参数。
• 模型验证：验证模型的性能，包括准确性、速度和资源消耗等。这将通过大语言模型的能力进行，以确保模型达到最优性能。
• 模型转换：将模型转换为其他格式，如.onnx或.npy，以便在其他系统中使用。这将使我们的模型具有更广泛的适用性。

实现方案

利用大语言模型（LLM）实现神经网络结构搜索（NAS）可以分为以下几个步骤：

1、准备数据和任务：首先，需要为LLM提供一个具体的任务和相应的训练数据。这个任务可以是图像分类、语义分割或者文本生成等。确保训练数据具有足够的多样性和质量，以便LLM能够学习到有效的模式。

2、设计搜索空间：为了让LLM能够搜索神经网络结构，你需要定义一个搜索空间。搜索空间包括可选的网络层（如卷积层、全连接层、循环层等）、激活函数（如ReLU、tanh、sigmoid等）和其他超参数（如学习率、优化器等）。确保搜索空间足够丰富，以便LLM能够找到有效的组合。

3、编码和解码神经网络结构：将神经网络结构编码为LLM能够理解和生成的文本格式。这可以通过将网络结构表示为JSON、XML或其他结构化文本格式来实现。同时，需要实现一个解码器，将LLM生成的文本解码为实际的神经网络结构。

4、微调LLM：使用训练数据和任务，对LLM进行微调，使其能够理解如何生成有效的神经网络结构。在微调过程中，可以使用强化学习或其他优化方法来指导LLM生成更好的结构。

5、生成和评估候选结构：使用微调后的LLM生成一系列候选神经网络结构。然后，使用验证数据集对这些结构进行评估，以确定它们的性能。

6、选择最佳结构：根据评估结果，选择性能最好的神经网络结构。你可以通过多次迭代来优化结构，或者设置一个停止条件来确定最终结构。

7、训练和部署最佳结构：使用所选的最佳神经网络结构，使用全部训练数据进行训练，然后将训练好的模型部署到实际应用中。

通过这种方法，LLM可以实现神经网络结构搜索（NAS），帮助你找到针对特定任务的最优神经网络结构。

进度

现已完成工作：

• onnx模型转换及结构信息提取工具：https://github.com/isLinXu/onnx-explorer
  (该工具详细可见以上链接，目前仍在优化迭代中，暂未进行推广)

进行中：

• 模型纸牌屋🃏：https://github.com/isLinXu/house-of-model-cards
  (由onnx-explorer转化生成的模型结构信息，后期会整理成知识库或数据集格式；
  将众多模型的信息以model card的方式进行存储，并且使用纸牌元素进行排序与分类；
  其中sota模型是joker，依次类推)

计划

由于模型纸牌屋中已处理完成一部分模型，如timm、torchvision、detectron2、mmyolo等，本次项目预计先整理成知识库，实现模型结构的问题及针对性优化建议；

说明

本项目仍在预研阶段，欢迎大家一起参与及讨论👏

可以在下方进行讨论👇

[isLinXu]

onnx-explorer

• onnx-explorer

[isLinXu]

已提取模型结构信息示例(以vgg16为例)

• https://github.com/isLinXu/house-of-model-cards

[isLinXu]

项目成员

• Hertz
• Miracleyin
• 散步
• 企鹅火烈鸟
• XiaoHr0306

[isLinXu]

已经处理完的模型信息都在这里：https://github.com/isLinXu/house-of-model-cards/tree/main/model_cards

已经包含了detectron2、timm、torchvision、mmyolo、mmdet等全部模型信息，每一个模型都是通过pt权重转换成onnx文件，再通过onnx-explorer提取出来的；
这一次作业，是准备拿timm里面的模型信息文件作为数据，对应的json文件已经存在每个对应模型文件名称的路径下了，大家可以先熟悉下；

后续应该还会持续将openmmlab全系列的模型，以及huggingface上的模型做一个类似的工作
基于这些输出的结构化信息，下游的任务有很多：可以去做针对稀疏模型去做压缩、剪枝、对于现有模型去做优化设计、以及验证一些模型算子和可解释性相关的工作；

同时已经导出的onnx文件已经全部上传至腾讯微云和百度网盘，这些onnx权重文件是可以直接拿去做模型推理和模型转换的；

另外针对openmmlab全系列模型的推理演示效果，已经跟mmlab合作，openxlab上构建了相应的webui-gradio，可以直接传入图片进行推理验证，这将有助于更多开发者和研究者，针对自己的需求进行模型选型，对应开源在这个repo：https://github.com/isLinXu/vision-process-webui

这是其中一个实例：

https://openxlab.org.cn/apps/detail/gatilin/mmyolo-webui

[yangff0016]

顶起来

[NANDSS1]

[isLinXu]

完成作业应该是不缺人了，有兴趣的大家可以参加后续的工作或者想要了解更多内容的，

• 可加群

• 或添加微信(lx17746071609)