神经网络训练技巧

发表于2025-02-20|更新于2025-12-18

|浏览量:

本文记录一些刷点的小技巧

对每个序列进行独立调参
BYTE
“For higher MOTA, you need to carefully tune the test image size and high score detection threshold of each sequence”

文章作者: XJC

文章链接: http://xujingchen.site/2025/02/20/NeuralNetwork/nn_tricks/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源哈基窝！

相关推荐

mamba模块的简单原理

本文记录Mamba模型的学习。参考资料提出的目的新的模型的出现，必然是为了解决过去模型的不足。 Transformer在预测工作时，需要计算之前所有tokens的自注意力矩阵，这个工作的计算量时相当大的。也就是说预测时速度很慢，但是由于Transformer可以并行计算，所以训练非常快。 RNN 推理快，但是训练慢（不能并行计算），而且记忆时间不长。那么我们就想有一种模型，训练也快推理也快。还有一定的记忆时长。由简入深状态空间模型离散化：零阶保持器循环表示循环表示用来推理卷积表示卷积表示用来训练结构化状态空间模型(S4)引入HiPPO（Hungering Hungry Hippo），用来使得A保持大容量记忆。其它改进有选择地保留信息(Selectively Retain Information)扫描操作(The Scan Operation)硬件感知算法(Hardware-aware Algorithm)

mmlab学习笔记

本文大致介绍mmlab的基本框架。基本知识 config 文件（1）命名规则 1{algorithm name}_{model component names [component1]_[component2]_[...]}_{training settings}_{training dataset information}_{testing dataset information}.py algorithm name: 算法名称。例如：faster_rcnn model component names: 模型组件名称，包括backbone和neck等。例如 r50-caffe_fpn_gn-head 表示在算法中使用 caffe 版本的 ResNet50、FPN 和使用了 Group Norm 的检测头。 training settings: 训练设置， batch 大小、数据增强、损失、参数调度方式和训练最大轮次/迭代。例如4xb4-mixup-giou...

Common Nerual Network

本文介绍图像中经典的网络结构卷积神经网络（CNN）LeNet最早期的卷积神经网络之一，由Yann LeCun等人在1998年提出，主要用于手写数字识别，奠定了CNN的基础 AlexNet2012年ImageNet竞赛的冠军模型，首次引入ReLU激活函数、Dropout等技术，标志着深度学习在计算机视觉领域的崛起 VGGNet使用小尺寸卷积核和更深的网络结构，显著提高了性能，但计算量较大生成对抗网络（GAN）GAN由生成器和判别器组成，用于生成新的图像数据 DCGAN深度卷积生成对抗网络，基于卷积神经网络的GAN，提高了图像生成质量目标检测网络R-CNN系列包括R-CNN、Fast R-CNN、Faster R-CNN等，基于区域提议的两阶段检测算法 YOLO系列单阶段检测算法，速度快，实时性好 SSD多尺度特征图检测，兼顾速度和精度 Vision Transformer（ViT）将Transformer结构应用于图像分类，取得了优异效果

神经网络的训练

本篇文章主要记录一些训练神经网络的内容 1. 硬件查看1nvidia-smi GPU：GPU 编号； Name：GPU 型号； Persistence-M：持续模式的状态。持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少，这里显示的是off的状态； Fan：风扇转速，从0到100%之间变动； Temp：温度，单位是摄氏度； Perf：性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能（即 GPU 未工作时为P0，达到最大工作限度时为P12）。 Pwr:Usage/Cap：能耗； Memory Usage：显存使用率； Bus-Id：涉及GPU总线的东西，domain:bus:device.function； Disp.A：Display Active，表示GPU的显示是否初始化； Volatile GPU-Util：浮动的GPU利用率； Uncorr. ECC：Error Correcting Code，错误检查与纠正； Compute M：compute mode，计算模式。 2. 超参数调优常见的超参数调优方法：网格搜索、随机搜索和...

主要记录一些深度网络升点的技巧。参考资料升点AI performance = data(70%) + model(20%) + trick(10%)，数据是对AI性能影响最大的。数据处理数据增强 (Data Augmentation)（1）NLP：回译，词性替换（2）CV：resize、 crop、flip、ratate、blur、HSV变化、affine（仿射）、perspective（透视）、Mixup、cutout、cutmix、Random Erasing（随机擦除）、Mosaic（马赛克）、CopyPaste、GANs domain transfer等 pseudo label / meta pseudo label （伪标签，半监督学习，比赛常用）（1）pseudo label：伪标签是一种半监督学习方法，旨在利用有限的标注数据和大量的未标注数据来提升模型的性能。其核心思想是通过一个初步训练的模型对未标注数据进行预测，并将这些预测结果作为“伪标签”，然后将这些伪标签与标注数据一起用于进一步训练模型。（2）meta pseudo label...

本文主要记录onnx的相关知识 onnx介绍开放神经网络交换 ONNX（Open Neural Network Exchange）是一套表示深度神经网络模型的开放格式，由微软和 Facebook 于 2017 推出。通俗的说，onnx就是不同模型的中间桥梁。pytorch、tensorflow、mxnet等模型都可以转换为onnx模型，然后onnx模型可以转换为其他模型，例如TensorRT等。从部署流程上认识onnx下面是一个常规的神经网络部署流程：前期准备根据任务问题，我们选择解决的方案，分类、检测、分割等。然后选择合适的模型，例如yolov3、faster rcnn。模型训练使用pytorch、tensorflow等框架训练模型，训练完成后，保存模型。例如训练YOLO模型，我们得到的结果是一个.pt文件转换模型将训练好的模型转换为onnx模型，方便后续部署。onnx可以理解为封装成了一个包，输入输出都是tensor。具体部署将onnx模型部署到具体的硬件上，例如NVIDIA的tensorrt、高通的SNPE等。 onnx具体部署下面我们以pytorch...