深度学习调参大法 trick 1：深度学习调参核心点 trick 2：关于 深度学习Model选型问题 trick 3：关于数据 trick 4：关于调参 4.1 关于 Loss function 调参策略 4.2 关于 Learning rate 和 batch size 调参策略 4.3 关于 Epoch number 和 early stopping 调参策略 4.4 关于 Optimizer 调参策略 4.5 关于 Activation function 调参策略 4.6 关于 Weights initialization 调参策略 4.7 关于 Regularization 调参策略 4.8 关于 Validation 调参策略 trick 5：模型训练过拟合和欠拟合问题？ 5.1 欠拟合（Underfitting） 5.2 过拟合（Overfitting） trick 6：模型参数初始化方法 trick 7：Normalization 选择问题 trick 7：模型输出层选择问题 trick 8：随机数种子设定问题 trick 9：cross validation问题 trick 10：新模型开发前期问题 trick 11：badcase 分析问题
trick 1：深度学习调参核心点
首先需要牢记一个点：模型选型和数据质量决定了任务的底线，而调参只是锦上添花的工作；
先overfit 再trade off，首先保证你的模型capacity能够过拟合，再尝试减小模型，各种正则化方法;
trick 2：关于 深度学习Model选型问题
深度学习Model选型是一个综合考虑多个因素的过程，旨在找到最适合特定任务和数据集的模型。以下是一些关键步骤和考虑因素：
理解任务需求：
任务类型：首先要明确任务是分类、回归、生成、排序还是其他，比如文本相似度计算、图像识别、自然语言处理等。 数据特性：考虑数据的维度、规模、结构（如图像、文本、时序数据等）和质量。
模型容量：
选择一个与数据复杂度相匹配的模型大小。模型过于简单可能导致欠拟合，而过于复杂则可能过拟合。 考虑模型的参数数量和可调整范围。
数据复杂度：
样本数量和特征维度会影响模型选择。大数据集通常能支持更复杂的模型。 数据的时间或空间结构，以及多样性，也是选择模型时的重要考量。
先验知识与预训练模型：
利用领域知识选择合适的模型结构，例如在NLP任务中，预训练的Transformer模型（如BERT, Sentence-BERT）常被用于文本相似度计算。 预训练模型可以在特定任务上提供强大的初始化，加速训练过程并提高性能。
计算资源：
考虑可用的GPU、内存和计算时间。复杂模型往往需要更多资源。 在资源有限的情况下，轻量级模型或模型压缩技术可能是更好的选择。
模型可解释性：
对于某些应用，模型的可解释性至关重要。决策树、线性模型相对容易解释，而深度神经网络可能较难解释。
评估与验证：
设计合适的评价指标，如准确率、F1分数、AUC-ROC等，确保模型性能可量化。 使用交叉验证来可靠地估计模型泛化能力，并避免过拟合或欠拟合。 实施正则化技术（如权重衰减、dropout）以控制模型复杂度。
实验与调优：
初始可尝试几个不同的模型架构，进行快速原型设计。 根据初步实验结果，逐步精细化调优选定的模型，包括调整超参数、网络结构等。
框架与工具：
选择合适的深度学习框架（如TensorFlow、PyTorch、Keras等），考虑其易用性、社区支持、生态系统等因素。
所以说深度学习模型选型是一个迭代且实践驱动的过程，需要不断地实验、评估与调整，直至找到满足特定需求的最佳模型。
trick 3：关于数据
数据量太大时，可以采取以下几种策略来有效管理和处理数据，确保模型训练的可行性：
数据采样： 随机采样：从整个数据集中随机抽取一部分作为训练数据，可以是无放回或有放回采样。 分层采样：确保每个类别或重要属性在采样数据中都有代表性，适用于分类任务。 Mini-Batch训练：将数据集分成多个小批量（mini-batches），每次仅使用一个小批量数据来更新模型参数，减少了内存需求并加速了训练过程。 在线学习或流式学习：不一次性加载所有数据，而是让数据一批批地通过模型，适合处理不断增长或内存限制严格的场景。 硬盘/外部存储读取：只加载当前需要训练的数据到内存，其余数据存储在硬盘上，按需读取。例如，使用 tf.data.Dataset（TensorFlow）或PyTorch的DataLoader实现。数据集划分与分布式训练：将数据集分割并在多个GPU或计算节点上并行训练，利用分布式训练框架如Horovod、PyTorch的 torch.nn.parallel.DistributedDataParallel或TensorFlow的tf.distribute.Strategy。数据压缩与降维：对数据进行压缩处理，如图像的量化、特征选择或降维（PCA、t-SNE等），减少内存占用。 增量学习或持续学习：模型不是一次性训练完成，而是逐步学习新数据，每次迭代只添加或更新部分数据，适用于数据流持续到来的情况。 使用TFRecords或其他高效的文件格式：将数据序列化为高效的二进制格式，如TensorFlow的TFRecords，这有助于减少读取时间和内存使用。 近似方法和算法优化：对于特定类型的模型（如推荐系统中的矩阵分解），使用近似算法减少计算复杂度和内存需求。 硬件升级与云服务：如果条件允许，增加物理内存或使用高性能计算资源，甚至迁移到云服务，如Google Cloud、AWS或Azure，它们提供了灵活的计算和存储资源。
数据量太小时，可以采取以下几种策略来有效管理和处理数据，确保模型训练的可行性：
数据增强： 对现有数据进行变换以生成新的样本，如图像旋转、翻转、缩放、裁剪、色彩调整等，适用于计算机视觉任务。 文本数据可以通过同义词替换、句式转换、文本摘要等方式增强。 语音数据可以通过改变速度、音调、添加背景噪音等方法增加多样性。 迁移学习： 使用预训练模型作为起点，这些模型在大型数据集上已经学习到了通用特征，然后在自己的小数据集上进行微调。 只对模型的最后一层或几层进行训练，保留前面的层不变，这样可以利用预训练模型的强大表示能力。 集成学习：训练多个模型并将它们的预测结果结合起来，可以是bagging、boosting等方法，这有助于减少方差，提高模型稳健性。 正则化：使用L1、L2正则化或Dropout等技术防止模型过拟合，使模型在小数据集上表现更好。 半监督学习或自监督学习：半监督学习利用少量有标签数据和大量无标签数据进行训练；自监督学习则让模型从无标签数据中自我生成监督信号，减少对大量标注数据的依赖。 生成模型：利用GANs（生成对抗网络）、VAEs（变分自编码器）等生成模型来合成新的数据样本，尤其是图像或文本数据。 主动学习：一种迭代方法，模型在训练过程中主动选择最有价值的样本请求人工标注，从而高效增加数据质量和数量。 模型精简：选择小型网络结构或进行模型剪枝，减少模型复杂度，使得小数据集也足以训练。 重采样技术：对于类别不平衡的数据集，可以通过过采样少数类或欠采样多数类来平衡数据，提高训练效率。 仿真数据生成：根据业务逻辑或领域知识创建仿真数据，尤其是对于难以收集真实数据的情况。
一定要进行数据预处理，把数据分布分散到均值为0，方差9为1的区间，利于训练模型
注：数据增强要结合任务本身来设计
