网站首页 优化器adam

• 

  如何提高PyTorch“炼丹”速度?这位小哥总结了17种方法

  杨净发自凹非寺量子位报道|公众号QbitAI如何提升PyTorch“炼丹”速度？最近，有一位名叫LorenzKuhn的小哥，分享了他在炼丹过程中总结的17种投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTo...

  2025-05-28 balukai 文章精选 10 ℃
• 

  显存告急?微调资源优化的三大法宝

  人工智能技术快速迭代的今天，大模型全参数微调（SFT）已成为垂直领域落地的必经之路。然而，动辄百亿参数的模型规模与高昂的显存成本，让无数开发者在"CUDAoutofmemory"的报错中折戟沉沙。本文结合工业界最新实践...

  2025-05-28 balukai 文章精选 8 ℃
• 

  大模型训练成本降低近一半!新加坡国立大学最新优化器已投入使用

  克雷西发自凹非寺量子位|公众号QbitAI优化器在大语言模型的训练中占据了大量内存资源。现在有一种新的优化方式，在性能保持不变的情况下将内存消耗降低了一半。该成果由新加坡国立大学打造，在ACL会议上获得了杰出论文奖，并已经投入了实...

  2025-05-28 balukai 文章精选 8 ℃
• 

  Pytorch 入门-day13: 调试与可视化

  目标：在第12天的代码基础上，学习如何使用TensorBoard可视化训练过程中的损失和准确率，并通过打印中间结果进行调试。目标是掌握TensorBoard的基本使用方法，理解如何通过可视化监控模型性能，从而更好地调试和优化深度学习模型。术...

  2025-05-28 balukai 文章精选 8 ℃
• 

  基于昇腾用PyTorch实现CTR模型DIN(Deep interest Netwok)网络

  本文主要介绍如何在昇腾上使用pytorch对推荐系统中经典的网络模型Din进行训练的实战讲解，使用数据集是Amazon中book数据集，主要内容分为以下几个模块：Din网络创新点介绍Din网络架构剖析及搭建ActivationUnit介...

  2025-05-28 balukai 文章精选 9 ℃
• 

  神经网络训练全解析:从理论到实战的开发者指南及超参数优化法则

  本文较长，建议点赞收藏，以免遗失。更多AI大模型应用开发学习内容，尽在官网-聚客AI学院大模型应用开发微调项目实践课程学习平台一.神经网络训练基础概念神经网络训练是通过调整权重参数，使模型输出逐渐逼近真实值的过程。其核心流程可概括为：数据...

  2025-05-28 balukai 文章精选 6 ℃
• 

  BattProDeep——深度学习赋能电池老化概率精准预测

  原文链接请点击：「链接」摘要：针对传统确定性模型无法捕捉电池退化随机性的问题，本文提出BattProDeep工具，基于深度学习框架实现电池老化的概率预测。该工具采用开源架构，借助TensorFlow与TensorFlowProbabili...

  2025-05-28 balukai 文章精选 10 ℃
• 

  让AI自己调整超参数，谷歌大脑新优化器火了，自适应多种不同任务

  萧箫发自凹非寺量子位|公众号QbitAI还在苦恼怎么给优化器调整更好的参数吗？现在，谷歌大脑搞出了一个新的优化器VeLO，无需手动调整任何超参数，直接用就完事了。与其他人工设计的如Adam、AdaGrad等算法不同，VeLO完全基...

  2025-05-28 balukai 文章精选 8 ℃
• 

  神经辐射场(NeRF)实战指南:基于PyTorch的端到端实现

  在探索三维重建技术的过程中，从传统的多视图几何到现代深度学习方法，神经辐射场(NeRF)技术凭借其简洁而高效的特性脱颖而出。本文旨在提供一个全面的NeRF实现指南，基于PyTorch框架从基础原理到完整实现进行详细阐述。本文将系统性地引导读...

  2025-05-28 balukai 文章精选 8 ℃
• 

  Pytorch学习-day8: 损失函数与优化器

  学习目标理解损失函数：学习什么是损失函数，为什么需要它，以及常见类型（如MSE和CrossEntropy）。理解优化器：了解优化器如何帮助模型学习，以及SGD和Adam的基本原理。实践任务：为Day7的MLP添加M...

  2025-05-28 balukai 文章精选 7 ℃