南京电商网站开发公司如何开发电子商务网站

南京电商网站开发公司,如何开发电子商务网站,免费个人网站建设制作代码,网站备案回访问题2.1 数据操作 2.1.1 入门 Torch创建的tensor能够指定从磁盘提取后的存储地址#xff0c;可以是内存或者显存。转移的命令为model.to(cuda) data.to(cuda)或者采用data.cuda()。如果需要使用显存运算#xff0c;必须把模型参数和数据转移至显存中。Nu…2.1 数据操作2.1.1 入门Torch创建的tensor能够指定从磁盘提取后的存储地址可以是内存或者显存。转移的命令为model.to(cuda)data.to(cuda)或者采用data.cuda()。如果需要使用显存运算必须把模型参数和数据转移至显存中。Numpy创建的数组只能在cpu中因为其存储只能在内存中。基于torch创建tensor的简单操作成等差数列torch.arange(12)成满足正态分布的矩阵torch.randn((shape))圆括号内表示shape的形状成全一一定形状的矩阵torch.ones(shape)成全零、一定形状的矩阵torch.zeros(shape)查看tensor属性的命令形状和元素数量tensor.shape、tensor.numel()、tensor.ndim设备和数据类型tensor.device、tensor.dtype、tensor.is_cuda内存布局tensor.is_contiguous()计算图属性tensor.requires_grad查看是否需要计算梯度、tensor.grad梯度值、tensor.grad_fn梯度函数改变tensor形状的方法new_tensor old_tensor.reshape(shape)自动计算维度new_tensor old_tensor.reshape((-1, wide))或new_tensor old_tensor.reshape((long, -1))-1表示自动计算该维度2.1.2 运算符按元素计算可分为两种类型单输入函数f:R→Rf: \mathbb{R} \rightarrow \mathbb{R}f:R→R如torch.exp(x)、torch.log()、torch.sin()双输入函数f:R,R→Rf: \mathbb{R}, \mathbb{R} \rightarrow \mathbb{R}f:R,R→R如XY、X*Y、X/Y、X*torch.exp(Y)要求两个tensor大小相同张量拼接torch.cat((X,Y), dim0/1)需保证拼接维度外的其他维度相同张量求和X.sum()对所有元素求和2.1.3 tensor的广播机制当两个数组维度不同时广播机制会自动扩展维度较小的数组若数组形状为(a,b)(a,b)(a,b)和(c,d)(c,d)(c,d)且aca cac则在dim0轴复制行使形状匹配若dbd bdb则在dim1轴复制列使形状匹配前提条件非匹配维度必须满足其中一个为1或两者成倍数关系2.1.4 索引与切片索引和切片操作与Python列表类似语法为tensor[start:end:step]。注意部分操作可能导致降维。2.1.5 节省内存避免创建新对象的内存优化方法原地修改方式1X[:] X Y原地修改方式2X Y推荐更简洁对比示例Ytorch.arange(12)beforeid(Y)YXY# 创建新对象内存地址改变newid(Y)print(beforenew)# 输出FalseX[:]XY# 原地修改内存地址不变# 或 X Y2.1.6 转换为其他python对象与NumPy数组互转tensor转numpyX.numpy()numpy转tensortorch.tensor(array)张量转标量仅适用于一维张量a.item()推荐返回Python标量float(a)或int(a)类型转换2.2 数据预处理结合pandas进行数据预处理的完整流程步骤1读取数据importpandasaspd dataframepd.read_csv(文件路径.csv)步骤2处理缺失值# 提取特征列inputsdataframe.iloc[:,0:2]# 用均值填充缺失值inputs.fillna(inputs.mean(),inplaceTrue)# 或删除含缺失值的行df.dropna(axis0,howany,inplaceTrue)# axis0表示行howany表示只要有缺失就删除步骤3转换为tensorimporttorch# 先获取numpy数组再转换为tensortensor_datatorch.tensor(inputs.values)2.3 线性代数基本概念数据存储维度体系标量0维张量单个数值向量1维张量有方向的数组长度即维度矩阵2维张量行×列的二维数组高阶张量三维及以上如图像的通道×高×宽数学符号规范标量小写字母如x∈Rx \in \mathbb{R}x∈R或x∈{0,1}x \in \{0,1\}x∈{0,1}向量加粗小写字母如x\mathbf{x}x元素表示为xix_ixi​不加粗矩阵加粗大写字母如A\mathbf{A}A2.3.1 张量算法的基本性质一元运算不改变张量形状如torch.abs()、torch.exp()二元运算要求输入张量形状匹配如torch.add()、torch.mul()2.3.2 求和降维基本求和全元素求和A.sum()返回标量指定维度求和A.sum(dim0)沿第0维求和降维操作维度保持使用keepdimsTrue参数保持维度A.sum(dim0, keepdimsTrue)累积求和不改变形状A.cumsum(dim0)示例对比操作代码输入形状输出形状全元素求和A.sum()(3,4)()按行求和A.sum(dim0)(3,4)(4,)按列求和A.sum(dim1)(3,4)(3,)保持维度求和A.sum(dim0, keepdimsTrue)(3,4)(1,4)2.3.3 代数中的相乘规则1. 向量点积数学定义a∈Rn,b∈Rn,aTb∑i1naibi\mathbf{a} \in \mathbb{R}^n, \mathbf{b} \in \mathbb{R}^n, \mathbf{a}^T\mathbf{b} \sum_{i1}^n a_i b_ia∈Rn,b∈Rn,aTb∑i1n​ai​bi​PyTorch实现torch.dot(a, b)要求a和b都是1维张量2. 矩阵-向量乘法数学定义A∈Rn×m,b∈Rm,Ab∈Rn\mathbf{A} \in \mathbb{R}^{n \times m}, \mathbf{b} \in \mathbb{R}^m, \mathbf{Ab} \in \mathbb{R}^nA∈Rn×m,b∈Rm,Ab∈RnPyTorch实现torch.mv(A, b)3. 矩阵-矩阵乘法数学定义A∈Rn×m,B∈Rm×p,AB∈Rn×p\mathbf{A} \in \mathbb{R}^{n \times m}, \mathbf{B} \in \mathbb{R}^{m \times p}, \mathbf{AB} \in \mathbb{R}^{n \times p}A∈Rn×m,B∈Rm×p,AB∈Rn×pPyTorch实现torch.mm(A, B)要求A的列数等于B的行数2.3.4 范数向量范数L1范数∥a∥1∑i1n∣ai∣\|\mathbf{a}\|_1 \sum_{i1}^n |a_i|∥a∥1​∑i1n​∣ai​∣实现torch.sum(torch.abs(a))L2范数∥b∥2∑i1nbi2\|\mathbf{b}\|_2 \sqrt{\sum_{i1}^n b_i^2}∥b∥2​∑i1n​bi2​​实现torch.norm(b)矩阵范数弗罗贝尼乌斯范数Frobenius norm∥A∥F∑i1n∑j1maij2\|\mathbf{A}\|_F \sqrt{\sum_{i1}^n \sum_{j1}^m a_{ij}^2}∥A∥F​∑i1n​∑j1m​aij2​​实现torch.norm(A)与向量L2范数使用相同函数2.4 微积分导数定义函数可微的数学定义f′(x)lim⁡h→0f(xh)−f(x)hf(x) \lim_{h \to 0} \frac{f(xh) - f(x)}{h}f′(x)h→0lim​hf(xh)−f(x)​可微条件函数在该点的左右导数存在且相等函数类型与导数表示函数类型数学表示导数/偏导数表示标量到标量f:R→Rf: \mathbb{R} \rightarrow \mathbb{R}f:R→Rdfdx\frac{df}{dx}dxdf​或f′(x)f(x)f′(x)向量到标量f:Rn→Rf: \mathbb{R}^n \rightarrow \mathbb{R}f:Rn→R∂f∂xi\frac{\partial f}{\partial x_i}∂xi​∂f​偏导数向量到向量f:Rn→Rmf: \mathbb{R}^n \rightarrow \mathbb{R}^mf:Rn→Rm雅可比矩阵J∈Rm×n\mathbf{J} \in \mathbb{R}^{m \times n}J∈Rm×n其中Jij∂fi∂xjJ_{ij} \frac{\partial f_i}{\partial x_j}Jij​∂xj​∂fi​​复合函数求导深度学习反向传播基于链式法则若yf(u),ug(x)y f(u), u g(x)yf(u),ug(x)则dydxdydu⋅dudx\frac{dy}{dx} \frac{dy}{du} \cdot \frac{du}{dx}dxdy​dudy​⋅dxdu​多变量情况∂y∂xi∑j∂y∂uj⋅∂uj∂xi\frac{\partial y}{\partial x_i} \sum_j \frac{\partial y}{\partial u_j} \cdot \frac{\partial u_j}{\partial x_i}∂xi​∂y​∑j​∂uj​∂y​⋅∂xi​∂uj​​2.5 自动微分PyTorch的自动微分通过计算图实现核心流程如下步骤1初始化参数wtorch.randn(2,requires_gradTrue)# 随机初始化权重并开启梯度追踪btorch.randn(1,requires_gradTrue)# 随机初始化偏置并开启梯度追踪步骤2构建计算图# 假设X为输入特征Y_true为真实标签Y_predtorch.matmul(X,w)b# 线性预测losstorch.mean((Y_true-Y_pred)**2)# 均方误差损失步骤3反向传播计算梯度loss.backward()# 从loss开始反向传播计算梯度# 此时w.grad和b.grad中存储了对应的梯度值步骤4参数更新梯度下降learning_rate0.01withtorch.no_grad():# 关闭梯度追踪以节省内存w-w.grad*learning_rate b-b.grad*learning_rate# 清零梯度重要否则梯度会累积w.grad.zero_()b.grad.zero_()关键注意事项计算图创建每次前向传播会创建新的计算图因此loss应在训练循环内部定义参数继承模型参数w,b应在训练循环外初始化在循环内更新梯度清零每次参数更新后必须清零梯度否则会累积上一轮的梯度内存优化使用in-place操作如w - ...减少内存消耗