SFTP 连接远程网址

sftp username@remote_url # input password cd # to a directory ls # list the files in that dir put filename # upload "filename" in local to remote server # or put path/your_file # the path of your local file

在 Ubuntu 安装 Easyconnect

0.1 Download .deb File Downloading address: https://software.openkylin.top/openkylin/yangtze/pool/all/, search for easyconnect on that page and download easyconnect_7.6.7.3.0_amd64.deb. 0.2 Install sudo dpkg --install easyconnect_7.6.7.3.0_amd64.deb 0.3 Problems 0.3.1 Error Info We can sign in successfully the first time we installed it. But the connection will be failure once we quitted or restarted our computer. Error info: the verison is not match with the server, please upgrade… 0.3.2 Solving Methods 0.3.2.1 Method 1 Delete /usr/share/sangfor/EasyConnect/resources/conf/pkg_version.xml

与 R2、相关系数 相关的量化问题

与 R2 相关的量化问题

与假设相关的量化问题

符号

线性回归与统计量

见 English

线性回归

请转至 English 版。

与概念相关的量化问题

与系数相关的量化问题

第四章 多层感知机

多层感知机 是最简单的深度网络，由多层神经元组成，每一层与它的上一层相连，从中接收输入；同时每一层也与它的下一层相连，影响当前层的神经元。本章还涉及许多基本的概念介绍，包括过拟合、欠拟合、模型选择、数值稳定性、参数初始化以及权重衰减和暂退法等正则化技术。 1. 多层感知机 1.1 简介 在第三章中涉及了线性回归和 softmax 回归，并在线性的背景下使用 Pytorch 进行了简单实现，这两个简单的回归基于第三章中介绍的 仿射变换，即一个带有偏置项的线性变换，但是，在实际生活中，线性 是一个非常强的假设。 我们或许有理由说一个人的年收入与其贷款是否违约具有负向线性相关性，但对于第三章章讨论的图像分类问题，就很难认为某个像素点的强度与其类别之间的关系仍是线性的。因此，我们选择构建一个深度神经网络，通过 隐藏层 的计算为我们的数据构建一种 表示，这种表示可以考虑特征之间的交互作用，在表示上，我们再建立一个线性模型用于预测可能是合适的。 通过在网络中加入一个或多个隐藏层，配合激活函数，我们便可以克服线性模型的限制，使其能处理更普遍的函数关系。最简单的方式就是将许多全连接层堆叠在一起，每一层都输出到其上面的层，直到生成最后的输出。我们可以把前 $L-1$ 层看作表示，最后一层看作线性预测器。这种架构通常称为 多层感知机 (multilayer perceptron)，通常缩写为 MLP。一般多层感知机的架构如下图所示： 这个多层感知机有 4 个输入，3 个输出，其隐藏层包含 5 个隐藏单元。输入层不涉及任何计算，因此，这个多层感知机中的层数为 2。由于隐藏层和输出层都是全连接的，每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。 以 $\bold{X}\in\mathbb{R}^{n\times d}$ 来表示 $n$ 个样本的小批量，其中每个样本具有 $d$ 个输入特征。对于具有 $h$ 个隐藏单元的单隐藏层多层感知机，用 $\bold{H}\in\mathbb{R}^{n\times h}$ 表示隐藏层的输出，称为 隐藏表示 (hidden representations)，隐藏层变量 (hidden-layer variable) 或 隐藏变量 (hidden variable)。对于全连接的隐藏层和输出层，有隐藏层权重 $\bold{W}^{(1)}\in\mathbb{R}^{d\times h}$ 和隐藏层偏置 $\bold{b}^{(1)}\in\mathbb{R}^{1\times h}$ 以及输出层权重 $\bold{W}^{(2)}\in\mathbb{R}^{h\times q}$ 和输出层偏置 $\bold{b}^{(2)}\in\mathbb{R}^{1\times 1}$。由此便可以计算单隐藏层多层感知机的输出： $$ \begin{align*} \bold{H} &= \bold{XW}^{(1)} + \bold{b}^{(1)} \cr \bold{O} &= \bold{HW}^{(2)} + \bold{b}^{(2)} \cr \end{align*} $$

第三章 线性神经网络

1. 线性回归 1.1 线性回归的基本元素 1.1.1 线性模型 线性回归，假设自变量 $\bold{x}$ 和因变量 $y$ 之间为线性关系，其中可能包含噪声，但噪声是比较正常的，如噪声服从正态分布。 给定一个样本 $\bold{x}\in\mathbb{R}^{d}$，即具有 $d$ 个特征，将所有系数记为 $\bold{w}\in\mathbb{R}^{d}$，线性回归的基本形式为： $$ \hat{y} = \bold{w}^{T}\bold{x} + b $$ 矩阵形式下，$\bold{X}\in\mathbb{R}^{n\times d}$ 为所有样本的特征，此时线性回归表示为： $$ \hat{\bold{y}} = \bold{Xw} + b $$ 给定训练数据集 $\bold{X}$ 和对应标签 $\bold{y}$，线性回归的目标就是找到一组权重向量 $\bold{w}$ 和偏置 $b$，使得所有样本的预测误差尽可能小。 1.1.2 损失函数 损失函数，用以度量上面提到的 “预测误差”，通常选择一个非负数作为损失，且该损失越小越好。回归问题中，最常用的损失函数为 平方误差，当样本 $i$ 的预测值为 $\hat{y}^{(i)}$，相应真实标签为 $y^{(i)}$ 时，平方误差定义为： $$ l^{(i)}(\bold{w}, b) = \frac{1}{2}\left(\hat{y}^{(i)} - y^{(i)} \right)^{2} $$ $\frac{1}{2}$ 是为了损失函数求导时常数系数为 1,不会有本质差别。 那么，为了度量模型在整个训练集上的表现，就需要计算在整个训练集 $n$ 个样本上的损失均值 (等价于求和)： $$ L(\bold{w}, b) = \frac{1}{n}\sum_{i=1}^{n}l^{(i)}(\bold{w},b) = \frac{1}{n}\sum_{i=1}^{n}\frac{1}{2}\left(\bold{w}^{T}\bold{x}^{(i)} + b - y^{(i)} \right)^{2} $$