Olstussy

区块链介绍区块链是一个由多个参与方共同维护的并且持续增长的分布式数据库，通常也被称作分布式共享账本，可以促进在业务网络中记录交易和跟踪资产的过程。把多笔交易的信息以及表明该区块的信息打包放在一起，经验证后的这个包就是区块。每个区块里保存了上一个区块的hash值，使区块之间产生关系，也就是说的链了。合起来就叫区块链。 区块链的工作原理区块链中的区块根据存储内容可以划为区块头和区块体，区块头主要存储的是上一个区块的哈希值等信息，区块体主要存储的是网络内各节点的交易账本。由此相连的区块形成了区块链的链状的数据结构和存储方式。 区块链的工作原理如下：（１）客户端将发起的交易经数字签名后在网络上广播并等待确认；（２）网络中节点对收到的数据记录信息进行校验，通过校验后数据记录被记录到一个区块中；（３）区块链网络中的接收节点对收到区块实施特定的共识算法，区块通过共识后存储至区块链的同时生成该区块的哈希值并将其存储至下一个区块链中的区块头中。由此不断生成新的区块进而连成区块链。 一、数字货币 二、接触区块链的小故事 三、区块链的起源 四、比特币 比特币与区块链的关系 比特币的作用机制 五、信任 ...

  

1.Distilling the Knowledge in a Neural Network 主要工作（What） “蒸馏”（distillation）：把大网络的知识压缩成小网络的一种方法 “专用模型”（specialist models）：对于一个大网络，可以训练多个专用网络来提升大网络的模型表现 具体做法（How） 蒸馏：先训练好一个大网络，在最后的softmax层使用合适的温度参数T，最后训练得到的概率称为“软目标”。以这个软目标和真实标签作为目标，去训练一个比较小的网络，训练的时候也使用在大模型中确定的温度参数T 专用模型：对于一个已经训练好的大网络，可以训练一系列的专用模型，每个专用模型只训练一部分专用的类以及一个“不属于这些专用类的其它类”，比如专用模型1训练的类包括“显示器”，“鼠标”，“键盘”，…，“其它”；专用模型2训练的类包括“玻璃杯”，“保温杯”，“塑料杯”，“其它“。最后以专用模型和大网络的预测输出作为目标，训练一个最终的网络来拟合这个目标。 意义（Why） 蒸馏把大网络压成小网络，这样就可以先在训练阶段花费大精力训练一个大网络，然后在部署阶段以较小 ...

基础知识： 先验概率和后验概率: 先验概率就是事情发生前的预测概率. 后验概率是一种条件概率，它限定了事件为隐变量取值，而条件为观测结果。一般的条件概率，条件和事件可以是任意的. 贝叶斯公式P(y|x) = ( P(x|y) * P(y) ) / P(x)中,P(y|x)是后验概率,P(x|y)是条件概率,P(y)是先验概率. 判别式模型和生成式模型: 判别式模型直接学习**决策函数f(X)或条件概率分布P(Y|X)**作为预测的模型.往往准确率更高,并且可以简化学习问题.如k近邻法/感知机/决策树/最大熵模型/Logistic回归/线性判别分析(LDA)/支持向量机(SVM)/Boosting/条件随机场算法(CRF)/线性回归/神经网络 生成式模型由数据学习联合概率分布P(X,Y),然后由P(Y|X)=P(X,Y)/P(X)求出条件概率分布作为预测的模型,即生成模型.当存在隐变量时只能用生成方法学习.如混合高斯模型和其他混合模型 ...

斯坦福cs231n第三节课的ppt

斯坦福cs231n二节课的ppt

​ 斯坦福cs231n第一节课后半部分的ppt

​ 斯坦福cs231n第一节课前半部分的ppt

1.数据划分：训练 / 验证 / 测试集1.1 深度学习实践迭代优化实际应用深度学习是一个迭代过程。 在构建一个神经网络的时候，我们需要设置许多超参数，例如神经网络的层数 (#Layers) 、每个隐藏层包含的神经元个数 (#Hidden Units) 、学习速率 (Learning Rates) 、激活函数 (Activation Functions) 的选择等。实际上很难在第一次设置的时候就选择到这些最佳的超参数，而是需要通过不断地迭代更新来获得。 循环迭代过程是如下这样的： 产生想法Idea，选择初始的参数值，构建神经网络模型结构； 通过代码Code实现上述想法； 通过实验Experiment验证这些超参数对应的神经网络的表现性能。 根据验证结果，我们对超参数进行适当的调整优化，再进行下一次的Idea->Code->Experiment循环。通过很多次的循环，不断调整超参数，选定最佳的参数值，从而让神经网络性能最优化。 上述迭代过程中，决定整个训练过程快慢的关键在于单次循环所花费的时间，单次循环越快，训练过程越快。而设置合适的训练集 (T ...