付威 付威的网络博客

一以贯之搭建神经网络的过程

在神经网络中预测识别和预测的过程中,其实都是一个函数的对应关系: 的函数关系,为了找到这个函数的关系,我们需要做大量的训练,具体的过程可以总结下面几个步骤: 获得随机矩阵w1和b1,经过一个激活函数,得到隐藏层。 获得随机矩阵w2和b2,计算出对应的预测y 利用y与样本y_的差距,有平方差和交叉熵等方式,来定义损失函数 ...

Java中的引用类型

在java中对于变量的访问分为3种,分别为强引用,软引用和弱引用 . 在这篇博客中可以认识到三种引用的类型的特点和使用场景。 首先通过一段代码来认识三者的区别: package com.pay.utils; import java.lang.ref.SoftReference; import java.lang.ref.WeakReference; /** * @author li...

ThreadLocal使用

ThreadLocal是一个以当前线程为key,存储变量的map容器,能够解决线程安全问题。 首先我们先看下ThreadLocal的使用: public class ThreadLocalDemo { ThreadLocal<Integer> count = ThreadLocal.withInitial(() -> new Integer(0)); pub...

Idea的主题和设置

从.net转java很多ide的编译期的快捷键不一样,而且idea的代码颜色过于单调,所以就花了点时间研究了下idea的相关的设置,把主题改成了自己看着舒服的模式,如下: 快捷键列表如下: Ctrl+N: 搜索类 Ctrl+1: 折叠当前方法 Ctrl+2: 展开当前方法 Ctrl+F12: 转到类实现 Ctrl+-: 后退 下载地址

Redis中的Incr函数的一个坑

首先看一段代码: String key = "mytestKey"; RedisUtils.set(key, 0, 10); for (int i = 0; i < 60; i++) { String result=RedisUtils.get(key); if(StringUtils.isEmpty(result)){ ...

使用mnist的数据集实现对手写数字识别

感慨下,学了这么久终于有能有点实战的东西了,这篇文章本想写于2019-04-14,可是担心会对学习的进度产生影响,就一直拖后。所以就再今天(2019-04-24)开始去写这篇实战的文章。 目标 写这篇博客的目的就是为了写一个识别手写程序的方案,首先我们准备了mnist(mnist数据集)的数据集,和一张手写的图片 为了测试,增加了一些干扰线: 我们知道,在mnist的数据...

tensorflow的学习笔记--卷积网络

前面说的都是全连接NN的demo,(每个神经元余额前后的相邻的每一个神经元都有链接关系,输入特征,输出为预测结果) 在全连接NN中,一张分辨率为28*28的黑白图像, 有784个数据,如果我们采用了500个样本整个的参数的个数为: 第一层: 784*500+500 第二层: 500*10+10 算下来接近40w个参数,参数过多,容易导致模型过拟合,如果换成高分辨率的彩色图像,问题会...

minst的数据集介绍

MINST数据库是由是一个手写数字的数据集,官方网址:http://yann.lecun.com/exdb/mnist/。 > MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是...

tensorflow的学习笔记--常用方法和代码片段

今天整理下学习的tensorflow的几个常用的方法和代码片段. tf.get_collection("") 从集合中取出全部变量,生成一个列表 tf.add_n([]) 列表内对应元素相加 tf.cast(x,dtype) 把x转为dtype类型 tf.argmax(x,axis) 返回最大值所在索引号,如 tf...

tensorflow的学习笔记--基础总结

这几天终于把tensorflow的基础学完了,虽然还有点云里雾里,但毕竟入门是一件困难的事情。下面把这几次的写的代码整理出来。 generateds.py文件 import numpy as np import matplotlib.pyplot as plt seed=2 def generateds(): # 基于seed产生随机数 rdm=np.rando...

python实现图片加水印

为了防止博客被爬,本站的所有文章的图片都添加水印。前几天刚刚学习完python,拿来练练手,确实有很多不熟悉的类库和代码,权当试试水了。。 #! /usr/bin/python # coding:utf-8 import os from PIL import Image from PIL import ImageDraw from PIL import ImageFont import r...

tensorflow的学习笔记--正则化

正则化缓解过拟合 有时候发现,模型在训练数据集的准确率非常高,但很难预测新的数据,这样我们称为,模型存在了过拟合的现象。 正则化是缓解过拟合一种有效的方法. 正则化在损失函数中引入模型复杂度指标,利用给W加权值,弱化训练数据的噪声(一般不正则化b) ,具体公式如下: 其中,模型中所有参数的损失函数如:交叉熵,均方误差 。 用超参数REGULARIZER给出参数w在总loss中的...

tensorflow的学习笔记--滑动平均

滑动平均 滑动平均,又叫影子值,记录了每个参数一段时间内过往值的平均,增加了模型的泛化性。 针对所有参数:w和b。(像是给参数加了影子,参数变化,影子缓慢追随),具体的计算公式如下: 影子=衰减率*影子+(1-衰减率)* 参数 影子初值=参数初值 衰减率= 例如: MOVING_AVERAGE_DECAY为0.99,参数w1为0,轮数global_step为0,w1的滑动平均值...

tensorflow的学习笔记--学习率

学习率 学习率(learning_rate)是每次参数更新的幅度。 其中时更新后的参数,当前参数,▽是损失函数的梯度(导数) 例如: 损失函数 梯度 例如:参数w初始化为5,学习率为0.2,则: 1次 参数w:5 5-0.2*(2*5+2)=2.6 2次 参数w:2.6 2.6-0.2*(2*2.6+2)=1.16 ...

tensorflow的学习笔记--损失函数

损失函数 在前面几个博客中说了一个学习模型,具体表现如下: 具体的计算公式: 曾经有人提出另一个神经元模型,多了激活函数和偏执项。 具体的计算公式: 其中f是激活函数,b是偏执项。 损失函数(loss):预测值y’和已知答案y的差距 我们的优化目标就是把loss降低为最小。 激活函数 引入激活函数有效的避免仅使用的线性组合,是模型更准确,更具有表达能力。 常用的激...

tensorflow的学习笔记--反向传播

反向传播 训练模型参数,在所有的参数上用梯度下降,是NN模型在训练数据上的损失函数最小。 损失函数(loss): 预测值(y)与已知答案(y’)的差距 均方误差MSE: 使用tensorflow表示: loss=tf.reduce_mean(tf.square(y'-y)) 反向传播训练方法,以减小loss值为优...

作者:付威

技术改变世界

推广信息

付威星球 知识星球
付威公众号 公众号

访客信息

相关友链

推荐博客

如需添加到列表,请邮件到laofu_online@163.com

Other

Hosted by Coding Pages