作为一个深度学习的学习者，你是不是苦于自己看了非常多的理论却难以下手实践？是否总觉得自己还没到写代码的时候？如果你这么想，那么你看再多的理论，也无法真正踏进深度学习的大门。就我个人而言，很多时候即使读完了论文仍然有点懵，很多地方感觉都一知半解，还有些地方可能直接就是不太明白。此时，如果能有源码看一看，才能真正将这篇文章搞明白。so, “talk is cheap, show me the code

这篇文章来自官网中文教程。我稍稍作了总结，并把代码中稍微不好理解的地方做了详细的注释。 PyTorch提供了许多工具来简化和进行数据加载，使代码更具可读性。这一节就主要介绍pytorch中是如何进行数据的加载和处理的。 先安装2个包： scikit-image：用于图像的IO和变换 pandas：用于更容易地进行csv解析 在pytorch中进行数据加载，主要的步骤是： 将下好的数据集放在本

引子最近在一边写一个web qa的问答模型一边刷leetcode，前者踩坑太多耗费了超出我预期的时间(还是攻城能力欠缺啊- -)，于是文章也有一段时间没更新了。这期间抽空回顾和学习了目前工业界推荐系统常用的架构和算法，也亲自用代码实现了其中的部分算法，但总体还是停留在纸上谈兵的阶段。虽然这篇文章我脸很厚的用了“概览”这个词，但我们都知道真实的工程落地远比纯粹的算法来得复杂，除了对应实际问题的难度，

本文参考andrew Ng, Sequence Model, notebook-Trigger word detection. 概念当你对苹果手机叫出”hey siri”，或对小米手机叫出”小爱同学”时，手机助手会立刻出现，这就是触发词识别系统，是一种识别音频并且在接收到某个触发词的时候激活的程序。不同于一般的语音识别需要大量的数据(超过10W小时)来训练，触发词系统的训练相对简单很多。 当你完

深度学习中的优化器有很多种，除了我们熟悉的梯度下降外，还有一些诸如 RMSProp，adam 等优秀的优化器。来了解一波~ 梯度下降 GD,BGD,MBGD梯度下降（GD：gradient descent）大家都很熟悉，这里也不做详细介绍。整体就是先初始化求解参数，然后通过求解损失函数对求解参数的导数来对我们的求解参数进行更新，直到收敛。 梯度下降分为BGD（batch：批量梯度下降），SGD（

BERT，全名 Bidirectional Encoder Representation from Transformers。是Google AI团队在2018年推出的一个NLP模型，在机器阅读理解顶级水平测试SQuAD1.1上全面超越人类表现，并在11项NLP测试中拿到最佳成绩。这也导致BERT的大火。 BERT的出现彻底改变了pre-train产生词向量和下游NLP训练任务间的关系。 //to

Transformer来自Google 2017年的一篇文章，在原来的Attention&RNN模型上抛弃了RNN，用全attention的结构取得了更好的效果。这里做一做自己学习的笔记，也算一个简单的介绍。内容图片很多来自于原论文Attention Is All You Need和The Illustrated Transformer这篇文章。 结构原论文给出的结构如下： 可以看到由左

下述的大多数方法来自 FaceNet,也叫做DeepFace. 脸部识别一般来说，脸部识别问题可以分为两类： 脸部验证(Face Verification)：”这是某个人吗？” 通过提供的输入的数据来识别是否是某个确定的人。比如机场系统扫描你的护照来确认你是否是正确的持有人，比如移动手机通过识别你的脸部确认你是拥有者从而解锁。总的来说，这是一个1对1匹配的问题。 脸部识别(Face Recogn

概述传统的神经网络的全连接层(full connected)在遭遇较大的输入数据时，需要训练的参数将会非常多。举个例子，一张1000×1000的图片，作flatten处理后就有了1000×1000×3的输入维度，如果第二层的隐藏单元数是1000，参数W的维度就是3000000×1000。参数过多，就意味着训练难度变高。在这种情况下，卷积神经网络就诞生了。 什么是卷积我们先来看一下最基础的一点：什么