1、个 卷 积 层 的 数 学 逆 过 程 。一 个 转 置 的 卷 积 在 某 种 程 度 上 是 相 似 的 ， 因 为 它 产 生 的 相 同 的 空 间 分 辨 率 是 一 个 假 设 的 反卷 积 层 。 然 而 ， 在 值 上 执 行 的 实 际 数 学 操 作 是 不 同 的 。 一 个 转 置 的 卷 积 层 执 行 一 个 常 规 的 卷 积 ，但 是 它 会 恢 复 它 的 空 间 变 换 （ spatialtransformation） 。在 这 一 点 上 ， 你 应 该 非 常 困 惑 ， 让 我 们 来 看 一 个 具 体 的 例 子 ：5 5的 图 像 被 馈 送 到
2、 一 个 卷 积 层 。 步 长 设 置 为 2， 无 边 界 填 充 ， 而 卷 积 核 是 3 3。 结 果 得到 了 2 2的 图 像 。如 果 我 们 想 要 逆 转 这 个 过 程 ， 我 们 需 要 反 向 的 数 学 运 算 ， 以 便 从 我 们 输 入 的 每 个 像 素 中 生成 9个 值 。 然 后 ， 我 们 将 步 长 设 置 为 2来 遍 历 输 出 图 像 。 这 就 是 一 个 反 卷 积 过 程 。卷 积 核 大 小 为 3 3、 步 长 为 2并 且 无 边 界 填 充 的 二 维 卷 积一 个 转 置 的 卷 积 并 不 会 这 样 做 。 唯 一 的 共
3、 同 点 是 ， 它 保 证 输 出 将 是 一 个 55的 图 像 ， 同 时仍 然 执 行 正 常 的 卷 积 运 算 。 为 了 实 现 这 一 点 ， 我 们 需 要 在 输 入 上 执 行 一 些 奇 特 的 填 充 。正 如 你 现 在 所 能 想 象 的 ， 这 一 步 不 会 逆 转 上 面 的 过 程 。 至 少 不 考 虑 数 值 。它 仅 仅 是 重 新 构 造 了 之 前 的 空 间 分 辨 率 并 进 行 了 卷 积 运 算 。 这 可 能 不 是 数 学 上 的 逆 过 程 ，但 是 对 于 编 码 -解 码 器 （ Encoder-Decoder） 架 构 来 说
4、 ， 这 仍 然 是 非 常 有 用 的 。 这 样 我 们 就 可 以177把 图 像 的 尺 度 上 推 （ upscaling） 和 卷 积 结 合 起 来 ， 而 不 是 做 两 个 分 离 的 过 程 。果 我 们 想 反 转 这 个 过 程 ， 我 们 需 要 反 数 学 运 算 ， 以 便 从 我 们 输 入 的 每 个 像 素 中 生 成 9个 值 。之 后 ， 我 们 以 2步 幅 的 设 置 来 遍 历 输 出 图 像 。 这 将 是 一 个 反 卷 积 。转 置 的 二 维 卷 积 无 padding， 步 幅 2和 内 核 35.3.4 可 分 离 卷 积在 一 个 可
5、 分 离 卷 积 中 ， 我 们 可 以 将 内 核 操 作 拆 分 成 多 个 步 骤 。 我 们 用 y=conv（ x， k） 表示 卷 积 ， 其 中 y是 输 出 图 像 ， x是 输 入 图 像 ， k 是 内 核 。 这 一 步 很 简 单 。 接 下 来 ， 我 们 假 设 k可 以 由 下 面 这 个 等 式 计 算 得 出 ： k=k1.dot（ k2） 。 这 将 使 它 成 为 一 个 可 分 离 的 卷 积 ， 因 为 我 们可 以 通 过 对 k1和 k2做 2个 一 维 卷 积 来 取 得 相 同 的 结 果 ， 而 不 是 用 k做 二 维 卷 积 。Sobel
6、 X和 Y滤 镜我 们 以 通 常 用 于 图 像 处 理 的 Sobel 内 核 为 例 。 你 可 以 通 过 乘 以 向 量 1， 0， -1和 1,2,1.T获 得 相 同 的 内 核 。 在 执 行 相 同 的 操 作 时 ， 你 只 需 要 6个 而 不 是 9个 参 数 。178上 面 的 示 例 显 示 了 所 谓 的 空 间 可 分 离 卷 积 ， 据 我 所 知 ， 这 并 不 是 在 深 度 学 习 中 使 用 的 。 我只 是 想 确 保 在 他 人 费 劲 地 操 作 时 ， 你 不 会 受 到 如 此 困 惑 。 在 神 经 网 络 中 ， 我 们 通 常 使 用
7、的 是 一种 叫 做 深 度 可 分 离 卷 积 的 神 经 网 络 。5.3图解12种不同类型的2D卷积？http:/ 无 padding 无 步 幅02 随 机 padding 无 步 幅17903 半 padding 无 步 幅04 全 padding 无 步 幅05 无 padding 无 步 幅 转 置06 随 机 padding 无 步 幅 转 置07 半 padding 无 步 幅 转 置濙濙D-2076, against multiple myeloma. Br J Haematol. 2010 Aug;150(3):313-25. Int J Gynecol Cancer.
8、2017 Oct;27(8):1666-1674.www.MedChemE2Caution: Product has not been fully validated for medical applications. For research use only.Tel: 609-228-6898 Fax: 609-228-5909 E-mail: techMedChemEAddress: 1 Deer Park Dr, Suite Q, Monmouth Junction, NJ 08852, USAwww.MedChemE3.MedChemE2Caution: Product has no
9、t been fully validated for medical applications. For research use only.Tel: 400-820-3792; 021-58955995 Fax: 021-53700325 E-mail: techMedChemEMaster of Small Molecules 您边的抑制剂师www.MedChemE3/ 小吃饮品店等、 交通卡 / 会员卡充值、 停车、餐厅（单笔消费 300 元以下） 大额支付 餐厅（单笔消费 300 元以上）、超市 / 大卖场、品牌专卖店、百货商 场 / 电器城 缴费 中小额支付 缴生活费（水 / 电 /
10、 煤 / 网）、缴交通违章罚款 大额支付 信用卡还款 金融类 大额支付 股票 / 基金 / 理财产品 电子商户 网上购物 阅读说明 支付场景及额度归类 支付宝在所有评价中均领先微信，其中支持商户多、覆盖银行多以及 适合我的差距最大，而快速成长的、有活力的以及亲密的差距较小。 支付宝 微信 支付便捷 8.44 7.97 转账便捷 8.43 7.84 私密性好 8.03 7.44 安全性高 8.18 7.53 支持商户多 8.37 7.54 覆盖银行多 8.43 7.73 优惠活动多 7.75 7.16 功能多 8.23 7.63 值得信赖的 8.26 7.69 创新的 8.06 7.72 引领潮
11、流的 8.17 7.78 口碑好的 8.31 7.63 适合我的 8.27 7.57 有个性的 7.9 7.55 快速成长的 8.14 7.86 有活力的 8.04 7.74 亲密的 7.95 7.65 支持商户多 8.37 7.54 覆盖银行多 8.43 7.73 适合我的 8.27 7.57 快速成长的 8.14 7.86 有活力的 8.04 7.74 亲密的 7.95 7.65 微信 支付宝 欲了解更多详细信息，请联系 ipsos_ 新闻 News 产品 Product218第 六 章 循 环 神 经 网 络 (RNN)http:/ RNNs和FNNs有什么区别？不 同 于 传 统 的
12、前 馈 神 经 网 络 (FNNs)， RNNs引 入 了 定 向 循 环 ， 能 够 处 理 那 些 输 入 之 间 前 后关 联 的 问 题 。 定 向 循 环 结 构 如 下 图 所 示 ：6.2 RNNs典型特点？RNNs的 目 的 使 用 来 处 理 序 列 数 据 。 在 传 统 的 神 经 网 络 模 型 中 ， 是 从 输 入 层 到 隐 含 层 再 到输 出 层 ， 层 与 层 之 间 是 全 连 接 的 ， 每 层 之 间 的 节 点 是 无 连 接 的 。 但 是 这 种 普 通 的 神 经 网 络 对 于很 多 问 题 却 无 能 无 力 。 例 如 ， 你 要 预 测
13、 句 子 的 下 一 个 单 词 是 什 么 ， 一 般 需 要 用 到 前 面 的 单 词 ，因 为 一 个 句 子 中 前 后 单 词 并 不 是 独 立 的 。RNNs之 所 以 称 为 循 环 神 经 网 路 ， 即 一 个 序 列 当 前 的 输 出 与 前 面 的 输 出 也 有 关 。 具 体 的 表现 形 式 为 网 络 会 对 前 面 的 信 息 进 行 记 忆 并 应 用 于 当 前 输 出 的 计 算 中 ， 即 隐 藏 层 之 间 的 节 点 不 再无 连 接 而 是 有 连 接 的 ， 并 且 隐 藏 层 的 输 入 不 仅 包 括 输 入 层 的 输 出 还 包 括
14、 上 一 时 刻 隐 藏 层 的 输 出 。理 论 上 ， RNNs能 够 对 任 何 长 度 的 序 列 数 据 进 行 处 理 。 但 是 在 实 践 中 ， 为 了 降 低 复 杂 性 往 往 假设 当 前 的 状 态 只 与 前 面 的 几 个 状 态 相 关 ， 下 图 便 是 一 个 典 型 的 RNNs：219输 入 单 元 (Inputunits)： 输 入 集 .,., 110 tt xxxx ，输 出 单 元 (Outputunits)： 输 出 集 .,., 110 tt yyyy ，隐 藏 单 元 (Hiddenunits)： 输 出 集 .,., 110 tt sss
15、s 。图 中 信 息 传 递 特 点 ：1、 有 一 条 单 向 流 动 的 信 息 流 是 从 输 入 单 元 到 达 隐 藏 单 元 ；2、 与 此 同 时 ， 另 一 条 单 向 流 动 的 信 息 流 从 隐 藏 单 元 到 达 输 出 单 元 ；3、 在 某 些 情 况 下 ， RNNs会 打 破 后 者 的 限 制 ， 引 导 信 息 从 输 出 单 元 返 回 隐 藏 单 元 ， 这 些被 称 为 “ BackProjections” ；4、 在 某 些 情 况 下 ， 隐 藏 层 的 输 入 还 包 括 上 一 隐 藏 层 的 状 态 ， 即 隐 藏 层 内 的 节 点 可 以
16、 自 连也 可 以 互 连 。6.3 RNNs能干什么？RNNs已 经 被 在 实 践 中 证 明 对 NLP 是 非 常 成 功 的 。 如 词 向 量 表 达 、 语 句 合 法 性 检 查 、 词性 标 注 等 。 在 RNNs中 ， 目 前 使 用 最 广 泛 最 成 功 的 模 型 便 是 LSTMs(LongShort-TermMemory，220长 短 时 记 忆 模 型 )模 型 ， 该 模 型 通 常 比 vanillaRNNs能 够 更 好 地 对 长 短 时 依 赖 进 行 表 达 ， 该 模型 相 对 于 一 般 的 RNNs， 只 是 在 隐 藏 层 做 了 改 变
17、。6.4 RNNs在NLP中典型应用？（ 1） 语 言 模 型 与 文 本 生 成 (LanguageModelingandGeneratingText)给 一 个 单 词 序 列 ， 需 要 根 据 前 面 的 单 词 预 测 每 一 个 单 词 的 可 能 性 。 语 言 模 型 能 够 一 个 语 句正 确 的 可 能 性 ， 这 是 机 器 翻 译 的 一 部 分 ， 往 往 可 能 性 越 大 ， 语 句 越 正 确 。 另 一 种 应 用 便 是 使 用生 成 模 型 预 测 下 一 个 单 词 的 概 率 ， 从 而 生 成 新 的 文 本 根 据 输 出 概 率 的 采 样 。
18、（ 2） 机 器 翻 译 (MachineTranslation)机 器 翻 译 是 将 一 种 源 语 言 语 句 变 成 意 思 相 同 的 另 一 种 源 语 言 语 句 ， 如 将 英 语 语 句 变 成 同 样意 思 的 中 文 语 句 。 与 语 言 模 型 关 键 的 区 别 在 于 ， 需 要 将 源 语 言 语 句 序 列 输 入 后 ， 才 进 行 输 出 ，即 输 出 第 一 个 单 词 时 ， 便 需 要 从 完 整 的 输 入 序 列 中 进 行 获 取 。（ 3） 语 音 识 别 (SpeechRecognition)语 音 识 别 是 指 给 一 段 声 波 的 声 音 信 号 ， 预 测 该 声 波 对 应 的 某 种 指 定 源 语 言 的 语 句 以 及 该 语句 的 概 率 值 。（ 4） 图 像 描 述 生 成 (GeneratingImageDe
