1、统 一 调 度 下 互 相 配 合 达 到 优 化 的 计 算 效 率。 此 外 在 矩 阵 计 算 单 元 和 向 量 计 算 单 元 内 部 还 提 供 了 不 同 精 度、 不 同 类 型 的 计 算 模 式。 AICo r e 中 的 矩 阵 计 算 单 元 目 前 可 以 支 持 INT8 和 FP16 的 计 算;向 量 计 算 单 元 目 前 可 以 支 持 FP16 和 FP32 以 及 多 种 整 型 数 的 计 算。 为 了 配 合 AICo r e 中 数 据 的 传 输 和 搬 运, 围 绕 着 三 种 计 算 资 源 还 分 布 式 地 设 置 了 一 系 列 的 片
2、 上 缓 冲 区, 比 如 用 来 放 置 整 体 图 像 特 征 数 据、 网 络 参 数 以 及 中 间 结 果 的 输 入 缓 冲 区( I npu tBu f f e r , IB ) 和 输 出 缓 冲 区( Ou t pu tBu f f e r , OB ), 以 及 提 供 一 些 临 时 变 量 的 高 速 寄 存 器 单 元, 这 些 寄 存 器 单 元 位 于 各 个 计 算 单 元 中。 这 些 存 储 资 源 的 设 计 架 构 和 组 织 方 式 不 尽 相 同, 但 目 的 都 是 为 了 更 好 地 适 应 不 同 计 算 模 式 下 格 式、 精 度 和 数
3、据 排 布 的 需 求。 这 些 存 储 资 源 和 相 关 联 的 计 算 资 源 相 连, 或 者 和 总 线 接 口 单 元( Bus昇 腾 A I 处 理 器 架 构 与 编 程 深 入 理 解 C A N N 技 术 原 理 及 应 用 074 图 3 - 2 AICo r e 架 构 图 I n t e r f a c eUn i t , BIU ) 相 连, 从 而 可 以 获 得 外 部 总 线 上 的 数 据。 在 AICo r e 中, 输 入 缓 冲 区 之 后 设 置 了 一 个 存 储 转 换 单 元( Memo r yTr ans f e rUn i t , MTE
4、 )。 这 是 达 芬 奇 架 构 的 特 色 之 一, 主 要 的 目 的 是 为 了 以 极 高 的 效 率 实 现 数 据 格 式 的 转 换。 比 如 前 面 提 到 GPU 要 通 过 矩 阵 计 算 来 实 现 卷 积, 首 先 要 通 过 Img2Co l 的 方 法 把 输 入 的 网 络 和 特 征 数 据 重 新 以 一 定 的 格 式 排 列 起 来。 这 一 步 在 GPU 中 是 通 过 软 件 来 实 现 的, 效 率 比 较 低 下。 达 芬 奇 架 构 采 用 了 一 个 专 用 的 存 储 转 换 单 元 来 完 成 这 一 过 程, 将 这 一 步 完 全
5、固 化 在 硬 件 电 路 中, 可 以 在 很 短 的 时 间 之 内 完 成 整 个 转 置 过 程。 由 于 类 似 转 置 的 计 算 在 深 度 神 经 网 络 中 出 现 得 极 为 频 繁, 这 种 定 制 化 电 路 模 块 的 设 计 可 以 提 升 AICo r e 的 执 行 效 率, 从 而 能 够 实 现 不 间 断 的 卷 积 计 算。 AICo r e 中 的 控 制 单 元 主 要 包 括 系 统 控 制 模 块、 标 量 指 令 处 理 队 列、 指 令 发 射 模 块、 矩 阵 运 算 队 列、 向 量 运 算 队 列、 存 储 转 换 队 列 和 事 件
6、同 步 模 块。 系 统 控 制 模 块 负 责 指 挥 和 协 调 AICo r e 的 整 体 运 行 模 式、 配 置 参 数 和 实 现 功 耗 控 制 等。 标 量 指 令 处 理 队 列 主 要 实 现 控 制 指 令 的 译 码。 当 指 令 被 译 码 并 通 过 指 令 发 射 模 块 顺 次 发 射 出 去 后, 根 据 指 令 的 不 同 类 型, 指 令 将 会 分 别 发 送 到 矩 阵 运 算 队 列、 向 量 运 算 队 列 和 存 储 转 换 队 列。 三 个 队 列 中 的 指 令 依 据 先 进 先 出 的 方 式 分 别 输 出 到 矩 阵 计 算 单 元
7、、 向 量 计 算 单 元第 3 章 硬 件 架 构 075 和 存 储 转 换 单 元 进 行 相 应 的 计 算。 不 同 的 指 令 阵 列 和 计 算 资 源 构 成 了 独 立 的 流 水 线, 可 以 并 行 执 行 以 提 高 指 令 执 行 效 率。 如 果 指 令 执 行 过 程 中 出 现 依 赖 关 系 或 者 有 强 制 的 时 间 先 后 顺 序 要 求, 则 可 以 通 过 事 件 同 步 模 块 来 调 整 和 维 护 指 令 的 执 行 顺 序。 事 件 同 步 模 块 完 全 由 软 件 控 制, 在 软 件 编 写 的 过 程 中 可 以 通 过 插 入 同
8、 步 符 的 方 式 来 指 定 每 一 条 流 水 线 的 执 行 时 序 从 而 达 到 调 整 指 令 执 行 顺 序 的 目 的。 在 AICo r e 中, 存 储 单 元 为 各 个 计 算 单 元 提 供 被 转 置 过 并 符 合 要 求 的 数 据, 计 算 单 元 返 回 运 算 的 结 果 给 存 储 单 元, 控 制 单 元 为 计 算 单 元 和 存 储 单 元 提 供 指 令 控 制, 三 者 相 互 协 调 合 作 完 成 计 算 任 务。 3 . 2 . 1 计 算 单 元 计 算 单 元 是 AICo r e 中 提 供 强 大 算 力 的 核 心 单 元,
9、相 当 于 AICo r e 的 主 力 军。 AICo r e 计 算 单 元 主 要 包 含 矩 阵 计 算 单 元、 向 量 计 算 单 元、 标 量 计 算 单 元 和 累 加 器, 如 图 3 - 3 中 的 加 粗 部 分 所 示。 矩 阵 计 算 单 元 和 累 加 器 主 要 完 成 与 矩 阵 相 关 的 运 算, 向 量 计 算 单 元 负 责 执 行 向 量 运 算, 标 量 计 算 单 元 主 要 负 责 各 类 型 的 标 量 数 据 运 算 和 程 序 的 流 程 控 制。 图 3 - 3 计 算 单 元昇 腾 A I 处 理 器 架 构 与 编 程 深 入 理 解
10、 C A N N 技 术 原 理 及 应 用 076 1 .矩 阵 计 算 单 元 1 )矩 阵 乘 法 由 于 常 见 的 深 度 神 经 网 络 算 法 中 大 量 的 使 用 了 矩 阵 计 算, 达 芬 奇 架 构 中 特 意 对 矩 阵 计 算 进 行 了 深 度 的 优 化 并 定 制 了 相 应 的 矩 阵 计 算 单 元 来 支 持 高 吞 吐 量 的 矩 阵 处 理。 图 3 - 4 表 示 一 个 矩 阵 A 和 另 一 个 矩 阵 B 之 间 的 乘 法 运 算 C= A B , 其 中 M 表 示 矩 阵 A 的 行 数, K 表 示 矩 阵 A 的 列 数 以 及 矩
11、 阵 B 的 行 数, N 表 示 矩 阵 B 的 列 数。 图 3 - 4 矩 阵 乘 法 示 意 图 在 传 统 CPU 中 计 算 矩 阵 乘 法 的 典 型 代 码 如 代 码 3 - 1 所 示。forintm=0 m M m + +forintn=0 n N n + +forintk=0 k K k + +C m n +=A m k *B k n 代 码 3 - 1 C P U 计 算 矩 阵 乘 法 该 程 序 需 要 用 到 3 个 循 环 进 行 一 次 完 整 的 矩 阵 相 乘 计 算, 如 果 在 一 个 单 发 射 的 CPU 上 执 行 至 少 需 要 M K N
12、个 时 钟 周 期 才 能 完 成, 当 矩 阵 非 常 庞 大 时 执 行 过 程 极 为 耗 时。 在 CPU 计 算 过 程 中, 矩 阵 A 是 按 照 行 的 方 式 进 行 扫 描, 矩 阵 B 以 列 的 方 式 进 行 扫 描。 考 虑 到 典 型 的 矩 阵 存 储 方 式, 无 论 矩 阵 A 还 是 矩 阵 B 都 会 按 照 行 的 方 式 进 行 存 放, 也 就 是 所 谓 的 Row-Ma j o r 的 方 式。 而 内 存 读 取 的 方 式 是 具 有 极 强 的 数 据 局 部 性 特 征 的, 也 就 是 说, 当 读 取 内 存 中 某 个 数 时 会
13、 打 开 内 存 中 相 应 的 一 整 行 并 且 把 同 一 行 中 所 有 的 数 都 读 取 出 来。 这 种 内 存 的 读 取 方 式 对 矩 阵 A 是 非 常 高 效 的, 但 是 对 于 矩 阵 B 的 读 取 却 显 得 非 常 不 友 好, 因 为 代 码 中 矩 阵 B 是 需 要 一 列 一 列 读 取 的。 为 此 需 要 将 矩 阵 B 的 存 储 方 式 转 成 按 列 存 储, 也 就 是 所 谓 的 Co l umn -Ma j o r , 如 图 3 - 5 所 示, 这 样 才 能 够 符 合 内 存 读 取 的 高 效 率 模 式。 因 此, 在 矩 阵 计 算 中 往 往 通 过 改 变 某 个 矩 阵 的 存 储 方 式 来 提 升 矩 阵 计 算 的 效 率。 一 般 在 矩 阵 较 大
