1、阿里技术微信公众号 阿里巴巴机器智能公众号扫一扫二维码图案，关注我吧本书版权归阿里巴巴集团所有，未经授权不得进行转载或其他任何形式的二次传播。2018年伊始，万众期待的人工智能学术会议AAAI 2018在华人春节前一周正式召开，这也标志着全球学术会议新一年的开启。作为一个已举办32届的成熟会议，AAAI 不仅因其理论性与应用性交织的特点被中国计算机学会（CCF）推荐为人工智能A类会议，更凭借高质量的论文录用水准成为国内高校及研究机构乃至全球学者们密切关注的学术会议。AAAI 2018 共收到 3808 篇投递论文，相较往年提升了 47%；而今年的录用论文数共有 938 篇，录用率与上年持平，约
2、为 24.6%。来自中国的论文投递数在今年有了巨大提升，在AAAI 2018上共收到 1242 篇论文投稿，并有 785 篇论文被录用。录用论文现场报告阿里巴巴在AAAI 2018上也收获了11篇录用论文，分别来自iDST、业务平台事业部、阿里妈妈事业部、人工智能实验室、云零售事业部，其中有5位作者受邀在主会做Oral形式报告，另有1位作者携两篇论文在主会以Poster形式做报告。论文内容涉及对抗学习、神经网络、提高轻量网络性能的训练框架、聊天机器人、无监督学习框架、极限低比特神经网络等技术方向。序-FPL：线性时间的约束容忍分类学习算法 1基于注意力机制的用户行为建模框架及其在推荐领域的应用
3、 9极限低比特神经网络：通过 ADMM 算法进行极限压缩 17一种基于词尾预测的提高英俄翻译质量的方法 22火箭发射：一种有效的轻量网络训练框架 30句法敏感的实体表示用于神经网络关系抽取 39一种利用用户搜索日志进行多任务学习的商品标题压缩方法 43基于对抗学习的众包标注用于中文命名实体识别 50CoChat：聊天机器人人机协作框架 55阿里巴巴 AAAI 论文 CoLink：知识图谱实体链接无监督学习框架 74层叠描述：用于图像描述的粗略到精细学习 83目录AAAI 2018 阿里巴巴论文 AAAI 2018 阿里巴巴论文假阳性率约束下的分类学习，在文献中被称为Neyman-Pearson
4、 分类问题。现存的代表性方法主要有代价敏感学习 (Cost-sensitive learning)，拉格朗日交替优化 (Lagragian Method), 排序 - 阈值法 (Ranking-Thresholding) 等。然而，这些方法通常面临一些问题，限制了其在实际中的使用：1. 需要额外的超参数选择过程，难以较好地匹配指定的假阳性率；2. 排序学习或者交替优化的训练复杂度较高，难以大规模扩展；3. 通过代理函数或者罚函数来近似约束条件，可能导致其无法被满足。因此，如何针对现有方法存在的问题，给出新的解决方案，是本文的研究目标。动机：从约束分类到排序学习考虑经验版本的 Neyman-Pe
5、arson 分类问题，其寻找最优的打分函数 f 与阈值b，使得在满足假阳性率约束的前提下，最小化正样本的误分概率 :我们尝试消除该问题中的约束。首先，我们阐述一个关键的结论：经验Ney -man-Pearson 分类与如下的排序学习问题是等价的，即它们有相同的最优解 f 以及最优目标函数值：这里, f(xj-)表示取负样本中第j大的元素。直观上讲，该问题本身是一个pairwise ranking 问题，其将所有的正样本与负样本中第 n 大的元素相比较。从优化AUC的角度，该问题也可看作一个部分AUC优化问题，如图1所示，其尝试最大化假阳性率 附近的曲线下面积。AAAI 2018 阿里巴巴论文
6、AAAI 2018 阿里巴巴论文个直观解释。读者可以验证，（2）与如下的对抗学习问题是等价的：其中 k = n，且换句话说，排序学习问题(2)可以看作是在两个玩家打分函数A与样本分布B间进行的一个min-max游戏。对于A给出的每个f，B尝试从负样本分布的集合中给出一个最坏的分布 p，以最小化 A 的期望收益。该游戏达到纳什均衡 (Nash equilibrium) 时的稳点，也就是我们要求的最优解。-FPL 算法总览如上所述，-FPL 的训练分为两个部分，排序 (scoring) 与阈值 (threshold -ing)。在排序阶段，算法学习一个排序函数，其尝试将正样本排在负样本中得分最高的
7、那部分的“质心”之前。阈值阶段则选取合适的阈值，将学到的排序函数转化为二分类器。排序学习优化算法考虑与 (2) 等价的对抗学习问题 (3)，其对偶问题如下：这个新问题不含任何不可导项，并且目标函数 g 是光滑的 (Smooth)。因此，我们可以使用投影梯度下降算法求解该问题，并利用加速梯度方法(Nesterov)获得最优的收敛率。AAAI 2018 阿里巴巴论文 AAAI 2018 阿里巴巴论文图 2 我们的方法与现存算法 (PTkC) 在求解简化版问题时的性能对比 (log-log 曲线 )阈值选择阈值选择阶段，算法每次将训练集分为两份，一份训练排序函数 , 另一份用来选取阈值。该过程可以进行多次，以充分利用所有样本，最终的阈值则是多轮阈值的平均。该方法结合了out-of-bootstrap与软阈值技术分别控制偏差及方差的优点，也适于并行。理论结果收敛率与时间复杂度 通过结合加速梯度方法与线性时间投影算法，-FPL 可以确保每次迭代的线性时间消耗以及最优的收敛率。图 3 将 -FPL 与一些经典方法进行了对比，可以看到其同时具备最优的训练及验证复杂度。泛化性能保证 我们也从理论上给出了 -FPL 学得模型的泛化误差界，证明了泛化误差以很高的概率被经验误差所上界约束。这给予了我们设法求解排序问题（2）的理论支持。
