展开全部

主编推荐语

本书从技术和应用两个维度对Embedding进行了全面的讲解。

内容简介

在内容方面,全书理论与实操兼顾,一方面系统讲解了Embedding的基础、技术、原理、方法和性能优化,一方面详细列举和分析了Embedding在机器学习性能提升、中英文翻译、推荐系统等6个重要场景的应用实践;在写作方式上,秉承复杂问题简单化的原则,尽量避免复杂的数学公式,尽量采用可视化的表达方式,旨在降低本书的学习门槛,让读者能看得完、学得会。

全书一共16章,分为两个部分,第1部分(第1~9章)Embedding理论知识,主要讲解Embedding的基础知识、原理以及如何让Embedding落地的相关技术,如TensorFlow和PyTorch中的Embedding层、CNN算法、RNN算法、迁移学习方法等,重点介绍了Transformer和基于它的GPT、BERT预训练模型及BERT的多种改进版本等。

第二部分(第10~16章)Embedding应用实例,通过6个实例介绍了Embedding及相关技术的实际应用,包括如何使用Embedding提升传统机器学习性,如何把Embedding技术应用到推荐系统中,如何使用Embedding技术提升NLP模型的性能等。

目录

  • 版权信息
  • 前言
  • 第一部分 Embedding基础知识
  • 第1章 万物皆可嵌入
  • 1.1 处理序列问题的一般步骤
  • 1.2 Word Embedding
  • 1.3 Item Embedding
  • 1.4 用Embedding处理分类特征
  • 1.5 Graph Embedding
  • 1.6 Contextual Word Embedding
  • 1.7 使用Word Embedding实现中文自动摘要
  • 1.8 小结
  • 第2章 获取Embedding的方法
  • 2.1 使用PyTorch的Embedding Layer
  • 2.2 使用TensorFlow 2.0的Embedding Layer
  • 2.3 从预训练模型获取Embedding
  • 2.4 小结
  • 第3章 计算机视觉处理
  • 3.1 卷积神经网络
  • 3.2 使用预训练模型
  • 3.3 获取预训练模型
  • 3.4 使用PyTorch实现数据迁移实例
  • 3.5 小结
  • 第4章 文本及序列处理
  • 4.1 循环网络的基本结构
  • 4.2 构建一些特殊模型
  • 4.3 小结
  • 第5章 注意力机制
  • 5.1 注意力机制概述
  • 5.2 带注意力机制的Encoder-Decoder模型
  • 5.3 可视化Transformer
  • 5.4 使用PyTorch实现Transformer
  • 5.5 Transformer-XL
  • 5.6 使用PyTorch构建Transformer-XL
  • 5.7 Reformer
  • 5.8 小结
  • 第6章 从Word Embedding到ELMo
  • 6.1 从word2vec到ELMo
  • 6.2 可视化ELMo原理
  • 6.3 小结
  • 第7章 从ELMo到BERT和GPT
  • 7.1 ELMo的优缺点
  • 7.2 可视化BERT原理
  • 7.3 使用PyTorch实现BERT
  • 7.4 可视化GPT原理
  • 7.5 GPT-3简介
  • 7.6 小结
  • 第8章 BERT的优化方法
  • 8.1 可视化XLNet原理
  • 8.2 ALBERT方法
  • 8.3 ELECTRA方法
  • 8.4 小结
  • 第9章 推荐系统
  • 9.1 推荐系统概述
  • 9.2 协同过滤
  • 9.3 深度学习在推荐系统中的应用
  • 9.4 小结
  • 第二部分 Embedding应用实例
  • 第10章 用Embedding表现分类特征
  • 10.1 项目背景
  • 10.2 TensorFlow 2详细实现
  • 10.3 小结
  • 第11章 用Embedding提升机器学习性能
  • 11.1 项目概述
  • 11.2 使用Embedding提升神经网络性能
  • 11.3 构建XGBoost模型
  • 11.4 使用Embedding数据的XGBoost模型
  • 11.5 可视化Embedding数据
  • 11.6 小结
  • 第12章 用Transformer实现英译中
  • 12.1 TensorFlow 2+实例概述
  • 12.2 预处理数据
  • 12.3 构建Transformer模型
  • 12.4 定义损失函数
  • 12.5 定义优化器
  • 12.6 训练模型
  • 12.7 评估预测模型
  • 12.8 可视化注意力权重
  • 12.9 小结
  • 第13章 Embedding技术在推荐系统中的应用
  • 13.1 Embedding在Airbnb推荐系统中的应用
  • 13.2 Transformer在阿里推荐系统中的应用
  • 13.3 BERT在美团推荐系统中的应用
  • 13.4 小结
  • 第14章 用BERT实现中文语句分类
  • 14.1 背景说明
  • 14.2 可视化BERT注意力权重
  • 14.3 用BERT预训练模型微调下游任务
  • 14.4 训练模型
  • 14.5 测试模型
  • 14.6 小结
  • 第15章 用GPT-2生成文本
  • 15.1 GPT-2概述
  • 15.2 用GPT-2生成新闻
  • 15.3 微调GPT-2生成戏剧文本
  • 15.4 小结
  • 第16章 Embedding技术总结
  • 16.1 Embedding技术回顾
  • 16.2 Embedding技术展望
  • 16.3 小结
  • 附录A 基于GPU的TensorFlow 2+、PyTorch 1+升级安装
  • A.1 环境分析
  • A.2 参考资料
  • A.3 安装的准备工作
  • A.4 升级GPU驱动
  • A.5 安装Python 3.7
  • A.6 安装TensorFlow-GPU 2.0
  • A.7 Jupyter Notebook的配置
  • A.8 安装验证
  • A.9 TensorFlow一般方式处理实例
  • A.10 TensorFlow分布式处理实例
  • A.11 建议使用conda安装TensorFlow
  • A.12 安装PyTorch
  • A.13 修改安装源
  • 附录B 语言模型
展开全部

评分及书评

4.6
5个评分
  • 用户头像
    给这本书评了
    5.0

    这些技术不但强大,而且非常实用。掌握这些技术因而成为当下很多 AI 技术爱好者的迫切愿望。本书就是为实现广大 AI 技术爱好者这个愿望而写的!虽然本书不乏新概念、新内容,但仍采用循序渐进的方法。为了让尽可能多的人掌握这些技术,书中先介绍相关基础知识,如语言模型、迁移学习、注意力机制等,所以无须担心没有基础看不懂本书。

      转发
      评论
      用户头像
      给这本书评了
      4.0
      Embedding相关方法的发展简史

      这本书对于我来说最大的价值在于它以 Embedding 方法发展的历史过程为写作顺序,简要地介绍了从 OneHot 编码 / RNN/LSTM Word2vec ELMo Transformer 及其衍生的 BERTGPT 系列、XLNet 的演变过程。而且它对每个方法在宏观上通俗解释了其革新之处,解决了前辈的什么问题,从而可以增进读者对这些方法的本质与价值判断。我之前零零散散也接触过本书提到的这些方法,也读过原论文,但是由于不了解这些方法发展的历史,也没有宏观上的比较(论文一般都是微观比较为主),因此没有抓住这些方法的本质,理解上也半知半解。这也让我感悟到,理解一个方法、一篇论文,除了要精读论文本身之外,还应该把论文放到学科发展史中来看,只有在宏观上才能把握住精髓,否则容易陷入细节的泥潭中影响理解方法的本质。所以对于这本书,我的阅读思路就是把握方法史的脉络,理解方法的本质,选择性地了解细节,为此我忽略了书中绝大多数的代码(我甚至怀疑这些代码是用来凑页数的)。对于真正想在实际中运用这些方法的人,这些代码也没有什么价值,因为我们需要的是一整个工程文件夹,里面应该有完整的可以运行的代码集,这个很容易获取,Github 一大堆。这也是本书缺点之一,即内容还有精简空间。第一部分还行,穿插着一点代码来讲解经典方法的实现。第二部分则每一章就是一个 Project,我基本上飞速略读了。总的来说,这本书对于想要了解 Embedding 相关的方法的演变发展的人还是有帮助的,尤其是可以增加对近年来很流行的 Transfomer 以及 Pre-trained Language Models 的理解。当然在某些部分还是需要对照着原作论文来阅读的,毕竟本书篇幅有限,不可能道尽所有细节。

        转发
        评论

      出版方

      机械工业出版社有限公司

      机械工业出版社是全国优秀出版社,自1952年成立以来,坚持为科技、为教育服务,以向行业、向学校提供优质、权威的精神产品为宗旨,以“服务社会和人民群众需求,传播社会主义先进文化”为己任,产业结构不断完善,已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸,现已发展为多领域、多学科的大型综合性出版社,涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。