刘知远等《大数据智能》｜20220627

摘要：现在大数据智能万众瞩目，我们不妨心中默念凛冬将至。

Chapter5・主体模型 智能摘要的利器

解决什么问题

【背景】 互联网的文本数据在不断的增加。

【问题】 如何能够快速地了解和获取一个文本数据集合中主要覆盖的内容，以及如何分析每个文本文档中所包含的主要语义信息。

【本质】对于文本数据集合提供内容摘要、语义抽取和语义表示的功能需求。

什么原理

主题模型提供了一种建模思路、方法和工具，可以从大规模甚至海量文本集合中抽取主题和主题分布，其生成的结果既可以用来对语料集合进行初步的语义分析，也可以作为其他高级语义分析挖掘任务的 “高阶知识”。

通过主题抽取，可以很方便地获得 一个语料集合上的主要语义信息，每个主题可以理解成一个在所有词汇上的权重，通过 选择在一个主题内具有高权重的若干个词汇，就可以形成主题语义信息的可视化，供用户理解。