• AI技术内参-042如何评测搜索系统的在线表现？
  042 如何评测搜索系统的在线表现？ 我在本周前面的两篇文章中为你讲解了基于“二元相关”和基于“多程度相关”原理的线下评测指标。利用这些指标，研发人员在半个世纪的时间里开发了一代又一代的搜索系统，这些指标和系统也都在不断演化。 虽然我们这周讲过的这些指标都很有指导意义，但大多数指标被提出来的时候都是基于线下的静态数据集，并不是真正去检测用户和系统的互动（虽然后期也有研发人员直接使用这些评测...
  2015-01-01 15:20:27 | AI技术内参
• AI技术内参-041搜索系统评测，有哪些高级指标？
  041 搜索系统评测，有哪些高级指标？ 周一我们介绍了基于“二元相关”原理的线下评测指标。可以说，从1950年开始，这种方法就主导了文档检索系统的研发工作。然而，“二元相关”原理从根本上不支持排序的评测，这就成了开发更加准确排序算法的一道障碍。于是，研究人员就开发出了基于“多程度相关”原理的评测标准。今天我就重点来介绍一下这方面的内容。 基于多程度相关原理的评测 从“二元相关”出发，自然...
  2015-01-01 15:20:27 | AI技术内参
• AI技术内参-040搜索系统评测，有哪些基础指标？
  040 搜索系统评测，有哪些基础指标？ 我在之前几周的专栏文章里主要讲解了最经典的信息检索（Information Retrieval）技术和基于机器学习的排序学习算法（Learning to Rank），以及如何对查询关键字（Query）进行理解，包括查询关键字分类、查询关键字解析以及查询关键字扩展。这些经典的技术是2000年后开始流行的各类搜索引擎的核心技术。 在进一步介绍更多的搜索引...
  2015-01-01 15:20:27 | AI技术内参
• AI技术内参-039查询关键字理解三部曲之扩展
  039 查询关键字理解三部曲之扩展 我们在本周的前两篇文章中分别介绍了查询关键字分类（Query Classification）和查询关键字解析（Query Parsing）的基本概念和思想。今天，我来讲一个稍微有一些不同的查询关键字理解模块：查询关键字扩展（Query Expansion）。 查询关键字扩展想要解决的问题和分类以及解析略微不同。其主要目的不仅仅是希望能够对用户输入的关键字...
  2015-01-01 15:20:27 | AI技术内参
• AI技术内参-038查询关键字理解三部曲之解析
  038 查询关键字理解三部曲之解析 这周我分享的核心内容是查询关键字理解（Query Understanding）。周一介绍了查询关键字分类（Query Classification）的基本概念和思想。今天，我来讲一个更加精细的查询关键字理解模块：查询关键字解析（Parsing）。 如果说查询关键字分类是对查询关键字的宏观把握，那么，对查询关键字的解析就是微观分析。其实，查询关键字解析是一...
  2015-01-01 15:20:27 | AI技术内参
• AI技术内参-037查询关键字理解三部曲之分类
  037 查询关键字理解三部曲之分类 我们在前两周的专栏里主要讲解了最经典的信息检索（Information Retrieval）技术和基于机器学习的排序算法（Learning to Rank）。 经典的信息检索技术为2000年之前的搜索引擎提供了基本的算法支持。从中衍生出的TF-IDF、BM25还有语言模型（Language Model）以及这些方法的各类变种都还在很多领域（不限文本）里继...
  2015-01-01 15:20:27 | AI技术内参
• AI技术内参-036机器学习排序算法：列表法排序学习
  036 机器学习排序算法：列表法排序学习 本周我们已经分别讨论了最基本的单点法排序学习（Pointwise Learning to Rank）和配对法排序学习（Pairwise Learning to Rank）两种思路。单点法排序学习思路简单实用，目的就是把经典的信息检索问题转化成机器学习问题。配对法排序学习则是把排序的问题转化成针对某个查询关键字每两个文档之间的相对相关性的建模问题。不过...
  2015-01-01 15:20:27 | AI技术内参
• AI技术内参-035机器学习排序算法：配对法排序学习
  035 机器学习排序算法：配对法排序学习 周一的文章里我分享了最基本的单点法排序学习（Pointwise Learning to Rank）。这个思路简单实用，是把经典的信息检索问题转化为机器学习问题的第一个关键步骤。简单回顾一下，我们介绍了在测试集里使用NDCG（Normalized Discounted Cumulative Gain），在某个K的位置评价“精度”（Precision）和...
  2015-01-01 15:20:27 | AI技术内参