检索技术核心20讲

结束语 | 成长和进化,技术如此,我们亦如此

陈东

数禾科技CTO,前奇虎360商业化资深总监

你好,我是陈东。今天,我们走到了这个专栏的最后一个篇章。

一起学习的五十多个日夜,我们从熟悉的数组和链表开始,学到了搜索引擎、广告引擎以及推荐引擎。这就像一场长途跋涉,一路上景色不停切换,不变的,是我们探索这个信息世界的好奇心。

在我看来,信息是构成世界的一个重要维度。实际上,人类文明的开始,就是以拥有了语言和文字为标志的。因为语言和文字的出现,才使得信息可以被记录和传播,文明得以传承和发展。

而随着IT技术的发展,信息的产生速度也越来越快。有报告说,现在18个月产生的信息比过去5000年产生的信息总量还大。并且,随着互联网的普及和发展,最近每年的信息增长率达到了50%以上。我们可以预见5G普及之后的未来,信息生产的速度只会越来越快。那么,这么多的信息都有用吗?我觉得不见得。当信息变得庞杂了以后,相应地,信息的含金量就变低了。只有高效地将信息进行检索和提炼,才能取出我们需要的信息,这样的信息才是最有价值的。

在专栏中,我们提到的许多系统都为了“如何高效检索信息”这个基础却又终极的问题,做了精心的设计,从而帮助我们高效地处理信息。系统如此,人亦是如此

在信息泛滥的时代,每个人都有大量的渠道可以接触到大量的信息。如果不进行筛选处理,你的CPU根本负荷不过来。比如说,如果你接触的信息都是各种八卦新闻、娱乐视频。那么,你能花在处理专业知识信息上的时间就会变少。甚至在遇到一些虚假信息的时候,如果你不加辨别就接收,这很可能会带来一些负面影响。

所以我们说这是一个最好的时代,这也是一个最坏的时代。好的地方在于,有了足够的信息供我们学习和娱乐;坏的地方在于,对于信息的选择和使用,会变成一个更困难的事情,利用不好,甚至会带来负面影响。因此,我们也要构建起自己思维的检索引擎,学会将有价值的信息提取出来,并加以处理和使用。这样,我们才会不断地前进

那无论是系统还是人,我们的前进都必须是跟随着时代的脚步。如果你研究过某一个技术的发展史,你就会对这一点有更深的体会了。其实,在专栏中就隐藏着一条检索技术发展进化的时间线。下面,我来带你回顾一下。

在人类发明了文字以后,书的目录索引和图书馆的图书分类管理,其实就是检索技术在印刷时代的体现。

随着IT技术的兴起,信息数字化的变革开始催生出了像数据库这样的系统和B+树这些检索技术。

进入互联网时代后,我们开始处理大数据。无论是基于LSM树的存储系统,还是以搜索引擎为代表的检索技术,都是互联网时代的结晶。

到了移动互联网时代,各种基于地理位置的服务不断出现,让我们开始将物理世界和信息世界更紧密地连接在一起。

现在到了AI时代,图像识别、人脸识别和智能推荐的发展,又催生出了和深度学习结合的检索系统。

检索技术越发展,涉及的知识越新,你就会感觉越陌生。实际上这很正常,毕竟新生事物要变得普及需要经过时间的发酵。但我们必须保证,我们的认知是随着时代的前进一起进化的。因为一旦我们放弃去学习、去进化,那我们不可避免地就会错过很多机会,甚至会做错许多决策。

因此,面对新生的事物,我们在保持好奇心的同时,还要去升级自己思维的检索引擎,使得我们的认知能跟得上时代的发展。甚至,如果学习的过程能够快人一步,那我们就会享受到时代更多的红利。

好了,说了这么多自我进化的好处。那不断地升级自己的检索引擎,是不是一件很困难的事情呢?完全重构系统的确是一个代价很大的事情,但是在已有系统上进行迭代升级,相对来说会容易许多。

因为,许多所谓的新技术和新系统,都是在一些基础技术上进行组合和微创新得到的。比如,我在加餐1中提到的Roaring Bitmap。它在2016年才被发明出来,但是它用到的技术,其实就是很成熟的检索系统中的位图法、哈希表法、跳表法以及倒排索引。还有我们说过的向量检索,其实向量这个数学工具也不是新东西了,只是在近期随着AI的发展,才被更广泛地应用起来。

既然新的技术和系统并不难学,那我们到底该怎么学呢?其实,学习和成长就像是爬台阶。高处的目标虽然看上去遥不可及,但只要我们一个台阶一个台阶地往上走,等我们站到了一个足够的高度上再前进就会容易很多。就像让你直接学习AVL树和红黑树会很难,但当你了解了二叉检索树的原理和问题以后,再去学习就会简单很多。因此,当你了解了检索中的各种问题和相应技术以后,再去搭建自己的检索系统,或者学习使用开源的检索工具,也就更容易上手。

也正是因为如此,许多高手在面对新事物的时候,能使用自己思维的检索引擎,快速找到核心点去学习和消化,从而可以更上一层楼。

总结来说,成长和进化从来不是一件容易的事情,但只要你能构建起自己认知的检索思维,不断地从海量的信息中快速汲取新的知识,并且从打好地基做起,构建起自己的知识体系。我相信,迈上一个更高的台阶,是一个完全可以预期的事情。

虽然检索技术专栏结束了,但是我希望这个专栏对你的帮助并没有就此停止。学习之路没有终点,保持探索和进化,才是我们成长的终极密码。

教程推荐

Sed在线教程

MySQL在线教程

Erlang在线教程

Angular7在线教程

Swift5在线教程

JavaScript 区块链编程在线教程

随机推荐

秋田满满婴幼儿调味品是否值得入手?深度评测揭秘剖析?

贝亲奶瓶奶嘴适合入手吗?评测报告分享?

ZMIQB818性价比如何?达人专业评测?

魔幻厨房烘焙模具评测值得入手吗?专业老用户评测?

小东北星厨水饺-馄饨性价比高吗?深度评测揭秘剖析?

法丽兹饼干-膨化分析怎么样?评测分享?