第153章 你渴望推开那扇门么(上)
第153章你渴望推开那扇门么(上
等等,似乎可以发表论文了!
林灰突然这样想到。
事实上,林灰先前就想过发表论文。
可当时的林灰觉得以一个高中生的身份发表论文或许会有点惊世骇俗,就搁置了这一想法。
但今时不同往日,现在的林灰已经摇身一变成为麻省理工学院计算机科学专业的准大一学生。
有这层身份在,林灰在学术层面把天捅个窟窿似乎也不过分。
麻省理工学院计算机方面很弔么?
当然很弔!
拿世界各地的计算机专业所学的专业课内容来说吧。
几乎一半的内容都跟麻省理工学院计算机专业有着千丝万缕的关系。
现在这个时间节点,麻省理工学院的计算机科学专业更是当之无愧的世界第一。
当然了就跟全国第一的高校有两所一样。
世界第一的计算机专业也有两所高校。
除了麻省理工学院之外另一个是斯坦福大学。
两所学校在计算机方面可以说是平分秋色。
(一般来讲,加州大学伯克利分校计算机也不弱。
不过国人眼中分校一般没啥存在感
尽管如此,麻省理工学院依然是世界范围内入学竞争最大的学府之一。
这样的学府门槛自然是极高的。
在收到麻省理工学院的入学通知后。
在麻省理工学院的官方网站上林灰看到来自麻省理工学院的公示内容:
今年麻省理工学院校方共收到18356个本科、19446个研究生2014-15学年的入学申请。
分别仅录取了1447(%)及2991(%)名申请者。
实际就读的可能更少,毕竟选择是双向的。
虽然有的人能被录取,但是却很任性地不去了。
这么做当然很zhuangbility,不过短时间内林灰还是做不到这份任性的。
也没必要太任性,稳健发育才是硬道理。
此时能够成为1447名幸运儿中间的一位林灰已经很高兴了。
毕竟林灰现在所处的层级已经是不少人一辈子都难以企及的高度了。
就现在这个时间节点而言。
成为麻省理工学院计算机科学专业里的一员确实是林灰的荣幸。
但与此同时,林灰也清楚地知道。
用不了多久他就会成为麻省理工学院的骄傲。
进入麻省理工学院就读对于林灰来说仅仅是个开始,未来的路还有很长。
另外,现在想以后的事情还有点遥远,把握住眼下才是最要紧的。
千里之行始于足下。
短时间内来看,林灰依旧需要一步一个脚印地往前走。
这样或许不能走得很快。
但一定会走得很稳。
林灰也必须走得很稳!
纵然林灰不是涉足politics的,但在背负着跨时空而来这个大秘密的情况下。
林灰所要走的路容不得行差踏错。
而就此时而言,林灰在学术上最稳妥的前行办法就是发表几篇论文。
即便是发表论文也算不上无中生有。
毕竟林灰先前已经搞定了生成式文本摘要的相关专利了。
申请专利之后再发表几篇论文作为先前专利的补充说明也是很符合常理的事情。
不过具体该发哪个细分领域的论文呢?
这是个问题。
原本这不该成为一个问题的。
按照林灰最先前的设想,整个生成式文本摘要作为一个成果能在影响因子比较高的刊物上发一篇论文就不错了。
但林灰万万没想到这个时空里人们在涉及到自然语言处理这方面的研究着实慢半拍。
从先前伊芙·卡莉发给林灰的邮件来看。
虽然这个时空西方学术界对于文本摘要的研究倾注了大量心血。
但这个时空西方对于文本摘要方面的研究进展和前世那个时空的西方对文本摘要的研究情况依旧是有些差别的。
尽管从客观上讲差别不是太大。
但综合衡量的话,这个时空西方世界对文本摘要的研究情况比前世那个时空节奏要慢两年。
(至于~國更是不用说,此时的学术界还是习惯摸着鹰酱过河的。
老实说这种做法不完全算错,可以避免资源浪费。
但总是这样的话太被动了。
想要当老大,就得敢为天下先)
虽然这个时空在相关领域的研究仅仅是节奏上慢了两年时间。
但两年足以改变很多事情了。
更何况,林灰原本就有着七年的信息优势。
此消彼长之下,林灰就相当于有了接近十年的信息优势。
或许有人不解,仅仅只是工作了三年,林灰凭什么能够把信息优势发挥的淋漓尽致。
虽然前世仅仅工作了三年,但林灰说是有六年的工作经验也不过分。
至于多余的三年工作经验哪来的?
这说多了都是泪,加班加出来的。
不得不说,这都是“福报”
这加班多是一件美逝啊。
不是这样的疯狂加班林灰哪有能够重生的机会?
纵然能有重生的机会。
不疯狂加班林灰怎么会对那些枯燥的东西记忆如此深刻呢?
不过这些都是前尘往事了。
因为过往的种种经历,在现在这个时空里,林灰就是当之无愧的强者。
至于同领域的其他研究者,林灰尊重他们的努力。
但不得不说:抱歉,你们真的好弱欸!
并不是林灰在信口开河。
林灰先前搞得那个生成式文本摘要这个算法所涉及到的全部技术。
如果被这个时空下的研究团队彻底吃透。
起码能将这个时空全世界自然语言处理以及神经网络学习方面的研究进展加速近一年的时间。
当然这说的是马上吃透的话,能加速近一年时间。
如果这些研究团队花了两三年才搞定相应的进展,那反而是拖累他们正常的进度了。
抛开生成式文本摘要这个专利不谈。
仅仅是林灰在弄生成式文本摘要时顺手牵羊搞定的那个LH文本摘要准确度衡量模型也够牛掰的了。
如果这项技术能够被这个时空的研究团队所掌握的话,对于他们的研究也是有所助力的。
尽管林灰当初就把如何构建模型表达的已经足够清楚,就差手把手教了。
(构建模型的话首先要运用语言模型来评估算法生成语言的流畅度,然后使用相似度模型评估文本和摘要之间的语义相关性,最后为了有效评估实体、专有词的复现程度,引入原文信息量模型来评估)
但此时的研究人员似乎仍然很好奇林灰是怎么构建这一衡量标准的。
林灰记得先前伊芙·卡莉在他发的邮件中就表达了对于“LH文本摘要准确度衡量模型”究竟是如何构建的困惑。
林灰记得伊芙·卡莉当初除了好奇林灰是怎么搞定语料库这个问题之外。
其困惑主要集中在林灰究竟采用什么方法架构相似度模型的。
当知道世界最顶尖学府附属的研究机构的科研人员居然好奇这事,林灰还是意外的。
林灰踌躇满志地盖了一个“华丽的房子”。
原本以为这个时空人们会好奇林灰是怎么盖出这个房子的。
没想到反倒先被问道盖房子的木头是从哪开采的?
这就是林灰当初收到伊芙·卡莉邮件时的直观感受。
不过如果诚如伊芙·卡莉在邮件里介绍的那般,林灰也能理解伊芙·卡莉为什么困惑。
涉及到相似度模型的架构一般都是通过计算的方式。
通过计算语义文本相似度以衡量这两个文本的语义相似度。
一般来说,语义相似度值越小,两个文本之间的语义差异越大,它们在语义层面的相似度越低;
反之,该值越大,两个文本表达的语义越相似。
或许在人们看来,区分相似文本是很简单的一件事情啊?
这不是随便读一下就能搞定么?
但是要知道区分相似文本不是要人来区分,而是要机器区分相似文本。
涉及到相似度模型的构建确实不是容易的事情,毕竟人类语言表达是极其复杂的。
更遑论大部分专业性比较强的文章里文本中还存在许多同义词、缩略语、特指词和多变的句法结构。
这些都极大地增加了计算文本语义相似度的难度。
但这个问题不解决不行,林灰知道计算文本语义相似度是一个很重要的分支领域。
在信息检索领域,语义文本相似性计算在文本分类、文本聚类和实体消歧等任务中发挥着重要作用;
在人工智能领域,也需要语义文本相似性算法来支持问答系统和智能检索等任务。
此外,语义文本相似性计算也被广泛用于自然语言处理任务中,如抄袭检测、文本总结和机器翻译。
总之,对语义文本相似性算法为代表的相似度模型研究具有重要的应用价值。
如果不解决计算文本语义相似度这个问题的话,跟别提如何更进一步的文本处理了。
抛开让机器区分相似文本这个问题不谈。
仅仅是想要机器识别文本这件事情就极其困难了。
自然语言一般就是说人类能理解的语言,比如看到的文字就是自然语言。
但当我们需要机器或者说计算机处理自然语言时。
机器/计算机却没办法直接理解这些符号(汉字、字母、标点符号等)。
这些符号必须先被数值化,然后才能输入计算机进行后续处理。
仅仅只是数值化之后也用途不大。
必须引入其他的一些内容来反应出词的属性。
就像我们不能从一个普普通通的代号知道这串数字究竟表示的是订阅、收藏还是打赏。
总之,仅仅是一个代号是看不出来每串数字对应的属性的。
这个问题也是计算文本语义相似度的一个研究热门之一。
如何表示数值化的自然语言相对应的属性呢?
研究人员一般做法是将数值化的语言矢量化或者说向量化。
向量相比于标量的话就是带方向的量。
事实上这种研究方向并不算新潮。
林灰记得前世早在1975年,就有研究人员首次提出向量空间模型(VSM),试图利用该模型来处理数值化的自然语言。
林灰通过搜索相关信息,发现这个时空虽然慢了一点,但VSM向量空间模型这个方法在1977年也被提出来了。
所谓的VSM模型听起来或许挺高大上的。
其实没那么复杂。
其主要思想就是假设一个文本的语义只与该文本中的单词有关,而忽略其语序和单词之间的相互关系,然后通过基于词频统计的方法,将文本映射成向量,最后通过向量间的距离计算以表征文本间的相似度。
计算两个向量之间的距离?
这玩意是高中课本上的内容。
估计高考后脑子里知识还没忘记的一般考生都能拿过来利用这个模型算算文本相似度。
不过很多高中生学的时候可能根本不知道他们学的这玩意能做这个。
(ps:……高中学的东西很有用,不要觉得暂时看不到用途就放弃)
当然,也正是由于该模型简单高效。
在该模型提出来之后很长的一段时间里,它都是文本相似度计算领域的主流方法。
但该模型并不是没有缺点。
基于VSM的方法仍然有两点缺陷
一方面当文本量很大时,生成的文本向量是非常稀疏的,这就导致了空间和计算资源的浪费
另一方面VSM为达到简化模型的效果忽略了词语间的关系,但在很多情况下词语之间是存在联系的,因此简单地认为词语间相互独立是不合理的。
这两条缺陷尤其致命。
第一条直接影响处理相似度的效率,第二条直接影响词义相似度判别的准确度。
在这种情况下,VSM模型在使用了一段时间之后,研究人员就将这个模型抛弃了。
现在的人们具体应用什么计算文本相似度林灰也不是很清楚。
不过林灰注意到伊芙·卡莉先前发给他的邮件并没有提到向量有关的内容。
时下的研究人员似乎已经淡忘了向量化。
或许现在再说到利用向量化进行自然语言文本处理似乎是一个很复古的研究方向了。
但实际上向量化这个方向仍然有潜力可以挖掘。
应用分布式词向量完全可以进行文本相似度计算。
不过这个时空的人们不知道也很正常。
林灰记得前世涉及到自然语言处理这方面很多重要成果都是2013年、2014年这两年井喷出来的。
前世涉及到文本相似度模型的架构这方面。
用于计算语义文本相似度的分布式词向量这项技术就是就是在2013年诞生的。
前世正是在分布式词向量问世后,语义文本相似度才取得了突破性的进展。
这个时空节奏上慢了两年,应用分布式词向量计算文本相似度没被提出来也很正常。
一步落后,步步落后。
节奏上慢这两年时间的话,这个时空无疑很多方面都落后了。
这些对于林灰无疑是个好消息。
应用分布式词向量来构建计算文本相似度的方法虽然说起来容易。
但具体阐述起来这个问题其实还是比较复杂的。
因此林灰当初并没有在邮件中回复伊芙·卡莉。
如果这个时空涉及到文本相似度模型架构方面的研究都短腿的话。
那林灰岂不是很有义务援助一下?
看来跨时空之搬运工又要上线了。
当然了这种搬运不是无偿的。
眼下林灰更关心的还是论文。
在相关研究出现方向性偏差的情况下,林灰真要写论文的话岂不是很容易就能发表好几篇?
这样水平的论文林灰写起来很容易。
虽然林灰前世学术生涯上没有走太远,但前前后后发的论文加起来大概有七八篇了。
有几篇论文还是全英文的。
总之发表论文这样的事情,对林灰来说已然是轻车熟路。
这种情况下,林灰感觉他很容易就能把麻省理工学院学士学位所要求的附加分刷满。
尽管如此,林灰还是决定先跟伊芙·卡莉见面沟通一下再弄论文相关的事情。
毕竟林灰不是很清楚西方世界在文本相似度研究的具体进展,万一不小心撞车就尴尬了。
商业上的撞车可以美其名曰是商业竞争。
学术上的撞车可是一辈子的污点。
现在林灰只希望能够快点和伊芙·卡莉见面了。
好在林灰期待的见面没多久就发生了。
林灰在北域域北国际机场见到了“伊芙·卡莉”。
伊芙·卡莉先前怕林灰不相信她的身份,于是在邮件里附上了一堆能够佐证身份的证明。
林灰当初就看到过伊芙·卡莉的照片。
不得不说,伊芙·卡莉的样貌很有辨识度。
一头金色微卷的长发,身高目测一七六左右,身材比例很棒,曲线很S。
尽管以挑剔的眼光来看,林灰觉得此时眼前的“伊芙·卡莉”的身材和样貌似乎也能在90分以上。
最关键的是给人一种很纯真的感觉,给人一种不染纤尘的那种感觉。
呃,这种感觉怎么说呢,反正很有保护欲那种。
不过林灰还没那么不淡定。
女人而已,只会影响他肝论文/敲代码的速度。
“伊芙·卡莉”似乎还没发现林灰。
林灰迎着走了上去,主动用英语打招呼道:“你是伊芙·卡莉么?我就是林灰,欢迎来到中國。”
呃,这几句程度的英文林灰还是能应付的。
不过眼前这人反应明显迟疑了一下。
林灰感到很奇怪,莫非是搞错了?
正在林灰很纠结的时候,突然身后传来的声音。
“你就是LINHUI么?我是伊芙·卡莉,很高兴见到你!”
林灰心想,这下尴尬了。
第一次接人还认错人了。
不过,不应该啊,眼前之人很有辨识度的西方面孔,而且和伊芙·卡莉先前发来的证件照上那女的一模一样啊。
林灰不解地回过头,看向声音来源,又看到了一个“伊芙·卡莉”。
刚才说话的这个也是一头金色微卷的长发,同样身高很高,身材比例很棒,颜值90以上。
身前身后两个人一模一样,就很离谱。
最离谱的是两人身上气质特别像,都是很纯粹的那种。
林灰:Σ(っ°Д°;)っ
什么情况???
莫非是双胞胎不成么?
林灰又回过头看了一眼,发现两人虽然样貌上很相似。
但气质上其实是微微有些区别的。
两个人虽然都是很纯粹的气质。
但一个是天真无瑕那种惹人怜爱那种。
另一个则是书卷气让人敬重那种。
如此相似的一对双胞胎送上门来。
林灰当时就有一个很大胆的想法!
……
……
长得这么像的一对双胞胎姐妹以后在开发人脸识别算法时不用来做测试样本可惜了……
等等,似乎可以发表论文了!
林灰突然这样想到。
事实上,林灰先前就想过发表论文。
可当时的林灰觉得以一个高中生的身份发表论文或许会有点惊世骇俗,就搁置了这一想法。
但今时不同往日,现在的林灰已经摇身一变成为麻省理工学院计算机科学专业的准大一学生。
有这层身份在,林灰在学术层面把天捅个窟窿似乎也不过分。
麻省理工学院计算机方面很弔么?
当然很弔!
拿世界各地的计算机专业所学的专业课内容来说吧。
几乎一半的内容都跟麻省理工学院计算机专业有着千丝万缕的关系。
现在这个时间节点,麻省理工学院的计算机科学专业更是当之无愧的世界第一。
当然了就跟全国第一的高校有两所一样。
世界第一的计算机专业也有两所高校。
除了麻省理工学院之外另一个是斯坦福大学。
两所学校在计算机方面可以说是平分秋色。
(一般来讲,加州大学伯克利分校计算机也不弱。
不过国人眼中分校一般没啥存在感
尽管如此,麻省理工学院依然是世界范围内入学竞争最大的学府之一。
这样的学府门槛自然是极高的。
在收到麻省理工学院的入学通知后。
在麻省理工学院的官方网站上林灰看到来自麻省理工学院的公示内容:
今年麻省理工学院校方共收到18356个本科、19446个研究生2014-15学年的入学申请。
分别仅录取了1447(%)及2991(%)名申请者。
实际就读的可能更少,毕竟选择是双向的。
虽然有的人能被录取,但是却很任性地不去了。
这么做当然很zhuangbility,不过短时间内林灰还是做不到这份任性的。
也没必要太任性,稳健发育才是硬道理。
此时能够成为1447名幸运儿中间的一位林灰已经很高兴了。
毕竟林灰现在所处的层级已经是不少人一辈子都难以企及的高度了。
就现在这个时间节点而言。
成为麻省理工学院计算机科学专业里的一员确实是林灰的荣幸。
但与此同时,林灰也清楚地知道。
用不了多久他就会成为麻省理工学院的骄傲。
进入麻省理工学院就读对于林灰来说仅仅是个开始,未来的路还有很长。
另外,现在想以后的事情还有点遥远,把握住眼下才是最要紧的。
千里之行始于足下。
短时间内来看,林灰依旧需要一步一个脚印地往前走。
这样或许不能走得很快。
但一定会走得很稳。
林灰也必须走得很稳!
纵然林灰不是涉足politics的,但在背负着跨时空而来这个大秘密的情况下。
林灰所要走的路容不得行差踏错。
而就此时而言,林灰在学术上最稳妥的前行办法就是发表几篇论文。
即便是发表论文也算不上无中生有。
毕竟林灰先前已经搞定了生成式文本摘要的相关专利了。
申请专利之后再发表几篇论文作为先前专利的补充说明也是很符合常理的事情。
不过具体该发哪个细分领域的论文呢?
这是个问题。
原本这不该成为一个问题的。
按照林灰最先前的设想,整个生成式文本摘要作为一个成果能在影响因子比较高的刊物上发一篇论文就不错了。
但林灰万万没想到这个时空里人们在涉及到自然语言处理这方面的研究着实慢半拍。
从先前伊芙·卡莉发给林灰的邮件来看。
虽然这个时空西方学术界对于文本摘要的研究倾注了大量心血。
但这个时空西方对于文本摘要方面的研究进展和前世那个时空的西方对文本摘要的研究情况依旧是有些差别的。
尽管从客观上讲差别不是太大。
但综合衡量的话,这个时空西方世界对文本摘要的研究情况比前世那个时空节奏要慢两年。
(至于~國更是不用说,此时的学术界还是习惯摸着鹰酱过河的。
老实说这种做法不完全算错,可以避免资源浪费。
但总是这样的话太被动了。
想要当老大,就得敢为天下先)
虽然这个时空在相关领域的研究仅仅是节奏上慢了两年时间。
但两年足以改变很多事情了。
更何况,林灰原本就有着七年的信息优势。
此消彼长之下,林灰就相当于有了接近十年的信息优势。
或许有人不解,仅仅只是工作了三年,林灰凭什么能够把信息优势发挥的淋漓尽致。
虽然前世仅仅工作了三年,但林灰说是有六年的工作经验也不过分。
至于多余的三年工作经验哪来的?
这说多了都是泪,加班加出来的。
不得不说,这都是“福报”
这加班多是一件美逝啊。
不是这样的疯狂加班林灰哪有能够重生的机会?
纵然能有重生的机会。
不疯狂加班林灰怎么会对那些枯燥的东西记忆如此深刻呢?
不过这些都是前尘往事了。
因为过往的种种经历,在现在这个时空里,林灰就是当之无愧的强者。
至于同领域的其他研究者,林灰尊重他们的努力。
但不得不说:抱歉,你们真的好弱欸!
并不是林灰在信口开河。
林灰先前搞得那个生成式文本摘要这个算法所涉及到的全部技术。
如果被这个时空下的研究团队彻底吃透。
起码能将这个时空全世界自然语言处理以及神经网络学习方面的研究进展加速近一年的时间。
当然这说的是马上吃透的话,能加速近一年时间。
如果这些研究团队花了两三年才搞定相应的进展,那反而是拖累他们正常的进度了。
抛开生成式文本摘要这个专利不谈。
仅仅是林灰在弄生成式文本摘要时顺手牵羊搞定的那个LH文本摘要准确度衡量模型也够牛掰的了。
如果这项技术能够被这个时空的研究团队所掌握的话,对于他们的研究也是有所助力的。
尽管林灰当初就把如何构建模型表达的已经足够清楚,就差手把手教了。
(构建模型的话首先要运用语言模型来评估算法生成语言的流畅度,然后使用相似度模型评估文本和摘要之间的语义相关性,最后为了有效评估实体、专有词的复现程度,引入原文信息量模型来评估)
但此时的研究人员似乎仍然很好奇林灰是怎么构建这一衡量标准的。
林灰记得先前伊芙·卡莉在他发的邮件中就表达了对于“LH文本摘要准确度衡量模型”究竟是如何构建的困惑。
林灰记得伊芙·卡莉当初除了好奇林灰是怎么搞定语料库这个问题之外。
其困惑主要集中在林灰究竟采用什么方法架构相似度模型的。
当知道世界最顶尖学府附属的研究机构的科研人员居然好奇这事,林灰还是意外的。
林灰踌躇满志地盖了一个“华丽的房子”。
原本以为这个时空人们会好奇林灰是怎么盖出这个房子的。
没想到反倒先被问道盖房子的木头是从哪开采的?
这就是林灰当初收到伊芙·卡莉邮件时的直观感受。
不过如果诚如伊芙·卡莉在邮件里介绍的那般,林灰也能理解伊芙·卡莉为什么困惑。
涉及到相似度模型的架构一般都是通过计算的方式。
通过计算语义文本相似度以衡量这两个文本的语义相似度。
一般来说,语义相似度值越小,两个文本之间的语义差异越大,它们在语义层面的相似度越低;
反之,该值越大,两个文本表达的语义越相似。
或许在人们看来,区分相似文本是很简单的一件事情啊?
这不是随便读一下就能搞定么?
但是要知道区分相似文本不是要人来区分,而是要机器区分相似文本。
涉及到相似度模型的构建确实不是容易的事情,毕竟人类语言表达是极其复杂的。
更遑论大部分专业性比较强的文章里文本中还存在许多同义词、缩略语、特指词和多变的句法结构。
这些都极大地增加了计算文本语义相似度的难度。
但这个问题不解决不行,林灰知道计算文本语义相似度是一个很重要的分支领域。
在信息检索领域,语义文本相似性计算在文本分类、文本聚类和实体消歧等任务中发挥着重要作用;
在人工智能领域,也需要语义文本相似性算法来支持问答系统和智能检索等任务。
此外,语义文本相似性计算也被广泛用于自然语言处理任务中,如抄袭检测、文本总结和机器翻译。
总之,对语义文本相似性算法为代表的相似度模型研究具有重要的应用价值。
如果不解决计算文本语义相似度这个问题的话,跟别提如何更进一步的文本处理了。
抛开让机器区分相似文本这个问题不谈。
仅仅是想要机器识别文本这件事情就极其困难了。
自然语言一般就是说人类能理解的语言,比如看到的文字就是自然语言。
但当我们需要机器或者说计算机处理自然语言时。
机器/计算机却没办法直接理解这些符号(汉字、字母、标点符号等)。
这些符号必须先被数值化,然后才能输入计算机进行后续处理。
仅仅只是数值化之后也用途不大。
必须引入其他的一些内容来反应出词的属性。
就像我们不能从一个普普通通的代号知道这串数字究竟表示的是订阅、收藏还是打赏。
总之,仅仅是一个代号是看不出来每串数字对应的属性的。
这个问题也是计算文本语义相似度的一个研究热门之一。
如何表示数值化的自然语言相对应的属性呢?
研究人员一般做法是将数值化的语言矢量化或者说向量化。
向量相比于标量的话就是带方向的量。
事实上这种研究方向并不算新潮。
林灰记得前世早在1975年,就有研究人员首次提出向量空间模型(VSM),试图利用该模型来处理数值化的自然语言。
林灰通过搜索相关信息,发现这个时空虽然慢了一点,但VSM向量空间模型这个方法在1977年也被提出来了。
所谓的VSM模型听起来或许挺高大上的。
其实没那么复杂。
其主要思想就是假设一个文本的语义只与该文本中的单词有关,而忽略其语序和单词之间的相互关系,然后通过基于词频统计的方法,将文本映射成向量,最后通过向量间的距离计算以表征文本间的相似度。
计算两个向量之间的距离?
这玩意是高中课本上的内容。
估计高考后脑子里知识还没忘记的一般考生都能拿过来利用这个模型算算文本相似度。
不过很多高中生学的时候可能根本不知道他们学的这玩意能做这个。
(ps:……高中学的东西很有用,不要觉得暂时看不到用途就放弃)
当然,也正是由于该模型简单高效。
在该模型提出来之后很长的一段时间里,它都是文本相似度计算领域的主流方法。
但该模型并不是没有缺点。
基于VSM的方法仍然有两点缺陷
一方面当文本量很大时,生成的文本向量是非常稀疏的,这就导致了空间和计算资源的浪费
另一方面VSM为达到简化模型的效果忽略了词语间的关系,但在很多情况下词语之间是存在联系的,因此简单地认为词语间相互独立是不合理的。
这两条缺陷尤其致命。
第一条直接影响处理相似度的效率,第二条直接影响词义相似度判别的准确度。
在这种情况下,VSM模型在使用了一段时间之后,研究人员就将这个模型抛弃了。
现在的人们具体应用什么计算文本相似度林灰也不是很清楚。
不过林灰注意到伊芙·卡莉先前发给他的邮件并没有提到向量有关的内容。
时下的研究人员似乎已经淡忘了向量化。
或许现在再说到利用向量化进行自然语言文本处理似乎是一个很复古的研究方向了。
但实际上向量化这个方向仍然有潜力可以挖掘。
应用分布式词向量完全可以进行文本相似度计算。
不过这个时空的人们不知道也很正常。
林灰记得前世涉及到自然语言处理这方面很多重要成果都是2013年、2014年这两年井喷出来的。
前世涉及到文本相似度模型的架构这方面。
用于计算语义文本相似度的分布式词向量这项技术就是就是在2013年诞生的。
前世正是在分布式词向量问世后,语义文本相似度才取得了突破性的进展。
这个时空节奏上慢了两年,应用分布式词向量计算文本相似度没被提出来也很正常。
一步落后,步步落后。
节奏上慢这两年时间的话,这个时空无疑很多方面都落后了。
这些对于林灰无疑是个好消息。
应用分布式词向量来构建计算文本相似度的方法虽然说起来容易。
但具体阐述起来这个问题其实还是比较复杂的。
因此林灰当初并没有在邮件中回复伊芙·卡莉。
如果这个时空涉及到文本相似度模型架构方面的研究都短腿的话。
那林灰岂不是很有义务援助一下?
看来跨时空之搬运工又要上线了。
当然了这种搬运不是无偿的。
眼下林灰更关心的还是论文。
在相关研究出现方向性偏差的情况下,林灰真要写论文的话岂不是很容易就能发表好几篇?
这样水平的论文林灰写起来很容易。
虽然林灰前世学术生涯上没有走太远,但前前后后发的论文加起来大概有七八篇了。
有几篇论文还是全英文的。
总之发表论文这样的事情,对林灰来说已然是轻车熟路。
这种情况下,林灰感觉他很容易就能把麻省理工学院学士学位所要求的附加分刷满。
尽管如此,林灰还是决定先跟伊芙·卡莉见面沟通一下再弄论文相关的事情。
毕竟林灰不是很清楚西方世界在文本相似度研究的具体进展,万一不小心撞车就尴尬了。
商业上的撞车可以美其名曰是商业竞争。
学术上的撞车可是一辈子的污点。
现在林灰只希望能够快点和伊芙·卡莉见面了。
好在林灰期待的见面没多久就发生了。
林灰在北域域北国际机场见到了“伊芙·卡莉”。
伊芙·卡莉先前怕林灰不相信她的身份,于是在邮件里附上了一堆能够佐证身份的证明。
林灰当初就看到过伊芙·卡莉的照片。
不得不说,伊芙·卡莉的样貌很有辨识度。
一头金色微卷的长发,身高目测一七六左右,身材比例很棒,曲线很S。
尽管以挑剔的眼光来看,林灰觉得此时眼前的“伊芙·卡莉”的身材和样貌似乎也能在90分以上。
最关键的是给人一种很纯真的感觉,给人一种不染纤尘的那种感觉。
呃,这种感觉怎么说呢,反正很有保护欲那种。
不过林灰还没那么不淡定。
女人而已,只会影响他肝论文/敲代码的速度。
“伊芙·卡莉”似乎还没发现林灰。
林灰迎着走了上去,主动用英语打招呼道:“你是伊芙·卡莉么?我就是林灰,欢迎来到中國。”
呃,这几句程度的英文林灰还是能应付的。
不过眼前这人反应明显迟疑了一下。
林灰感到很奇怪,莫非是搞错了?
正在林灰很纠结的时候,突然身后传来的声音。
“你就是LINHUI么?我是伊芙·卡莉,很高兴见到你!”
林灰心想,这下尴尬了。
第一次接人还认错人了。
不过,不应该啊,眼前之人很有辨识度的西方面孔,而且和伊芙·卡莉先前发来的证件照上那女的一模一样啊。
林灰不解地回过头,看向声音来源,又看到了一个“伊芙·卡莉”。
刚才说话的这个也是一头金色微卷的长发,同样身高很高,身材比例很棒,颜值90以上。
身前身后两个人一模一样,就很离谱。
最离谱的是两人身上气质特别像,都是很纯粹的那种。
林灰:Σ(っ°Д°;)っ
什么情况???
莫非是双胞胎不成么?
林灰又回过头看了一眼,发现两人虽然样貌上很相似。
但气质上其实是微微有些区别的。
两个人虽然都是很纯粹的气质。
但一个是天真无瑕那种惹人怜爱那种。
另一个则是书卷气让人敬重那种。
如此相似的一对双胞胎送上门来。
林灰当时就有一个很大胆的想法!
……
……
长得这么像的一对双胞胎姐妹以后在开发人脸识别算法时不用来做测试样本可惜了……