第259章 疯狂的数据
第259章疯狂的数据
举这样一个例子：
在图象识别里面，经常我们可能需要上百万的人工标注的数据，
在语音识别里面，我们可能需要成千上万小时的人工标注的数据。
涉及到机器翻译更是需要数千万语句标注数据。
说实话作为一个来自前世往后几年的技术人员。
此前涉及到人工标注数据的价值林灰还真没太当回事。
但现在看来，这玩意的价值此前明显被林灰忽视了。
林灰记得在前世2017年看到的一组数据说得是涉及到人工翻译的话。
一个单词的费用差不多是5—10美分之间，一个句子平均长度差不多是30个单词。
如果需要标注一千万个双语句对，也就是我们需要找专家翻译一千万句话，这个标注的费用差不多是2200万美元。
可以看到数据标注的费用是非常非常高的。
而这仅仅是2017年的数据标注成本。
在现在的话标注成本岂不是意味着更高的数据标注费用？
要知道现在几乎不怎么注重无监督学习。
在无监督学习方面更是几乎没啥可堪一用的模型。
在主流的机器学习依旧是靠监督学习和半监督学习。
而举凡是监督学习和半监督学习基本就离不开人工标注的数据。
以这个角度来衡量的话林灰所拥有的一大批现成的人工标注数据岂不是一笔巨额的隐形财富？
如果说在前世2017年，1000万条双语数据标注就要耗资两千多万美元。
那么在机器学习整体比较滞后的这个时空的2014年。
同样的1000万条双语数据标注需要多少钱呢？
林灰觉得1000万条双语标注数据怎么着也得要个两三亿美元啊。
“两三亿美元”这个数据似乎有点吓人。
但其实也不夸张。
之所以说不夸张有两方面的原因：
一、即便是在前世，数据标注也是在对偶学习之类的特殊学习技巧问世后成本才大幅下降。
而在此之前，涉及到数据标注从来就跟“便宜”两个字不沾边。
同样拿此前林灰所列出的例子作为援引：
在前世2017年1000万条双语互译标注的成本约为2200万美元；
注意这仅仅是双语互译的标注。
“双语互译”只是某两种语言之间的互译标注。
只是两种语言之间的互译标注就需要两千多万美元？
那涉及到上百种语言的互译需要多少钱呢？
这个问题并不复杂，简单的排列组合问题：
C(100，2)==4950*亿美元==1089亿美元
不难看出若需支持上百种语言的互译，人工标注训练集的成本将达到上千亿美元。
而这仅仅是理想情况下的估算，如果真要按部就班进行这样的标注实际成本远不止于此。
毕竟很多小语种之间的互译成本显然相比于主流语言之间的互译价格还要更高。
虽然实际操作中不会真的有大怨种按部就班进行上百种语言互译的数据标注。
但这个估算也充分说明了数据标注在相当长的一段时间内都很昂贵。
同样的道理，在现在这个时空数据标注方面的成本也依然是昂贵的。
而且因为这个时空机器学习方面研究进展的滞后，现在涉及到数据标注这方面的成本甚至还要高于前世同一时期的。
二、时代是在飞速发展的，要知道现在随便一个文体店就能很方便买到的科学计算器其实际效率、可靠程度、易用性甚至可以全方位吊打上个世纪五六十年代花费上千万美元搞出来的占地几百甚至是上千平方米的计算机。
这种情况下后世很便宜的计算器拿到几十年前纵然是要价上百万美元同样是有市场的，而且可能还会相当有竞争力。
举这个例子并不是说林灰要再往前几十年去卖计算器。
林灰只是想藉此说明时代的车轮是向前的，科技也是在飞快发展的。
尤其是在中后互联网时代，科技的发展说是日新月异也丝毫不为过。
在这种情况下，往后几年一些不怎么被人过分重视的技术在几年前能够换取大额的财富是很正常的。
更何况还是利用数据标注这个相当长一段历史时期内都只能是土豪公司才玩得转的东西去换取财富？
总之，林灰没觉得“在现在1000万条双语标注数据怎么着也得要个两三亿美元”这个估算的有什么问题。
甚至于，即便是“两三亿美元的价格”，这个价格的估算可能还有点保守。
在人工智能的产业结构中，主体包含有应用层、技术层和基础层。
应用层包含有解决方案和产品服务。
技术层包含有应用技术、算法理论和平台框架。
而基础层则包含有基础设施和数据。
从这个角度来衡量的话，某种程度上甚至可以将数据是人工智能的基石。
事实也正是如此。
涉及到人工智能的三驾马车算法、算力、算据（数据）。
算法看起来很重要，但要知道很多时候，没有优质数据存在，就很难训练出优质的算法。
数据这东西虽然通常情况下看不见摸不着，但任谁也不能忽视数据的重要性。
尤其是标注数据更是相当重要。
在时下有监督的机器学习仍然是当前神经网路学习训练的主要方式。
而有监督的机器学习是离不开标注数据的。
有监督的机器学习需要被标注数据作为先验经验。
在有监督的机器学习里未被标注的数据和被标注数据以比例划分为训练集和测试集。
机器通过对训练集的学习得到一个模型，再对测试集进行识别，就可以到的该模型的准确率。
算法人员根据测试结果找到模型的短板，并将数据问题反馈给数据标注人员，再重复流程，直到得到的模型指标符合上线需求……
在时下几乎没啥无监督学习的应用的情况下，大规模、高质量的人工标注数据集甚至可以说是现在机器学习产业发展的刚需。
在这种情况下，把数据以及标注数据看得再重要也不为过。
因此才有了林灰所谓的估值估低了的说法。
不过所谓的估值也不重要了，真涉及到标注数据的出售的话具体价格完全可以慢慢谈。
林灰是需要很多钱，但如果是将来同一些超级巨头进行谈判的话，林灰也未必一心要钱。
用林灰感兴趣的资源进行交换也不是不可以。
说实话这些顶尖巨头的部分资源对林灰还是相当有诱惑力的。
具体到林灰现在所拥有的标注数据。
曾经涉及到网文翻译的时候，林灰当初几乎是第一时间想到了前世那部手机里SimpleT这个软件。
SimpleT这个软件是前世林灰所在公司开发测试的一款软件。
这个软件不怎么为人所知是因为该软件还处于α内测阶段。
α测试的目的是评价软件产品的功能、局域化、可用性、可靠性、性能和支持。
尤其注重产品的界面和特色。
α测试的时间可以从软件产品编码结束之时开始。
也可以在模块(子系统)测试完成之后开始。
还可以在确认测试过程中产品达到一定的稳定和可靠程度之后再开始。
SimpleT这款软件的α内测就是在确认SimpleT达到一定的稳定和可靠程度之后才开始的。
所以说虽然SimpleT尚在内测。
但这款软件的技术水平也是相当成熟了，几乎离正式面世只差一轮公测。
林灰原本想过待时机合适将这样一个软件复刻出来去进军软件翻译市场的。
在留心到标注数据所拥有的特殊价值的情况下。
林灰同样差不多是第一时间想到了SimpleT这一软件。
毕竟作为一个主打AI翻译的软件，其训练过程中自然是同样用到大量的双语互译标注数据的。
而SimpleT这款未正式上市的软件作为前世公司寄予厚望的产品之一。
对这款软件在实际开发中所用到的标注数据林灰相信肯定能在前世企业数据里翻找到的。
这种情况下似乎现在直接拿曾经公司在调教SimpleT这款软件所用到的标注数据去换钱岂不是事半功倍？
虽然SimpleT这款软件在架构的时候同样没有进行全语种的互译数据标注。
但最起码涉及到中、英、俄、法、西、日这些常见语种之间的互译数据标注肯定是要有的。
纵然这些语种之间的互译数据不是所有的语种之间都能达到千万条的互译标注规模。
但最起码中-英、英-中互译标注数据肯定还是相当有规模的。
在这种情况下，林灰估算了一下前世SimpleT这款软件所用到的标注数据在今天起码也要拥有七八亿美元的价值。
这无疑是一笔相当巨额的财富。
最关键的是即便林灰拿了这些语种之间的互译标注数据去换钱。
也不妨碍林灰到时候将SimpleT这个软件推向翻译市场。
呃，虽然有点奸商的作风。
但怎么说呢，一鸡多吃是常态。
甚至于可以说一鸡多吃是互联网时代下的典型商业特色。
尽管短时间内林灰不大可能去突然涉及到翻译领域的互译标注。
但林灰手中的标注数据可不仅仅是翻译领域。
以林灰此时所耕耘的自然语言处理这个方面吧。
尽管林灰在此前的生成式文本摘要模型的构建中主要是使用无监督训练的方式进行的大量数据获取以及相应的模型训练。
但林灰手中确确实实是有自然语言处理方向的标注数据。
而且是超大规模的文本标注数据。
这更是一笔相当大的财富。
虽然这种文本数据标注相比于双语互译文本标注（标注起来门槛更高）的数据其价值肯定是要打折扣的。
但在形成规模的情况下纵然是一般的标注数据一样是一笔不容小视的财富。
仅仅是涉及到文本摘要有关的一些普通标注数据林灰估计在这个时空换取几千万美元的话完全没问题。
如果对这些标注数据加以一定包装并且足够幸运能够遇到一些识（yuan）货（da）人（tou）的话。
商业谈判时如果谈判的人很会的话谈到近亿美元也是有可能的。
如果对标注数据进行一定的包装，林灰估计忽悠个上亿美刀也是完全没问题的。
对这些标注数据加以一定的包装是什么意思呢？
就是美化标注数据的质量。
严格来讲的话，同样是标注数据也是可以区分为专家标注和众包的。
所谓的“专家标注”也不是真的专家去进行标注。
“数据标注”听起来似乎蛮高大上的，但实际上呢？
进行数据标注过程往往非常复杂，涉及到数据量特别多的时候，对人工劳动力会有很高的要求。
虽然不能说低端吧，但这种机械而繁复的工作至少跟高端是没啥关系的，砖家教授肯定是不会去干这活的。
所谓的专家标注一般都是由苦逼的算法工程师进行兼职。
或者由专门的算法数据标注员进行标注。
所谓的数据标注员是一种新兴职业。
前世，随着大数据以及人工智能时代的到来，为了应对数据标注的工作在互联网上出现了一种新型职业——数据标注员。
数据标注员的工作是使用相应的工具从互联网上抓取、收集数据，包括文本、图片、语音等等。
然后对抓取的数据进行整理与标注。
这些数据标注员工具体的工作流程一般很明确：
首先，标注人员经过培训，确定需要标注的样本数据以及标注规则；
而后，根据事先安排好的规则对样本数据进行打标；
其次，对标注完以后的结果进行合并。
而算法数据标注员稍稍有别于一般的数据标注员。
相比于一般的数据标注猿，算法数据标注猿往往在完成以上的步骤之后。
还要通过标注的数据喂模型进而调试模型。
尽管工作流程只是多了这一步，但专业的算法数据标注员依旧是凤毛麟角。
从先前罗列的任务也可以看出算法数据标注员的任务不仅仅是数据标注。
往往还需要根据标注的数据进一步评估算法模型。
如此一来很多时候对书记标注员的要求是这些人不光要进行数据标注。
还得懂相应的算法。
举这样一个例子：
在图象识别里面，经常我们可能需要上百万的人工标注的数据，
在语音识别里面，我们可能需要成千上万小时的人工标注的数据。
涉及到机器翻译更是需要数千万语句标注数据。
说实话作为一个来自前世往后几年的技术人员。
此前涉及到人工标注数据的价值林灰还真没太当回事。
但现在看来，这玩意的价值此前明显被林灰忽视了。
林灰记得在前世2017年看到的一组数据说得是涉及到人工翻译的话。
一个单词的费用差不多是5—10美分之间，一个句子平均长度差不多是30个单词。
如果需要标注一千万个双语句对，也就是我们需要找专家翻译一千万句话，这个标注的费用差不多是2200万美元。
可以看到数据标注的费用是非常非常高的。
而这仅仅是2017年的数据标注成本。
在现在的话标注成本岂不是意味着更高的数据标注费用？
要知道现在几乎不怎么注重无监督学习。
在无监督学习方面更是几乎没啥可堪一用的模型。
在主流的机器学习依旧是靠监督学习和半监督学习。
而举凡是监督学习和半监督学习基本就离不开人工标注的数据。
以这个角度来衡量的话林灰所拥有的一大批现成的人工标注数据岂不是一笔巨额的隐形财富？
如果说在前世2017年，1000万条双语数据标注就要耗资两千多万美元。
那么在机器学习整体比较滞后的这个时空的2014年。
同样的1000万条双语数据标注需要多少钱呢？
林灰觉得1000万条双语标注数据怎么着也得要个两三亿美元啊。
“两三亿美元”这个数据似乎有点吓人。
但其实也不夸张。
之所以说不夸张有两方面的原因：
一、即便是在前世，数据标注也是在对偶学习之类的特殊学习技巧问世后成本才大幅下降。
而在此之前，涉及到数据标注从来就跟“便宜”两个字不沾边。
同样拿此前林灰所列出的例子作为援引：
在前世2017年1000万条双语互译标注的成本约为2200万美元；
注意这仅仅是双语互译的标注。
“双语互译”只是某两种语言之间的互译标注。
只是两种语言之间的互译标注就需要两千多万美元？
那涉及到上百种语言的互译需要多少钱呢？
这个问题并不复杂，简单的排列组合问题：
C(100，2)==4950*亿美元==1089亿美元
不难看出若需支持上百种语言的互译，人工标注训练集的成本将达到上千亿美元。
而这仅仅是理想情况下的估算，如果真要按部就班进行这样的标注实际成本远不止于此。
毕竟很多小语种之间的互译成本显然相比于主流语言之间的互译价格还要更高。
虽然实际操作中不会真的有大怨种按部就班进行上百种语言互译的数据标注。
但这个估算也充分说明了数据标注在相当长的一段时间内都很昂贵。
同样的道理，在现在这个时空数据标注方面的成本也依然是昂贵的。
而且因为这个时空机器学习方面研究进展的滞后，现在涉及到数据标注这方面的成本甚至还要高于前世同一时期的。
二、时代是在飞速发展的，要知道现在随便一个文体店就能很方便买到的科学计算器其实际效率、可靠程度、易用性甚至可以全方位吊打上个世纪五六十年代花费上千万美元搞出来的占地几百甚至是上千平方米的计算机。
这种情况下后世很便宜的计算器拿到几十年前纵然是要价上百万美元同样是有市场的，而且可能还会相当有竞争力。
举这个例子并不是说林灰要再往前几十年去卖计算器。
林灰只是想藉此说明时代的车轮是向前的，科技也是在飞快发展的。
尤其是在中后互联网时代，科技的发展说是日新月异也丝毫不为过。
在这种情况下，往后几年一些不怎么被人过分重视的技术在几年前能够换取大额的财富是很正常的。
更何况还是利用数据标注这个相当长一段历史时期内都只能是土豪公司才玩得转的东西去换取财富？
总之，林灰没觉得“在现在1000万条双语标注数据怎么着也得要个两三亿美元”这个估算的有什么问题。
甚至于，即便是“两三亿美元的价格”，这个价格的估算可能还有点保守。
在人工智能的产业结构中，主体包含有应用层、技术层和基础层。
应用层包含有解决方案和产品服务。
技术层包含有应用技术、算法理论和平台框架。
而基础层则包含有基础设施和数据。
从这个角度来衡量的话，某种程度上甚至可以将数据是人工智能的基石。
事实也正是如此。
涉及到人工智能的三驾马车算法、算力、算据（数据）。
算法看起来很重要，但要知道很多时候，没有优质数据存在，就很难训练出优质的算法。
数据这东西虽然通常情况下看不见摸不着，但任谁也不能忽视数据的重要性。
尤其是标注数据更是相当重要。
在时下有监督的机器学习仍然是当前神经网路学习训练的主要方式。
而有监督的机器学习是离不开标注数据的。
有监督的机器学习需要被标注数据作为先验经验。
在有监督的机器学习里未被标注的数据和被标注数据以比例划分为训练集和测试集。
机器通过对训练集的学习得到一个模型，再对测试集进行识别，就可以到的该模型的准确率。
算法人员根据测试结果找到模型的短板，并将数据问题反馈给数据标注人员，再重复流程，直到得到的模型指标符合上线需求……
在时下几乎没啥无监督学习的应用的情况下，大规模、高质量的人工标注数据集甚至可以说是现在机器学习产业发展的刚需。
在这种情况下，把数据以及标注数据看得再重要也不为过。
因此才有了林灰所谓的估值估低了的说法。
不过所谓的估值也不重要了，真涉及到标注数据的出售的话具体价格完全可以慢慢谈。
林灰是需要很多钱，但如果是将来同一些超级巨头进行谈判的话，林灰也未必一心要钱。
用林灰感兴趣的资源进行交换也不是不可以。
说实话这些顶尖巨头的部分资源对林灰还是相当有诱惑力的。
具体到林灰现在所拥有的标注数据。
曾经涉及到网文翻译的时候，林灰当初几乎是第一时间想到了前世那部手机里SimpleT这个软件。
SimpleT这个软件是前世林灰所在公司开发测试的一款软件。
这个软件不怎么为人所知是因为该软件还处于α内测阶段。
α测试的目的是评价软件产品的功能、局域化、可用性、可靠性、性能和支持。
尤其注重产品的界面和特色。
α测试的时间可以从软件产品编码结束之时开始。
也可以在模块(子系统)测试完成之后开始。
还可以在确认测试过程中产品达到一定的稳定和可靠程度之后再开始。
SimpleT这款软件的α内测就是在确认SimpleT达到一定的稳定和可靠程度之后才开始的。
所以说虽然SimpleT尚在内测。
但这款软件的技术水平也是相当成熟了，几乎离正式面世只差一轮公测。
林灰原本想过待时机合适将这样一个软件复刻出来去进军软件翻译市场的。
在留心到标注数据所拥有的特殊价值的情况下。
林灰同样差不多是第一时间想到了SimpleT这一软件。
毕竟作为一个主打AI翻译的软件，其训练过程中自然是同样用到大量的双语互译标注数据的。
而SimpleT这款未正式上市的软件作为前世公司寄予厚望的产品之一。
对这款软件在实际开发中所用到的标注数据林灰相信肯定能在前世企业数据里翻找到的。
这种情况下似乎现在直接拿曾经公司在调教SimpleT这款软件所用到的标注数据去换钱岂不是事半功倍？
虽然SimpleT这款软件在架构的时候同样没有进行全语种的互译数据标注。
但最起码涉及到中、英、俄、法、西、日这些常见语种之间的互译数据标注肯定是要有的。
纵然这些语种之间的互译数据不是所有的语种之间都能达到千万条的互译标注规模。
但最起码中-英、英-中互译标注数据肯定还是相当有规模的。
在这种情况下，林灰估算了一下前世SimpleT这款软件所用到的标注数据在今天起码也要拥有七八亿美元的价值。
这无疑是一笔相当巨额的财富。
最关键的是即便林灰拿了这些语种之间的互译标注数据去换钱。
也不妨碍林灰到时候将SimpleT这个软件推向翻译市场。
呃，虽然有点奸商的作风。
但怎么说呢，一鸡多吃是常态。
甚至于可以说一鸡多吃是互联网时代下的典型商业特色。
尽管短时间内林灰不大可能去突然涉及到翻译领域的互译标注。
但林灰手中的标注数据可不仅仅是翻译领域。
以林灰此时所耕耘的自然语言处理这个方面吧。
尽管林灰在此前的生成式文本摘要模型的构建中主要是使用无监督训练的方式进行的大量数据获取以及相应的模型训练。
但林灰手中确确实实是有自然语言处理方向的标注数据。
而且是超大规模的文本标注数据。
这更是一笔相当大的财富。
虽然这种文本数据标注相比于双语互译文本标注（标注起来门槛更高）的数据其价值肯定是要打折扣的。
但在形成规模的情况下纵然是一般的标注数据一样是一笔不容小视的财富。
仅仅是涉及到文本摘要有关的一些普通标注数据林灰估计在这个时空换取几千万美元的话完全没问题。
如果对这些标注数据加以一定包装并且足够幸运能够遇到一些识（yuan）货（da）人（tou）的话。
商业谈判时如果谈判的人很会的话谈到近亿美元也是有可能的。
如果对标注数据进行一定的包装，林灰估计忽悠个上亿美刀也是完全没问题的。
对这些标注数据加以一定的包装是什么意思呢？
就是美化标注数据的质量。
严格来讲的话，同样是标注数据也是可以区分为专家标注和众包的。
所谓的“专家标注”也不是真的专家去进行标注。
“数据标注”听起来似乎蛮高大上的，但实际上呢？
进行数据标注过程往往非常复杂，涉及到数据量特别多的时候，对人工劳动力会有很高的要求。
虽然不能说低端吧，但这种机械而繁复的工作至少跟高端是没啥关系的，砖家教授肯定是不会去干这活的。
所谓的专家标注一般都是由苦逼的算法工程师进行兼职。
或者由专门的算法数据标注员进行标注。
所谓的数据标注员是一种新兴职业。
前世，随着大数据以及人工智能时代的到来，为了应对数据标注的工作在互联网上出现了一种新型职业——数据标注员。
数据标注员的工作是使用相应的工具从互联网上抓取、收集数据，包括文本、图片、语音等等。
然后对抓取的数据进行整理与标注。
这些数据标注员工具体的工作流程一般很明确：
首先，标注人员经过培训，确定需要标注的样本数据以及标注规则；
而后，根据事先安排好的规则对样本数据进行打标；
其次，对标注完以后的结果进行合并。
而算法数据标注员稍稍有别于一般的数据标注员。
相比于一般的数据标注猿，算法数据标注猿往往在完成以上的步骤之后。
还要通过标注的数据喂模型进而调试模型。
尽管工作流程只是多了这一步，但专业的算法数据标注员依旧是凤毛麟角。
从先前罗列的任务也可以看出算法数据标注员的任务不仅仅是数据标注。
往往还需要根据标注的数据进一步评估算法模型。
如此一来很多时候对书记标注员的要求是这些人不光要进行数据标注。
还得懂相应的算法。