吴院长继续演讲:“大数据必然驱动大带宽,这是全世界国际互联网干线的流量状况,根据美国的预测显示,2010年比2009年全世界的数据量增长了62,按这个推断,10年国际互联网流量要增长1000倍,美国自身的互联网流量也是10年增长1000倍。这个曲线是全世界骨干网的流量,无论亚洲金融危机还是其他危机互联网,流量都不受影响,依旧保持高速增长。”
“光纤传输能力十年扩大1000倍,目前来看还有很大发展空间,而且现在光纤光缆成本很低,中国生产世界一半的光纤光缆,同时也消耗了世界一半的光纤光缆。可以看到,95年的时候数据总容量比较小,只有25g到1g。2010年可以看到,信道单波长已经做到100g,2020年单波长要做到1t,总容量还会增大。”
众人纷纷点头,电信联通的代表都在场,他们也点头认可吴院长的话。
而杭雨比电信联通的代表还要认可,还要了解吴院长的话。或许吴院长都想不到,在不久的将来,我们会做出量子计算机,量子卫星,量子通讯,进入5g时代。
“过去没有人谈云计算,80年代谈数据库、90年代谈ibc,现在谈云计算。实际上云计算应该更准确的是云服务,当然未来会发展成什么?不知道。云计算底层有一个基础设施,像我们很多企业把它的数据库托管到运营商那里,这就使用了云计算,使用了iaas系统。iaas里头有数据中心、存储器、服务器,如果仅仅这样还不够,对运营商来讲,无非是“数字房地产”。”
吴院长接着说道:“运营商希望进一步在上面增加开发工具,叫paas,可以提供java、web20一些开发工具、中间件等等,企业可以租用这些开发工具,开发企业要的一些软件,比如说数据挖掘等等。对于一些小企业而言,根本没有开发能力,因此干脆直接租用你的软件,这是saas。”
“比如说现在谈大数据分析,哪个企业都希望大数据分析,但是每个企业去买这些数据分析软件是很不划算的,因此租用第三方的分析软件可能是一个方向。当然更进一步的有bess,有能力的企业可以在上面更多的开发。所以云计算并不是为大数据而诞生的,但云计算正好适应了大数据的需要。”
“大数据技术涉及到数据采集、数据存储、数据计算、数据挖掘、数据呈现、数据安全等,涉及到很多环节。比如说挖掘就需要对数据进行清洗,进行合并、压缩,要转换格式,然后进行统计分析,知识发现以及可视化处理。然后找出它的关联规则,分类、聚类,排序列,优化路径。这里涉及到一大批的数据挖掘的软件。”
“简单来说,首先是apreducers,左边的图上很多数据,不同颜色表示不同类型,首先通过ap把这些数据进行分类,不同业务类型的数据分到不同的存储服务器里头,这样就是为了简化运算,在分类过程当中数据是要加标签的,同时要把重复的去掉,这是进行大数据的预分析前的一些操作。另外,大数据需要有很多服务器。”
“有人认为买高端服务器才可靠,但是据我所知,江燕公司用的是低端的服务器。杭先生,你们公司的微博云可靠吗,性能如何?”吴院长再次看向杭雨。
杭雨接过话筒,站起来道:“我可以很肯定地回答你,我们公司的微博云绝对可靠,无论性能还是安全,跟那些用高端服务器的没差。”
吴院长接着问道:“低端服务器的性能不好,你们是如何化腐朽为神奇的?”
关于使用高端还是低端服务器的问题,当初建设数据中心的时候,江燕公司内部也掀起了相关的技术讨论,最后是杭雨拍板决定使用低端服务器。