11月24日,由ZDNet至顶网主办,英特尔协办、VMware和SAS支持的主题为“大数据•政府决策的科学发展观”的第五届政务信息化高峰论坛在昆山举行。多位政务信息化专家、大数据实践精英及IT界意见领袖出席了会议,并在会上就大数据在政务信息化中的实际应用等问题进行了深入交流。其中,英特尔行业合作与解决方案部中国大区总监凌琦在会上表示,大数据已经成为整个业界的发展方向,并且在技术和用户的角度还有很多需要探讨,大数据已经引发了新一轮的信息革命。
大数据面临处理难题
Gartener早在2010年分析得出信息将成为21世纪的石油,同年The Economist也发表观点称,数据日益成为商业的新源材料“一种与资本和劳动力并列的新经济元素”。
数据量大、规模大、速度快是大数据的三大特征。在2011年两天的数据量就达到了1.8ZB,这相当于文明起始到2003年的整个数据量。除了人所产生数据外,机器数据即物联网数据也在逐年递增。
我们看到的数据大概80%以上是非结构化数据,只有20%是结构化的数据,结构化数据可以用结构化数据的关系型数据库可以处理,非结构化数据就要依赖于新的技术来处理。凌琦指出,过去传统处理结构化数据所使用的关系型数据库,它的规模完全没有办法处理,所以要使用并行式数据库、分布式数据库等各种方法,采用一些新的架构来处理这些问题。
从规模上看,很多应用没有进行大数据处理,这些非结构化数据能够得到分析会大大提高效率。例如,在检查汽车套牌上,大数据处理可以把所有数据进行对比,并在短时间里找到车辆的颜色、型号是否符合,再反馈给在场的执勤的警察。凌琦表示,像这一类问题都是有实时性、数据规模、数据多样性的非结构化数据居多,传统的数据库是没有办法处理的。
此外,大数据正在快速涌现生出态系统。凌琦表示,大数据业务实际上才刚刚开始,这对于整个业界是非常大的挑战。新技术、新人员和技能提供最佳实践,在这样的商业模式下变成一个可盈利可持续的业务。使企业和组织有能力对大量的、不断增长的、多样的、多维的、结构化以及非结构化数据进行管理、分析并据此采取行动。
大数据时代 Intel的定位
目前主要的大数据行业包括电信、零售、金融服务、制造、医疗、物联网、智慧城市,在这些行业里只有10%的数据。Intel看到了其中的机会,不仅仅在服务器同时也存在在网络、存储,以及高性能数据分析软件中,像Hadoop这些新技术会逐渐成熟。
Intel希望在大数据时代从各方面进行投入,将软件的分析时间从小时缩短到秒,提高计算的性能,存储结构更加分布式、智能化并且进行横向扩展,提高SSD的吞吐量,以及建立高速分布式的网络结构。在这些能够领域里Intel希望为大数据处理提供一个基础架构,或一些工具。
凌琦指出,Intel也并购了很多大数据处理以及架构厂商,并且Intel在上海有一个团队专门在做Hadoop大数据处理架构的开发。
据悉,Intel上海研发实验室投入了将近2000多个专业工程师在进行开发,从前端的笔记本到后端的服务器网络,其中80%的前端产品是在上海做研发。
Intel的创新能力一方面从实验室产生,一方面从市场的需求变化而来。“Intel希望成为整个行业的领头羊,提供高效的计算芯片、存储、I/O、网络技术,加速大数据价值挖掘与提高决策反应,提供最优的软件和工具推动大数据应用的部署和创新。促进大数据生态系统的建设和与合作伙伴合作,并且投资大数据解决方案的研究和服务。”凌琦指出,最终为用户带来价值以及完整的解决方案。