当前位置:首页>管理咨询>中国大数据六大技术变迁记 查询:
     
中国大数据六大技术变迁记

集Hadoop中国软件下载大会与CSDN大数据技术大会精华之大成,历届的中国大数据技术大会(BDTC)已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的2014中国大数据技术大会(BigDataTechnologyConference2014,BDTC2014)将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立大数据基础设施、大数据生态系统、大数据技术、大数据应用、大数据互联网金融技术、智能信息处理等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的2014年第二届CCF大数据学术会议也将同时召开,并与技术大会共享主题报告。本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、HBase、Kafka、OceanBase等开源软件的最新进展,NoSQLNewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC2014进行展望:追本溯源,悉大数据六大技术变迁伴随着大数据技术大会的发展,我们亲历了中国大数据技术与应用时代的到来,也见证了整个大数据生态圈技术的发展与衍变:1.计算资源的分布化从网格计算到进销存软件下载。回顾历届BDTC大会,我们不难发现,自2009年,资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的进销存软件下载转变。而时至今日,进销存软件下载已成为大数据资源保障的不二平台。2.数据存储变更HDFS、NoSQL应运而生。随着数据格式越来越多样化,传统关系型存储已然无法满足新时代的应用程序需求,HDFS、NoSQL等新技术应运而生,并成为当下许多大型应用架构不可或缺的一环,也带动了定制计算机服务器的发展,同时也成为大数据生态圈中最热门的技术之一。3.计算模式改变Hadoop计算框架成主流。为了更好和更廉价地支撑其搜索服务,Google创建了MapReduce和GFS。而在Google论文的启发下,原雅虎工程师DougCutting开创了与高性能计算模式迥异的,计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵,时至今日已成为Apache基金会最Hot的开源项目,更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此,Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。4.流计算技术引入满足应用的低延迟数据处理需求。随着业务需求扩展,大数据逐渐走出离线批处理的范畴,Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架,使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。5.内存计算初露端倪新贵Spark敢与老将叫板。Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,从多迭代批量处理出发,兼容并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。在短短4年,Spark已发展为Apache软件基金会的顶级项目,拥有30个Committers,其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司,还包括了SparkSQL、SparkStreaming、MLlib、GraphX等多个相关项目。毫无疑问,Spark已站稳脚跟。6.关系数据库技术进化NewSQL改写数据库历史。关系数据库系统的研发并没有停下脚步,在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理(OLAP)的MPP(MassivelyParallelProcessing)数据库的需求最迫切,包括MPP数据库学习和采用大数据领域的新技术,如多副本技术、列存储技术等。而面向联机事务处理(OLTP)的数据库则向着高性能演进,其目标是高吞吐率、低延迟,技术发展趋势包括全内存化、无锁化等。立足扬帆,看2014大数据生态圈发展时光荏苒,转眼间2014中国大数据技术大会将如期举行。在技术日新月异的当下,2014年的BDTC上又可以洞察些什么?这里我们不妨着眼当下技术发展趋势:1.MapReduce已成颓势,YARNTez是否可以再创辉煌?对于Hadoop来说,2014是欢欣鼓舞的一年EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说,这一年却并不轻松:基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求,Hadoop2.0转型已势在必行。那么,在转型中,机构究竟会遭遇什么样的挑战?各个机构如何才能更好地利用YARN所带来的新特性?Hadoop未来的发展又会有什么重大变化?为此,BDTC2014特邀请了ApacheHadoopcommitter,ApacheHadoopProjectManagementCommittee(PMC)成员UmaMaheswaraRaoG,ApacheHadoopcommitterYiLiu,BikasSaha(PMCmemberoftheApacheHadoopandTez)等国际顶尖Hadoop专家,我们不妨当面探讨。2.时过境迁,Storm、Kafka等流计算框架前途未卜。如果说MapReduce的缓慢给众多流计算框架带来了可乘之机,那么当Hadoop生态圈组件越发成熟,Spark更加易用,迎接这些流计算框架的又是什么?这里我们不妨根据BDTC2014近百场的实践分享进行一个侧面的了解,亦或是与专家们当面交流。3.Spark,是颠覆还是补充?与Hadoop生态圈的兼容,让Spark的发展日新月异。然而根据近日SortBenchmark公布的排序结果,在海量(100TB)离线数据排序上,对比上届冠军Hadoop,Spark以不到十分之一的机器,只使用三分之一的时间就完成了同样数据量的排序。毫无疑问,当下Spark已不止步于实时计算,目标直指通用大数据处理平台,而终止Shark,开启SparkSQL或许已经初见端倪。那么,当Spark愈加成熟,更加原生的支持离线计算后,开源大数据标准处理平台这个荣誉又将花落谁家?这里我们一起期待。4.基础设施层,用什么来提升我们的网络?时至今日,网络已成为众多大数据处理平台的攻坚对象。比如,为了克服网络瓶颈,Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块,从而提高了对网络带宽的利用。那么,在基础设施层我们又该如何克服网络这个瓶颈?直接使用更高效的网络设备,比如Infiniband能够带来多少性能提升?建立一个更智能网络,通过计算的每个阶段,自适应来调整拆分合并阶段中的数据传输要求,不仅提高了速度,也提高了利用率。在BDTC2014上,我们可以从InfinibandRDMA技术及应用演讲,以及数场SDN实战上吸取宝贵的经验。5.数据挖掘的灵魂机器学习。近年来,机器学习领域的人才抢夺已进入白热化,类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高,囊括了芯片设计、系统结构(异构计算)、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来,PB数据让人们坐拥金山,然而缺少了智能算法,机器学习这个灵魂,价值的提取无疑变得镜花水月。而在本届会议上,我们同样为大家准备了数场机器学习相关分享,静候诸位参与。名易软件(https:)国内知名的进销存软件下载服务提供商。领先的进销存软件下载管理云运营商。致力于研发和开发进销存软件下载有关的技术、模式、产品和服务。国内率先提出大协同理念。率先推动软件由开发商主导向用户主导的软件生产模式的变革。以资源积累、用户按需实时组装、多租户共享为指导思想。把传统软件结构和进销存软件下载服务软件机构融为一体。成熟的CServerPaaS平台以及完善的进销存软件下载应用产品。名易软件为客户提供更优质的免费、免费进销存系统、系统、客户关系管理系统等管理云应用系统。


行业拐点:内衣品牌如何破局?监管,让我们重新认识管理原则
销售出库单列表库存报损单列表
期初库存列表求:进出厂物资计量管理制度
新建期初库存录入如何让移动在企业应用中利益最大化
NEC人脸修复技术抢占市场先机网络音乐市场“版权战”开启,拼钱拼未来
实现以客户为中心的变革阿里双十一总成交额突破500亿 马云称要感谢中国妇女
互联网金融颠覆传统金融的八个领域新建库存报损单
参加首届AWS技术峰会的五大理由移动互联时代到来 企业IT架构应与时俱进
信息发布:广州名易软件有限公司 http://www.myidp.net
  • 名易软件销售服务
  • 名易软件销售服务
  • 名易软件技术服务

  • 中国大数据六大技术变迁记,中国大数据六大技术变迁记