数据蒋消费类股票堂 | 大数据技术的4个E
时间：2019-11-29 来源：新闻网 人浏览 -
作者：蒋步星
来源：数据蒋堂
本文共1100字，建议阅读8分钟。
本文将大数据特点总结成4个E，可作为选择大数据技术解决方案的参考。大数据的4个V说法在业界已经尽人皆知，这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆，类似4个V，我们把这些特性总结成4个E，用户在选择大数据技术解决方案时可作为参考。
Easy
大数据技术要足够简单易用
这个E很容易理解。
要进行大数据处理的场景很多，涉及工作人员也是各种各样的。如果技术的难度太大，那会导致只有少数人能应用，而且实施复杂度较高，这样大数据的应用就会大打折扣了。
大数据领域这种例子并不少，Hadoop刚出来时只有MapReduce，相对于完全用Java硬写，MapReduce已经简单了很多，所以会积累出一批拥趸。但MapReduce的难度仍然不小，所以逐步被后来封装出来的HIVE SQL替代。Spark上的Scala也风靡过一阵，但难度仍然不少，目前也逐步归于平静，更多的人还是愿意使用更简单的Spark SQL。
Elastic
大数据技术要具有弹性扩展能力
这个E也容易理解。
很多情况下，大数据并不是一下子就很大，而是逐步变大的。即使已经较大的数据，也还会进一步变得更大。因此要求大数据处理技术有一定的弹性扩展能力就是很自然的事情，这一点一般都不会被大数据技术提供商忽略掉。
当然，任何技术都有局限性，面向一般规模和面向超大规模的技术相差是很大的，不大可能有一种技术能够有效适应数据规模从0到无穷大的各个阶段(所谓有效适应是在各个阶段该技术都能达到相当优良的性能，而不只是可以处理），用户在选择技术时还要对自己的数据规模变化范围有一个预估。
Embeddable
大数据技术应可以被嵌入集成
这个E需要特别指出，常常不被重视。
大数据处理经常并不是一件独立的事情，它需要和具体的应用配合工作才能发挥其业务价值，这些处理常常在应用执行到某个环节时就需要进行，这样就要求相应的技术能够被方便地嵌入集成到应用程序中，随时随地被主程序调用。
特别地，大部分应用程序建立在J2EE架构上，因而对Java应用的可集成性就是个特别重要的指标。一般基于Java或SQL体系的大数据技术在集成方面都没太大问题，而其它技术体系的就难说了。而且，大多数大数据技术常常需要独立部署，即使其计算能力可以被集成，但必须依赖于外部的独立进程，不能被应用完全控制，有时会显得非常累赘。
Environment-friendly
大数据技术对数据环境要求尽量低
这个E是很多大数据技术不具有但却很重要的。
目前的大数据技术，如Hadoop和MPP等，都要求先把数据放进该技术规定的某种存储体系中。这样当然有意义，数据事先组织之后会获得更高的性能。但是，经常的情况是，我们需要处理的大数据事先并不在这些存储体系中，而且把外部数据搬进这些存储体系本身也是一种大数据处理，这些场景下都无法利用这些大数据技术了。
更好的大数据技术应当能不挑数据源，随便什么来源的数据都可以处理，只是有可能因为数据源的限制而一定程度地降低性能，但并不要求必须先做好ETL才能处理。
其实最后那个特性用E并不是很贴切，但为了凑4个E就对付了。这个词本来是环保的意思，开放的大数据技术可以少复制一些数据，少部署一些硬件，省点电，也算环保吧。
专栏作者简介
润乾软件创始人、首席科学家
清华大学计算机硕士，中国大数据产业生态联盟专家委员，著有《非线性报表模型原理》等，1989年，中国首个国际奥林匹克数学竞赛团体冠军成员，个人金牌；2000年，创立润乾公司；2004年，首次在润乾报表中提出非线性报表模型，完美解决了中国式复杂报表制表难题，目前该模型已经成为报表行业的标准；2014年，经过7年开发，润乾软件发布不依赖关系代数模型的计算引擎——集算器，有效地提高了复杂结构化大数据计算的开发和运算效率；2015年，润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”；2016、2017年，荣获中国电子信息产业发展研究院评选的“中国软件和信息服务业十大领军人物”；2017年度中国数据大工匠、数据领域专业技术讲堂《数据蒋堂》创办者。
— 完 —
关注清华-青岛数据科学研究院官方微信公众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。