首页信息科技计算机计算机综合 在大成讲坛,讲出你的精彩!

作品简介:

随着科学、技术和工程的迅猛发展,近20年来,许多领域(如光学观测、监控系统、健康医疗、传感器、用户数据、互联网、金融公司以及供应链系统等)都产生了海量的数据,大数据的概念随之应运而生。与传统的数据相比,除了大容量等表象特点,大数据还具有4V特征,即容量(Volume)、多样性(Variety)、速度(Velocity)和价值(Value)。因此,大数据的发展需要全新的体系架构,用于处理大规模数据的获取、分析、挖掘、存储、可视化等。本文对大数据平台架构、数据获取、分析、挖掘、存储、可视化等技术进行详细介绍,并对大数据的具体应用进行阐述,为非专业读者提供大数据的全景知识,也为高级读者定制自己的大数据解决方案提供辅助思考,也希望能对大数据相关的科技和工程人员起到参考作用。

更多
收起
尚文倩
中国传媒大学计算机学院
第1章 大数据概述
1.何为大数据?
<正>尽管有关大数据的新闻、事件不断吸引着我们的眼球,但到底什么是大数据,估计并没有几个人能够说得透彻。阿里巴巴集团数据平台事业部数据产品开发工程师卡特大数据是海量的(Volume)、多种类的(Variety)、需要大规模的处理才能够凝聚足够价值的(Value)、处理和检索响应速度快的(Velocity)的...   详情>>
来源:《中国服饰》 2013年第07期 作者:
2.大数据及其成因
涂子沛
大数据的成因源于信息技术的发展。回顾半个多世纪人类信息社会的历史,1966年摩尔定律的提出,使晶体管越做越小、成本越来越低,为大数据现象的形成奠定了物理基础,这相当于铸器,人类有能力制造巨鼎盛载海量的数据;1989年数据挖掘技术的产生,让大数据实现了"大价值";2004年出现的社交媒体,则把...   详情>>
来源:《科学与社会》 2014年第01期 作者:涂子沛
3.大数据发展历程综述
陈颖
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据作为一项新兴且潜在价值巨大的资产,正极大地影响并改变着宏观经济、农业、商业、金融、医疗保健、社会安全等领域。本文通过对国内外大数据相关文献的回顾,结合最新国际国内发展情况,包括亲身经历,对大数据的国际国内发展历...   详情>>
来源:《当代经济》 2015年第08期 作者:陈颖
4.网络大数据:现状与展望
王元卓;靳小龙
网络大数据是指"人、机、物"三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大...   详情>>
来源:《计算机学报》 2013年第06期 作者:王元卓;靳小龙
5.架构大数据:挑战、现状与展望
王珊;王会举
大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点.为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方...   详情>>
来源:《计算机学报》 2011年第10期 作者:王珊;王会举
第2章 大数据获取
1.网络大数据——复杂网络的新挑战:如何从海量数据获取信...
周涛
<正>2012年3月,奥巴马政府公布了"大数据研发计划",美国国家科学基金会、国防部、能源部、国家健康研究所、地质勘探局和国防部先进研究计划局六个联邦部门和机构共同投资2亿美元,致力于提高和改进人们从海量和复杂的数据中获取知识的能力。这是美国1993年宣布"信息高速公路"计划后又一次重大...   详情>>
来源:《电子科技大学学报》 2013年第01期 作者:周涛
2.基于语义的网络大数据组织与搜索
吴纯青;任沛阁
随着信息技术的飞速发展,网络空间中出现海量异构的数据资源,网络大数据逐渐引起了人们的关注.从网络大数据中发现并获取用户所需的数据资源,需要对网络大数据进行有效地组织管理并进行基于数据语义的相似搜索.为此,需要从网络数据资源中抽取其特征/属性构造高维语义空间,并将数据资源及用户查...   详情>>
来源:《计算机学报》 2015年第01期 作者:吴纯青;任沛阁
3.一种基于数据质量的异构多源多模态感知数据获取方法
马茜;谷峪
近年来,物联网由于其广阔的应用前景得到快速发展,感知设备的种类也越来越丰富.并且很多应用中均通过部署多个相互独立的异构数据源对监测对象的多维属性进行度量,由此得到异构多源多模态感知数据.但由于硬件设备固有的限制以及环境噪声等因素的影响,感知设备不可避免地存在漏读、多读、错读等...   详情>>
来源:《计算机学报》 2013年第10期 作者:马茜;谷峪
4.主题爬虫的关键技术
赵强
随着Internet的快速发展,越来越多的用户提出与主题或者领域相关的查询需求,而传统通用搜索引擎已经无法满足这一需求。为了克服传统通用搜索引擎的不足,研究者提出面向主题的爬虫。首先给出主题网络爬虫的定义,接着提出主题爬虫的三个关键技术:抓取目标、网页搜索策略和网页主题相关性算法,最...   详情>>
来源:《现代计算机(专业版)》 2014年第03期 作者:赵强
5.深层网站Ajax页面数据采集研究综述
杨俊峰;黎建辉
如果能够提高网络爬虫采集Ajax网页数据的能力,必然会提高搜索引擎的覆盖率和准确率。因此,深层网站Ajax页面数据采集成为当前网络爬虫技术研究的热点之一。从深层网站Ajax页面数据采集的研究目标、近年来国内外采取的研究方法和取得的成果(研究领域、采集流程、支撑技术)、未来的研究方向三个...   详情>>
来源:《计算机应用研究》 2013年第06期 作者:杨俊峰;黎建辉
6.基于多策略的新浪微博大数据抓取及应用
孙晓;叶嘉麒
微博数据处理属于大数据范畴,其前提是获取大量的微博数据,而由于商业利益以及安全方面的考虑,获取微博数据的途径越来越少。同时随着新浪官方API的逐步更新,数据获取的限制也日益增加。文章尝试利用现有资源,基于多策略获取机制,设计出可稳定获得新浪微博数据的挖掘方案,并给出情感分析应用实...   详情>>
来源:《合肥工业大学学报(自然科学...》 2014年第10期 作者:孙晓;叶嘉麒
7.基于众包的社交网络数据采集模型设计与实现
高梦超;胡庆宝
社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。针对传统搜索引擎无法利用关键字检索技术直接索引社交网络平台信息的现状,基于众包模式,采用C/S架构,设计社交网络数据采集模型,包含服务端、客户端、存储系统与主题Deep Web爬虫系统4个模块。通过主题...   详情>>
来源:《计算机工程》 2015年第04期 作者:高梦超;胡庆宝
8.基于Web数据挖掘的网站知识获取及应用——以大众点评网...
尤建新;孟银薇
在知识经济时代,知识获取在企业管理中的重要性日益凸显.随着互联网及其相关应用的迅速发展,企业经营管理者需要从其产生的海量信息中获取潜在的、能够支持企业经营管理决策的知识.在分析已有的研究成果及经验的基础上,设计并给出了基于Web数据挖掘的网站知识获取的流程和方法,并基于大众点评...   详情>>
来源:《上海大学学报(自然科学版)》 2014年第03期 作者:尤建新;孟银薇
第3章 大数据分析
1.大数据系统和分析技术综述
程学旗;靳小龙
首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作...   详情>>
来源:《软件学报》 2014年第09期 作者:程学旗;靳小龙
2.大数据分析与高速数据更新
陈世敏
大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后...   详情>>
来源:《计算机研究与发展》 2015年第02期 作者:陈世敏
3.面向大数据的分析技术
高志鹏;牛琨
大数据分析作为整个大数据处理流程的核心,旨在从对大数据的分析中获取知识,其相关内容包括可视化分析、数据挖掘、预测分析、语义分析及数据质量管理.从大数据时代背景出发,介绍大数据分析的基础理论,阐述大数据分析相关的前沿技术和处理工具,总结当前大数据分析所面临的机遇和挑战,并就大数...   详情>>
来源:《北京邮电大学学报》 2015年第03期 作者:高志鹏;牛琨
4.大数据背景下数据科学分析工具现状及发展趋势
杨京;王效岳
文章根据大数据时代的特征,分析了海量数据给数据科学分析工具带来的主要挑战,介绍了为应对挑战而发展的大数据分析工具,并对比分析了R语言、Rapid Miner、Mahout三种数据科学中比较流行的大数据分析工具,发现R语言和Rapid Miner功能全面,而Mahout具有突出的大数据分析能力,最后指出了数据科学...   详情>>
来源:《情报理论与实践》 2015年第03期 作者:杨京;王效岳
5.数据分析与SPSS软件应用
潘淑霞;孙王杰
目的探讨用SPSS进行数据分析的方法。方法针对数理统计中方差分析的模型,给出了应用统计软件SPSS进行方差分析的方法。结果用此法,直观、快速、全面。结论数据分析与SPSS软件应用有重要的实际意义,可以为企业、教育科研及政府机构提供全面信息统计决策支持服务。   详情>>
来源:《吉林医药学院学报》 2005年第03期 作者:潘淑霞;孙王杰
6.SAS引领大数据分析新浪潮
李庆莉
<正>当前,大数据已成为商业领域最重要发展趋势之一。在全球数据总量呈指数增长的同时,如何利用大数据带来的巨大机遇,创造实实在在的价值成为业界关注的热点话题。日前,SAS公司在京召开了主题为"大数据分析—知变与机遇"的第二届中国用户大会暨商业分析领袖峰会。会议重点探讨了大数据分析技...   详情>>
来源:《中国金融电脑》 2014年第05期 作者:李庆莉
7.R语言在大数据处理中的应用
杨霞;吴东伟
互联网数据的爆炸性增长催生了诸多海量数据存储与大数据处理的新技术,本文对基于Hadoop平台利用R语言进行大数据处理分析的方法进行了探讨。   详情>>
来源:《科技资讯》 2013年第23期 作者:杨霞;吴东伟
8.基于Python的数据批处理技术探讨及实现
李强;白建荣
通过研究Arc GIS中信息处理技术,以及Python脚本语言在Arc GIS中的二次开发技术,介绍了Arc GIS中数据的批处理工具的开发原理和过程,并且运用这一方法实现了批量裁切、批量拼接、批量定义投影、批量空表删除和批量按属性提取等工具,将其集成成批处理工具箱。使用这种方法开发的批处理工具,弥补...   详情>>
来源:《地理空间信息》 2015年第02期 作者:李强;白建荣
9.大数据分析及其在医疗领域中的应用
邹北骥
互联网和物联网技术的快速发展给数据的上传与下载带来了前所未有的便利,使得互联网上的数据量急剧增长,由此产生了针对大数据的存储、计算、分析、处理等新问题,尤其是对大数据的挖掘。文章分析当前大数据产生的背景,阐述大数据的基本特征及其应用,结合医疗领域,论述医疗大数据分析的目的、意...   详情>>
来源:《计算机教育》 2014年第07期 作者:邹北骥
10.基于云计算的电力大数据分析技术与应用
吴凯峰;刘万涛
为解决电力数据分析系统在大数据时代面临的严重的性能与可伸缩性瓶颈,更好地满足生产、营销等系统的需求,分析了云计算技术的优势,提出了基于云计算的电力大数据分析系统体系结构及关键技术。基于分布式并行计算框架Hadoop和Hive,面向电力大数据特征,设计了多维索引、SQL自动翻译工具和支持数...   详情>>
来源:《中国电力》 2015年第02期 作者:吴凯峰;刘万涛
第4章 大数据挖掘与知识发现
1.大数据时代的数据挖掘技术与应用
李平荣
随着数据挖掘技术研究的进步与发展,并伴随着大数据概念的提出,将为数据挖掘技术的发展和应用带来一个很大的机遇,数据挖掘技术将进入一个新的发展时期.文章全面介绍了大数据,数据挖掘的基本概念以及数据挖掘的分析方法,最后给出了大数据时代的挖掘技术的应用领域及将来发展方向.   详情>>
来源:《重庆三峡学院学报》 2014年第03期 作者:李平荣
2.大数据挖掘分析
程陈
同"互联网"、"云计算机技术"相比,大数据的发展更为迅速,它被用于社会的各个方面,例如交通、企业管理、安全监测以及我们的生活。相关人员声明,全球的数据量将在2020年达到35ZB,因而,大数据的涵义以及数据挖掘带给社会经济的挑战成为了人们关注的要点。   详情>>
来源:《软件》 2014年第04期 作者:程陈
3.网络大数据下的冗余数据分类优化算法研究
欧阳柏成
提出了基于模糊支持向量机算法网络大数据下的冗余数据分类优化方法。提取网络大数据环境下的冗余数据属性特征,为冗余数据分类提供准确的数据基础。根据模糊支持向量机相关理论,获取最优分类平面,从而实现冗余数据分类优化处理。实验结果表明,利用改进算法进行网络大数据下的冗余数据分类优化...   详情>>
来源:《微电子学与计算机》 2015年第01期 作者:欧阳柏成
4.用于大数据分类的KNN算法研究
耿丽娟;李星毅
针对KNN算法在处理大数据时的两个不足对其进行了研究,提出多层差分KNN算法。算法对已知样本根据类域进行分层,既避免了传统改进算法中剪辑样本带来的判别误差,又大大降低了无效的计算量;同时在最后一层采用差分的方法进行决策,而不是直接根据最近邻进行分类,大大提高了分类的准确性。实验结果...   详情>>
来源:《计算机应用研究》 2014年第05期 作者:耿丽娟;李星毅
5.面向大数据集的有效聚类算法
古凌岚
为解决传统模糊C-均值算法无法适应大规模数据集体量大、冗余属性的问题,提出了一种面向大数据集的混合聚类算法。将大数据集划分为多个子集,对各子集进行聚类,通过合并得到最终聚类结果。对于子集采用基于基因表达式编程(GEP)和模糊C-均值的混合算法进行聚类,以改善聚类的质量和效率;基于相似...   详情>>
来源:《计算机工程与设计》 2014年第06期 作者:古凌岚
6.面向大数据处理的划分聚类新方法
卢志茂;冯进玫
大数据处理是物联网研究和应用上不可回避的难题之一,针对常用聚类方法在大数据处理上的不足,设计了一种划分聚类新方法。该方法采用了大数据集的抽样技术,对多次抽取的规模足够大的样本进行聚类以确定自然簇质心的初始位置,在此基础上采用抽样后剩余数据样本对质心的初始位置进行更新,以便校...   详情>>
来源:《系统工程与电子技术》 2014年第05期 作者:卢志茂;冯进玫
7.基于分治法的高维大数据集模糊聚类算法
王宝文;阎俊梅
将高维的大数据集随机分成若干个子集,对每个子集聚类采用一种基于遗传算法的高维数据模糊聚类方法。该方法引入了一个模糊非相似矩阵来表示高维样本之间的非相似程度,并将高维样本随机初始化到二维平面,利用遗传算法迭代优化二维样本的坐标值,实现二维样本之间的欧氏距离向样本间的模糊非相似...   详情>>
来源:《计算机工程》 2007年第24期 作者:王宝文;阎俊梅
8.大数据分析中的关联挖掘
金宗泽;冯亚丽
在这个信息量爆炸的年代,大数据越来越贴近我们的生活。论文从大数据从何而来、如何研究大数据入手,通过对大数据分析流程框架进行阐述,提出了大数据分析中关联挖掘的重要性。并通过对大数据关联挖掘给出了相应的研究方案,通过系统对其关联模式进行分析,同时也可通过人为的参数选择对研究的参...   详情>>
来源:《计算机与数字工程》 2014年第10期 作者:金宗泽;冯亚丽
9.数据挖掘中常用关联规则挖掘算法
王爱平;王占凤
文中首先介绍了数据挖掘中关联规则的经典算法——Apriori算法。再从宽度、深度、划分、采样、增量式更新等几个角度对关联规则挖掘进行了分类讨论。然后运用文献查询和比较分析的方法对常见的关联规则挖掘算法进行了概述,主要包括FP-growth算法、DHP算法、Partition算法、FUP算法、CD算法等算...   详情>>
来源:《计算机技术与发展》 2010年第04期 作者:王爱平;王占凤
10.一种高效的多层和概化关联规则挖掘方法
毛宇星;陈彤兵
通过对分类数据的深入研究,提出了一种高效的多层关联规则挖掘方法:首先,根据分类数据所在的领域知识构建基于领域知识的项相关性模型DICM(domain knowledge-based item correlation model),并通过该模型对分类数据的项进行层次聚类;然后,基于项的聚类结果对事务数据库进行约简划分;最后,将约...   详情>>
来源:《软件学报》 2011年第12期 作者:毛宇星;陈彤兵
11.基于大数据的线上线下电商用户数据挖掘研究
徐国虎;孙凌
分析了大数据环境下的O2O电商用户数据特征,提出O2O电商用户数据挖掘框架,并探讨数据挖掘流程和主要的数据挖掘方法,分别从O2O电商平台、O2O用户和O2O商家三者角度探讨了O2O电商用户数据挖掘的应用问题.研究认为:O2O用户数据挖掘框架包括数据来源层、数据收集层、数据组织层、数据分析层与数据...   详情>>
来源:《中南民族大学学报(自然科学...》 2013年第02期 作者:徐国虎;孙凌
12.大数据时代下数据挖掘技术在电力企业中的应用
卢建昌;樊围国
首先对大数据进行了阐述,进而讨论了大数据时代下电力企业面临的巨大挑战;在此基础上指出在电力大数据时代下利用数据挖掘技术对电力企业产生的巨大影响;然后通过描述数据挖掘技术的一系列步骤,指出了电力大数据时代下,数据挖掘技术在电力企业的实现途径;最后,从智能电网、电力客户关系管理、...   详情>>
来源:《广东电力》 2014年第09期 作者:卢建昌;樊围国
13.Hadoop分布式架构下大数据集的并行挖掘
吕婉琪;钟诚
基于Hadoop分布式计算平台,给出一种适用于大数据集的并行挖掘算法。该算法对非结构化的原始大数据集以及中间结果文件进行垂直划分以确保能够获得完整的频繁项集,将各个垂直分块数据分配给不同的Hadoop计算节点进行处理,以减少各个计算节点的存储数据,进而减少各个计算节点执行交集操作的次数...   详情>>
来源:《计算机技术与发展》 2014年第01期 作者:吕婉琪;钟诚
14.政府网络舆情日志大数据挖掘实证研究
李祝启;陆和建
以合肥市政府网站舆情日志为例,采用日志分析法和统计分析法,利用Awstats软件大数据挖掘技术处理相关日志文件,利用SPSS软件对处理后的数据进行描述性以及推断性分析,得出政府网络舆情日志大数据挖掘的相关研究结果可以应用到用户行为规律以及优化政府决策方式等相关研究中的结论。   详情>>
来源:《情报科学》 2014年第11期 作者:李祝启;陆和建
第5章 大数据可视化
1.大数据可视分析综述
任磊;杜一
可视分析是大数据分析的重要方法.大数据可视分析旨在利用计算机自动化分析能力的同时,充分挖掘人对于可视化信息的认知能力优势,将人、机的各自强项进行有机融合,借助人机交互式分析方法和交互技术,辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧.主要从可视分析领域所强调的认知...   详情>>
来源:《软件学报》 2014年第09期 作者:任磊;杜一
2.科学计算中大数据可视化分析与应用
代双凤;董继阳
随着计算机软硬件的飞速发展及网络的迅速普及,科学计算中的数据量呈现爆炸式增长。大数据可视化已经成为科学计算中的重要研究内容之一。本文介绍了大数据的定义,阐述了可视化分析领域及科学计算中大数据可视化的重要意义;分析和讨论了传统的科学计算可视化研究方法,以研究数据场的类型为标准...   详情>>
来源:《工程研究-跨学科视野中的工...》 2014年第03期 作者:代双凤;董继阳
3.基于Web的科学数据可视化在数据共享中的应用
刘鹏;郭建文
从数据可视化处理的角度出发,对黑河流域e-Science生态—水文数据共享平台中的所有数据按其各自特点进行归类,大致分为矢量数据、栅格数据、自动气象站观测数据(AWS)、通量数据(FLUX)、普通文档数据和图片数据6种类型;然后通过比较研究,最终选择开源的WebGIS地图发布工具MapServer、基于Flash...   详情>>
来源:《遥感技术与应用》 2011年第06期 作者:刘鹏;郭建文
4.移动互联网数据可视化技术及应用研究
张青;陶彩霞
大数据时代的到来给电信运营商带来了更多的机会和挑战,为从日趋庞大的数据中快速提炼出有用的信息,亟需研究大数据可视化技术,以有效支撑精准分析和决策。总结了移动互联网数据可视化新技术的特征,并结合多个移动互联网客户画像的典型场景,深入探讨数据可视化技术的实际应用。   详情>>
来源:《电信科学》 2014年第10期 作者:张青;陶彩霞
5.改进的多变元数据可视化方法
孙扬;唐九阳
针对传统多变元可视化方法--星形坐标法(star coordinates,简称SC)降维过程信息损失较为严重、可视化结果无法体现维度分布信息及手动配置维度轴十分繁杂的不足,提出一种改进的星形坐标法(advanced star coordinates,简称ASC),使用沿直径方向的向量作为维度轴,设计维度轴配置策略优化各维度轴...   详情>>
来源:《软件学报》 2010年第06期 作者:孙扬;唐九阳
6.数据新闻:大数据时代新闻可视化传播的创新路径
郎劲松;杨海
数据新闻是当下腹背受敌的新闻业突围的重要方向,敏锐的一线记者和媒体已经在探索如何利用数据更深层次地洞察正在发生的新闻事件,让新闻报道焕发新的活力与魅力。数据新闻通过挖掘和展示庞杂数据背后的关联与模式,利用丰富的、交互的可视化传播,丰富新闻报道的方式。本文试图对数据新闻的理论...   详情>>
来源:《现代传播(中国传媒大学学报...》 2014年第03期 作者:郎劲松;杨海
7.基于关联分析的网络数据可视化技术研究综述
孙秋年;饶元
当今万维网、社会关系网等网络的规模迅速发展,海量高维的网络论坛数据给论坛管理员和其他分析人员提出了巨大的挑战,人们很难对隐藏着丰富信息资源的网络论坛数据进行管理和分析。关联规则可以挖掘数据中隐藏的关联关系并预测其发展趋势,可视化技术则能将数据清晰直观地展示,辅助用户决策。于...   详情>>
来源:《计算机科学》 2015年第S1期 作者:孙秋年;饶元
8.大数据可视化技术在电网企业的应用
王栋
随着大数据挖掘研究的不断深入,可视化技术越来越成为大数据挖掘分析的重要推动工具。文中概述了大数据挖掘可视化技术的基本含义及其应用。针对电网企业三类大数据:电网运行数据、电力客户数据、电网企业管理数据,提出了大数据挖掘可视化的分析思路,并对电网企业可视化技术运用平台的构建提出...   详情>>
来源:《江苏电机工程》 2014年第06期 作者:王栋
9.地质数据三维可视化的属性、分类和关键技术
吴冲龙;何珍文
地质数据三维可视化具有显著的空间决策支持属性,其应用分类包括表达可视化、分析可视化、过程可视化、设计可视化和决策可视化。能否实现这两类"五个可视化",是检验所有地质三维可视化软件的水平和质量的试金石。地质数据三维可视化技术在矿产资源勘查、工程地质勘查、矿山设计开发、水利水电...   详情>>
来源:《地质通报》 2011年第05期 作者:吴冲龙;何珍文
10.空间数据可视化的研究与发展
吴加敏;孙连英
随着3S技术的融合和空间信息处理技术的发展和广泛应用,空间数据的可视化以及基于可视化技术的空间分析、空间数据挖掘和知识发现已经发展成为空间信息处理的重要手段和关键技术。可视化方法已由数据的空间展现逐步发展成为可以表现数据的内在复杂结构、关系和规律的技术。由静态空间关系的可...   详情>>
来源:《计算机工程与应用》 2002年第10期 作者:吴加敏;孙连英
第6章 大数据存储
1.大数据系统综述
李学龙;龚海刚
随着科学、技术和工程的迅猛发展,近20年来,许多领域(如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统)都产生了海量的数据(更恰当的描述或许是"无限"的数据,例如,在光学观测和监控等应用中,数据都是源源不断而来的,形成了"数据灾难"),大数据的概念也随之...   详情>>
来源:《中国科学:信息科学》 2015年第01期 作者:李学龙;龚海刚
2.大数据管理:概念、技术与挑战
孟小峰;慈祥
云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来.数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用大数据已经成为普遍关注的话题.大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方...   详情>>
来源:《计算机研究与发展》 2013年第01期 作者:孟小峰;慈祥
3.大数据存储技术和标准化
李海波;程耀东
针对目前大数据存储技术的标准化问题和面临的挑战,详述了现有的大数据存储技术以及应用情况,参考并分析现有云存储接口标准,为大数据存储技术的未来发展提出标准化工作建议。   详情>>
来源:《信息技术与标准化》 2013年第05期 作者:李海波;程耀东
4.面向新型存储的大数据存储架构与核心算法综述
金培权;郝行军
大数据已成为目前学术界和工业界共同关注的热点问题,同时,闪存、相变存储器等新型存储技术也正在极大地影响着计算机系统的软硬件设计与应用。大数据管理面临着诸多的挑战,例如能耗、性能等,而新型存储介质则在I/O延迟、能耗等方面优于传统磁盘存储介质。面向新型存储技术的大数据管理旨在通...   详情>>
来源:《计算机工程与科学》 2013年第10期 作者:金培权;郝行军
5.基于NoSQL的文件型大数据存储技术研究
张艳霞;丰继林
针对云计算中不断增长的文件数据存储需求,提出非关系数据库(Not Only SQL)中文件型大数据的存储技术。脱离传统的信息系统和文件系统混合存储文件数据方法,采用MongoDB数据库集群作为存储底层,将数据存储于分布各MongoDB结点中,且存储空间可自由扩展。采用数据分片的方法,实现了文件型大数据...   详情>>
来源:《制造业自动化》 2014年第06期 作者:张艳霞;丰继林
6.一种基于Hive日志分析的大数据存储优化方法
王正也;李书芳
从2002年起,某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长,数据集高速增长,原生的Hive的查询性能已经不能令人满意。文章研究了大数据及存储的现状,提出了一种基于存储日志的分析的Hive存储格式优化方法,通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升...   详情>>
来源:《软件》 2014年第11期 作者:王正也;李书芳
7.基于Hadoop的海量数据存储平台设计与开发
崔杰;李陶深
随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop...   详情>>
来源:《计算机研究与发展》 2012年第S1期 作者:崔杰;李陶深
8.面向大数据分析的分布式文件系统关键技术
周江;王伟平
大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规...   详情>>
来源:《计算机研究与发展》 2014年第02期 作者:周江;王伟平
9.地质大数据存储技术
李婧;陈建平
在大数据时代背景下,地质大数据的研究及大数据相关技术为实现地质工作的现代化发展和信息化提供了有效的支撑。而当代大数据发展趋势,就是海量数据的存储及越来越多的事物的数据存在形式。通过梳理大数据处理的关键技术,总结归纳了大数据背景下现有存储技术及数据库的类型。在地质大数据和地...   详情>>
来源:《地质通报》 2015年第08期 作者:李婧;陈建平
10.混合云存储中海洋大数据迁移算法的研究
黄冬梅;杜艳玲
海洋数据是一种典型的大数据,如何利用混合云存储架构存储海洋大数据是海洋数据管理面临的一个挑战.针对混合云存储架构中的关键问题——数据迁移,提出了海洋大数据的生命周期,并且基于此给出混合云存储中海洋大数据的迁移算法.在迁移算法中,将海洋数据的敏感度、数据访问频率、数据大小、数据...   详情>>
来源:《计算机研究与发展》 2014年第01期 作者:黄冬梅;杜艳玲
11.电力大数据高速存储及检索关键技术研究与应用
杨德胜;陈江江
针对电力数据体量大、种类庞杂、横跨专业多等特点而引起的系统访问响应不及时的现状,本课题以生产、运营、营销、管理等各环节业务需求为研究对象,通过分析产生系统性能问题的原因,以大规模数据存储、大规模数据检索、即时处理等技术为基础,从电力大数据的访问特征、大数据高速存储、检索以及...   详情>>
来源:《电子测试》 2014年第03期 作者:杨德胜;陈江江
第7章 大数据应用
1.大数据应用的现状与展望
张引;陈敏
大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点.大数据应用就是利用数据分析的方法,从大数据中挖掘有效信息,为用户提供辅助决策,实现大数据价值的过程.主要介绍了大数据分析方法、分析模式以及常用的分析工具,将大数据应用归纳为6个关键领域———结构化数据分析、文本分析...   详情>>
来源:《计算机研究与发展》 2013年第S2期 作者:张引;陈敏
2.医疗卫生领域大数据应用探讨
周光华;辛英
近年来医疗卫生信息化发展迅速,医疗卫生领域也迎来了大数据时代的潮流。本文简述了大数据技术的概念和特点,概述了大数据在各行各业中的应用情况,综述了我国医疗卫生数据资源现状,结合国内外大数据在医疗卫生领域的应用情况,分析了我国医疗卫生领域在大数据医药研发、疾病管理、公共卫生和健...   详情>>
来源:《中国卫生信息管理杂志》 2013年第04期 作者:周光华;辛英
3.零售业大数据:形成、应用及启示
郑淑蓉
数据是各种信息原始记录的数值,零售业数据经历了手工记录和电子收款机、PC机和POS系统、用户原创的互联网以及移动和感知式物联网四个阶段的演进,从而形成零售业大数据。零售业大数据的应用,有利于新型数据竞争力的构建、顾客需求的精准化洞察以及数据创新思维的实现;云计算、关系数据库、数...   详情>>
来源:《理论探索》 2014年第02期 作者:郑淑蓉
4.大数据在智慧农业中研究与应用展望
孙忠富;杜克明
"大数据"是继物联网、云计算之后信息技术产业又一次重要的技术变革,已成为数据挖掘和智慧应用的前沿技术,科技已经进入了"大数据"时代。阐述了大数据发展的背景、大数据与物联网等的关联、大数据基本内涵和关键技术等,并结合农业特点,分析了大数据在农业上的需求、主要应用领域及其在智慧农业...   详情>>
来源:《中国农业科技导报》 2013年第06期 作者:孙忠富;杜克明
5.电信行业大数据应用的四个方向
黄小刚
分析国内电信运营商在大数据应用方面的主要优势和发展现状,指出大数据应用是数据化经营的新阶段,并介绍大数据在流量经营、智能客服、个性化服务和对外数据服务四个方向上的应用思路。   详情>>
来源:《信息通信技术》 2013年第06期 作者:黄小刚
6.金融业大数据应用研究
刘寒;孙晶
大数据技术不断发展,同传统行业的结合势在必行。金融业是以数据为基础的行业,在大数据应用领域首当其冲。金融领域的银行、保险、证券三大业务已经同大数据全方位结合发展。但在大数据规范完善、信息安全、金融企业大数据平台建设、分析能力方面还有待进一步发展。   详情>>
来源:《电信网技术》 2015年第02期 作者:刘寒;孙晶
7.大数据在我国房地产企业中的应用研究
杜丹阳;李爱华
从房地产企业的视角阐述大数据的应用情况,分析近年来大数据在我国房地产企业中的应用案例,并结合国外个别经典案例分析大数据在房地产企业开发和营销方面的积极作用。研究表明,大数据有利于房地产企业进行理性开发和多元化、创新性投资;有利于房地产企业实现精确营销,扩展业务范围或通过与第...   详情>>
来源:《中国房地产》 2014年第12期 作者:杜丹阳;李爱华
8.大数据在公共交通中的应用
陈美
及时、高效、准确的交通数据获取是分析交通管理机制,构建合理城市交通管理体系的前提,而这一难题可以通过大数据管理得到解决。美国、英国和我国的深圳对大数据在交通管理中的应用进行了实践与探索。通过大数据进行公共交通管理将面临着如何开放公共交通数据、如何保护个人隐私、如何进行交通...   详情>>
来源:《图书与情报》 2012年第06期 作者:陈美
9.大数据在智慧城市研究与规划中的应用
甄峰;秦萧
在信息与通信技术快速发展和智慧城市建设上升为国家新型城镇化发展战略的背景下,大数据在城市研究中的地位日趋重要,并影响着智慧城市规划理念和方法的创新。本文通过对国内外应用大数据进行城市研究的文献梳理,认为大数据可以为智慧城市研究与规划提供新的数据思维和理念,并加强城市管理者分...   详情>>
来源:《国际城市规划》 2014年第06期 作者:甄峰;秦萧
10.大数据在政府部门的应用
高常水;江道辉
大数据是从各种各样来源中搜集得到的海量数据信息的总称。从大数据的数据结构看,大约90%的数据是非结构化的,同时也也面临复杂性、安全和隐私风险等新挑战。文章分析了企业的大数据应用,也提出了国家和政府部门未来建设大数据战略应用项目的建议。   详情>>
来源:《物联网技术》 2014年第06期 作者:高常水;江道辉
11.食品药品检验行业大数据应用探讨
陈为;李健
<正>近年来,信息技术和互联网快速发展,根据国家食品药品监督管理总局要求,餐饮食品检验系统将建立全国餐饮食品检验检测信息化体系,实现餐饮食品检定机构自动化、流程化开展业务工作,并实现各级食品药品检验机构间的互联互通的信息共享。具体为建立中检院、各省(食品)药品检验所的两级餐饮服...   详情>>
来源:《中国医药导刊》 2014年第02期 作者:陈为;李健
12.航运大数据管理及其在公共服务领域的应用
李启雷
大数据管理是当前港口航运业关注的热点之一,对航运大数据的有效分析和利用能够为政府相关部门和功能性国企在公共服务领域发挥积极作用提供基础数据的支撑。航运大数据管理在实际应用中存在大数据人才储备不足、数据安全监管规则缺失、数据资产价值评估困难和政策约束影响数据共享等诸多难点...   详情>>
来源:《浙江大学学报(人文社会科学...》 2015年第03期 作者:李启雷
价格:¥27.80

书评

0/400
提交
以下书评由主编筛选后显示
最新 最热 共0条书评

分享本书到朋友圈