36大数据

大数据早报:瑞典用数据中心供暖 谷歌的AI码农写出了比真码农还有效的机器学习代码(10.20)
数据早知道,上36dsj看早报!来源36大数据,作者:奥兰多『甲骨文』甲骨文:越來越多亚太企业正受益于IaaS北京时间10月18日午间消息,根据甲骨文(Oracle)的一项全球调查,亚太地区企业从云基础设施服务中所获收益的占比在上季度大幅增长。近四分之三的受访者(74%)认为,基础设施即服务(IaaS)使企业更易于创新,较上季度增长了9%。同时,65%的企业认为,IaaS在速度和可用性方面提供了卓越的运营绩效,同比增长了18%。超过一半的受访者(61%)发现,他们的组织从迁移到云端中体验到了生产力的提升。而将近一半以上的受访者(53%)发现,他们的IT团队在其他的增值项目中拥有更大的施展空间。
「大数据」这词不火了 是不是因为没当年说的那么大
10月19日消息,国外媒体Slate刊文指出,“大数据(BigData)”一词已经变得没有以往那么红火了,为什么会这样呢?“大数据”的问题并不在于数据或者大数据本身很糟糕,而是在于盲目迷恋数据,不加批判地使用,那会引发灾难。数据也不一定完全反映你想要了解的事情的实际情况。以下是文章主要内容:5年前——2012年2月——《纽约时报》刊文高呼人类的一个新纪元的到来:“大数据时代”。该文章告诉我们,社会将开始发生一场革命,在这场革命中,海量数据的收集与分析将会改变人们生活的几乎每一个方面。数据分析不再局限于电子数据表和回归分析:超级计算的到来,伴随着可持续记录数据并将数据传送到云端的联网传感器的不断
大数据前景分析:Hadoop将被Spark替代?
谈到大数据,相信大家对hadoop和ApacheSpark这两个名字并不陌生。然而,最近业界有一些人正在大张旗鼓的宣扬Hadoop将死,Spark将立。他们究竟是危言耸听?哗众取宠?还是眼光独到堪破未来呢?与Hadoop相比,Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话,应该从哪一种开始呢?(1)先说二者之间的区别吧。首先,Hadoop与Spark解决问题的层面不同。Hadoop和ApacheSpark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施:它将巨大的数据集分派到一个由普通计算机组成的集群中的多个
从事大数据征信行业,你必须知道这些
征信行业历史起源征信机构始于19世纪30年代的美国。雏形是一些商业调研机构,服务民间或银行借贷业务,获取信息途径通过招募些调研人员去街巷走访,然后逐渐形成规模及规范化。作为起源之地,美国有3大征信机构都有百年历史,例如全国性3大个人征信机构益博睿、艾荃法克斯、环联。3大征信机构数据源95%相同、覆盖90%美国人。可以看出美国的征信数据覆盖率是非常广的。其征信服务覆盖行业也非常多。在美国个人征信收到严格的监管,监管法律也非常健全,目前企业征信基本不受监管。中国征信行业历史起源在中国,最早的专职征信机构是中华征信所,于1932年6月6日创办。国内征信行业快速发展基本是2003年后开始。在这一年中国
用区块链做网络身份证,能让上网更方便更安全吗
据TechCrunch报道,通常来说,身份是很难丢失的东西。但当我(本文作者尼克·米兰诺维奇(NikMilanovic),金融科技狂热者)今年早些时候徒步穿越亚洲和非洲时护照被盗后,我体验到了身份失窃带来的一系列后果。获得新护照的繁文缛节让我看到了当今身份管理系统究竟有多么糟糕!幸运的是,技术正处于身份认同领域发生重大转变的风口浪尖上。区块链技术(Blockchain)将为这个领域带来革命性的变化,但许多问题仍然没有答案。公司、政府机构以及非政府组织都在尝试各种各样的办法来解决这个问题,但它们都将对我们的生活方式产生深远影响。他们的承诺是,我们的身份将被整合,以便我们自己能够完全控制谁来访问这
深入分析一款简单的Github信息泄露爬虫
作者:grt1stnull0×01.前言Github作为一个代码托管平台,有着海量的开源代码和许多开发者。在代码上传时,有些开发者缺乏安全意识,会在不经意间泄露自己的密码或者密钥。本文以这里为切入点,介绍一个检索代码信息的小爬虫以及在写爬虫时的一些奇技淫巧。0×02.github信息泄露正如前言所述,缺乏安全意识的开发者会造成这个问题。不止web路径下的.git目录会泄露信息,在托管的开源代码中也会产生信息泄露。例子很多,比如php连接数据库的配置文件泄露,那么可能数据库帐号密码都泄露了,任何人都可以访问这个数据库。再比如通向内网的帐号密码,管理员帐号密码乃至ssh密钥。api,即应用程序编程
【漫谈数据仓库】 如何优雅地设计数据分层
一、文章主题本文主要讲解数据仓库的一个重要环节:如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景,超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步,大部分的数据经过粗暴的数据接入后就直接对接业务。数据建设发展到一定阶段,发现数据的使用杂乱无章,各种业务都是从原始数据直接计算而得。各种重复计算,严重浪费了计算资源,需要优化性能。二、文章结构最初在做数据仓库的时候遇到了很多坑,由于自身资源有限,接触数据仓库的时候,感觉在互联网行业里面的数据仓库成功经验很少,网上很难找到实践性比较强的资料。而那几本经典书籍里面又过于理论,折
AlexNet 网络详解及Tensorflow实现源码
作者:行动派Xdpie1.图片数据处理一张图片是由一个个像素组成,每个像素的颜色常常用RGB、HSB、CYMK、RGBA等颜色值来表示,每个颜色值的取值范围不一样,但都代表了一个像素点数据信息。对图片的数据处理过程中,RGB使用得最多,RGB表示红绿蓝三通道色,取值范围为0~255,所以一个像素点可以把它看作是一个三维数组,即:array([[[0,255,255]]]),三个数值分布表示R、G、B(红、绿、蓝)的颜色值。比如下图一张3*3大小的jpg格式的图片:它的图片经过Tensorflow解码后,数据值输出为image_path='images/image.jpg' filename_
自然语言处理终极方向:深度学习用于自然语言处理的5大优势
作者:JasonBrownlee在自然语言处理领域,深度学习的承诺是:给新模型带来更好的性能,这些新模型可能需要更多数据,但不再需要那么多的语言学专业知识。在自然语言处理领域,深度学习的承诺是:给新模型带来更好的性能,这些新模型可能需要更多数据,但不再需要那么多的语言学专业知识。关于深度学习方法有很多炒作和大话,但除了炒作之外,深度学习方法正在为挑战性问题取得最先进的结果,特别是在自然语言处理领域。在这篇文章中,您将看到深度学习方法应对自然语言处理问题的具体前景。看完这篇文章后,你会知道:自然语言处理深度学习的承诺。深度学习从业人员和研究科学家对自然语言处理深度学习的承诺有什么说法。自然语言处
R vs. Python,数据分析中谁与争锋?
作者:SunilKappalR和Python两者谁更适合数据分析领域?在某些特定情况下谁会更有优势?还是一个天生在各方面都比另一个更好?当我们想要选择一种编程语言进行数据分析时,相信大多数人都会想到R和Python——但是从这两个非常强大、灵活的数据分析语言中二选一是非常困难的。我承认我还没能从这两个数据科学家喜爱的语言中选出更好的那一个。因此,为了使事情变得有趣,本文将介绍一些关于这两种语言的详细信息,并将决策权留给读者。值得一提的是,有多种途径可以了解这两种语言各自的优缺点。然而在我看来,这两种语言之间其实有很强的关联。StackOverflow趋势对比上图显示了自从2008年(Stack
如何从MongoDB迁移到MySQL?这有现成经验!
作者:小码哥最近的一个多月时间都在做数据库的迁移工作,我目前在开发的项目在上古时代是使用MySQL作为主要数据库的,后来由于一些业务上的原因从MySQL迁移到了MongoDB,使用了几个月的时间后,由于数据库服务非常不稳定,再加上无人看管,同时MongoDB本身就是无Schema的数据库,最后导致数据库的脏数据问题非常严重。目前团队的成员没有较为丰富的Rails开发经验,所以还是希望使用ActiveRecord加上Migration的方式对数据进行一些强限制,保证数据库中数据的合法。本文会介绍作者在迁移数据库的过程中遇到的一些问题,并为各位读者提供需要停机迁移数据库的可行方案,如果需要不停机迁
Oracle 服务总线介绍
我们正设计一套针对电信供应商的新系统,并且锁定Oracle服务总线(OSB)作为企业服务总线。对我来说这款工具的最好的加分项就是强大的工具支持。Oracle已经将其所有企业集成软件栈集成为一个整体,将其捆绑为OracleSOA套件。本文将把重点放在OracleSOA套件11g的一部分,OracleOSB11g上。OracleSOASuite12c有很大的变化。然而ORacle12C套件中我喜欢的新功能是开发人员可以在一个IDE(集成开发环境)里,用JDeveloper开发BPEL(业务流程执行语言)以及开发OSB代码。关于OSB需要注意的几点如下:代理服务: 正如其名字所表明的,代理服务是为外
分布式数据库数据一致性原理说明与实现
前言分布式数据库的数据一致性管理是其最重要的内核技术之一,也是保证分布式数据库满足数据库最基本的ACID特性中的“一致性”(Consistency)的保障。在分布式技术发展下,数据一致性的解决方法和技术也在不断的演进,本文就以作者实际研发的分布式数据库作为案例,介绍分布式数据库数据一致性的原理以及实际实现。1.数据一致性1.1数据一致性是什么大部份使用传统关系型数据库的DBA在看到“数据一致性”时,第一反应可能都是数据在跨表事务中的数据一致性场景。但是本文介绍的“数据一致性”,指的是“数据在多份副本中存储时,如何保障数据的一致性”场景。由于在大数据领域,数据的安全不再由硬件来保证,而是通过软件
一文总结学习 Python 的 14 张思维导图
本文主要涵盖了Python编程的核心知识(暂不包括标准库及第三方库,后续会发布相应专题的文章)。首先,按顺序依次展示了以下内容的一系列思维导图:基础知识,数据类型(数字,字符串,列表,元组,字典,集合),条件&循环,文件对象,错误&异常,函数,模块,面向对象编程;接着,结合这些思维导图主要参考的资料,分享一下我的学习体验,一方面可供初学者参考,另一方面,也便于大家结合思维导图深入学习、理解、思考;最后,提供几篇文章链接,方便希望从Python2.x迁移到3.x的朋友理解。注意事项本篇笔记原先基于Python2.x,经历多次改版,目前最新版本基于Python3.x,由于参考资料多来源于2.x,可
Nmap插件编写之MySQL写库
作者:010sec0×01Nmap介绍Nmap是一款针对大型网络的端口扫描工具,尽管它也适用于单机扫描。在不同情况下,你可能需要隐藏扫描、越过防火墙扫描或者使用不同的协议进行扫描,比如:UDP、TCP、ICMP等。它支持:VanillaTCPconnect扫描、TCPSYN(半开式)扫描、TCPFIN、Xmas、或NULL(隐藏)扫描、TCPftp代理(跳板)扫描、SYN/FINIP碎片扫描(穿越部分数据包过滤器)、TCPACK和窗口扫描、UDP监听ICMP端口无法送达扫描、ICMP扫描(狂ping)、TCPPing扫描、直接RPC扫描(无端口映射)、TCP/IP指纹识别远程操作系统,以及相反
谷歌AutoML人工智能系统已可创建优于人类的机器学习代码
谷歌AutoML系统最近出产了一系列机器学习代码,其效率甚至比研究人员自身还要高。显然,这是对“人类优越论”的又一次打击,因为机器人“学生”们已经成为了“自我复制”的大师。AutoML是在人工智能顶级编程人才匮乏的情况下,作为一个解决方案而开发的。该团队提出了一种可以创建自学习代码的机器学习软件,系统会运行数千个模拟来确定代码的哪些方面可以作出改进,以及在改变后继续该过程、直到达成目标。GoogleNet架构设计示意图这是一个对“无限猴子理论”的绝佳展示,但Google并未让一只猴子敲键盘打造出Shakespeare,而是制造了一台能够自我复制编程的机器,且这些机器在数小时内表现,比人类程序员
重磅!SPORTRADAR收购NBA勇士队合作伙伴,体育大数据进入2.0时代
作者:郭阳科学技术是第一生产力,这句放之四海而皆准的话语,近年来在体育产业的世界里也得到了印证。今日,世界体育大数据的世界里再度传出重磅消息——全球领先的体育数据公司SportradarUS,LLC宣布,完成对MOCAPAnalytics,IncP的收购。而生态圈也第一时间联系到了这两家公司,以及SPORTRADAR在中国的合作伙伴贝泰科技,来共同探讨世界体育大数据的时代命题。一场跨国收购,两家顶级公司这两家公司虽然都是行业翘楚,但在国内同行可能此前了解并不多,因此圈哥还是先将这两家公司介绍给大家。Sportradar是体育数据和数字内容方面的行业巨头,总部位于瑞士,全球员工1700多人,目前
每个人都应该知道的3种机器学习算法
作者:EleniMarkou假设有一些跟数据相关的难题需要你去解决。之前你已经听过机器学习算法的厉害之处了,因此你自己也想借此机会尝试一番——但是你在这个领域并没有经验或知识。于是你开始用谷歌搜索一些术语,比如“机器学习模型”和“机器学习方法”,但一段时间后,你发现自己在不同算法之间已经完全迷失了,所以便开始放弃了。坚持才能胜利!幸运的是,我将在本文介绍三个主要的机器学习算法,了解了这些内容后,我相信针对于大多数的数据科学难题,你都可以满怀自信去解决。在下面的文章中,我们将讨论决策树、聚类算法和回归,指出它们之间的差异,并找出如何根据不同的案例选择最合适的模型。有监督学习VS无监督学习理解机器
大数据早报:微软内部Windows漏洞数据库曾被入侵 HappyOrNot获1450万美元A轮融资(10.19)
数据早知道,上36dsj看早报!来源36大数据,作者:奥兰多『数据安全』微软内部Windows漏洞数据库曾被入侵:后果可怕作为这个星球上覆盖率最高的操作系统,Windows的一举一动都影响着大家的使用体验,对于它的安全微软也是相当重视,但是让人没有想到的是。据路透社独家报道称,微软内部拥有一个数据库,里面包含了各种Windows漏洞,有些外界已经知晓,而有些是大家不知道的,保密级别在他们内部最高的,但是就是这么一个数据库,竟然在4年多以前遭到手段高明的黑客团伙入侵。2013年微软发现此事后,当时并未披露攻击的影响范围,要不是这次微软前员工的爆料,或许大家还被蒙在鼓里。这个数据库有多重要已经不言
PostgreSQL之时间戳自动更新
作者:Mike_Zhang问题描述PostgreSQL执行Insert语句时,自动填入时间的功能可以在创建表时实现,但更新表时时间戳不会自动自动更新。在mysql中可以在创建表时定义自动更新字段,比如:createtableab( idint, changetimestamptimestamp NOTNULL defaultCURRENT_TIMESTAMP onupdateCURRENT_TIMESTAMP );那PostgreSQL中怎么操作呢?解决方案通过触发器实现,具体如下:createorreplacefunctionupd_timestamp()returnstrigg
查看更多文章
36大数据
订阅