大数据_站长网

大数据处理算法一：BitMap算法

所属栏目：[大数据] 日期：2020-12-31 热度：174

腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ ?解析:bitmap算法就好办多了 ?所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又[详细]
大数据处理算法二：Bloom Filter算法

所属栏目：[大数据] 日期：2020-12-31 热度：94

百度面试题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ Bloom?Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格[详细]
数据意识崛起，从企业应用看BI软件的未来发展

所属栏目：[大数据] 日期：2020-12-31 热度：114

前阵子，和一群企业CIO聊天，希望从甲方角度看看对BI产品的看法。在问及一些成熟企业为何不上BI项目时，大家纷纷表示目前还处于观望状态。提及BI，大家都觉得有些飘忽，和大数据一样，听着高大上，能真正实现落地的并没有多少，性价比甚至不如一个报表工[详细]
宋慧庆|广告系统中的大数据处理

所属栏目：[大数据] 日期：2020-12-31 热度：175

副标题#e# 宋慧庆，时趣互动移动广告架构师十余年互联网老司机，具有多年互联网广告系统研发经验，负责研发个性化动态创意系统，用户画像标签系统以及大数据治理；对编程语言有浓厚的兴趣。什么是大数据？从具备4V（Volume，Velocity，Variety，Value）[详细]
25、Power Query-日期与时间数据处理

所属栏目：[大数据] 日期：2020-12-31 热度：93

本节知识点：Power Query-日期与时间数据处理日期与时间数据处理功能位置（同样在“转换”和“添加列”菜单中都存在）：这里重点讲解一下某些知识点。比如年限：意思是当前系统日期减去选中列的日期，结果以“天时分秒毫秒”方式显示。月份下面的“一[详细]
媒体|郑宇：用大数据预测雾霾是如何做到的？

所属栏目：[大数据] 日期：2020-12-31 热度：126

副标题#e# （本文由澎湃新闻授权转载。） ? 全球范围里，有超过半数的人类居住在城市之中，城市化的进程也从未停止过。面对越来越庞大的城市，许多事情已经超出了控制：拥堵的交通，严重的空气污染，让人烦躁的噪音等等。 ? 没有人真正了解城市中到底发生了[详细]
[bigdata-023] pymongo 3.4和mongodb 2.x的安全机制导致的用户认

所属栏目：[大数据] 日期：2020-12-31 热度：168

#!/usr/bin/env python3#! coding:utf-8 -*-import pymongo"""python3.4.0 + mongo 2.4.14"""client = pymongo.MongoClient('114.55.239.66')client.tzdb1.authenticate("tzuser1","user1688",mechanism='MONGODB-CR')db = client["tzdb1"]devsycredit = d[详细]
大数求和问题（C++版本）

所属栏目：[大数据] 日期：2020-12-31 热度：116

大数求和其实是个纯模拟，我们小学2年级老师就我们通过列竖式求加法，从个位开始加，进位+1，唯一需要值得注意的是我们求出来的结果要为有效值，即00001=1,0000=0 #include iostream#include stringusing namespace std;string nAB(string A,string B);str[详细]
使用R语言挖掘QQ群聊天记录

所属栏目：[大数据] 日期：2020-12-30 热度：74

副标题#e# 数据挖掘入门与实战 ?公众号： datadw 1、获取数据从 QQ 消息管理器中导出消息记录，保存的文本类型选择 txt 文件。这里获取的是某群从 2016-04-18 到?2016-05-07 期间的聊天记录，记录样本如下所示。 2、数据预处理打开 R 软件，先通过 File—[详细]
视音频数据处理入门：PCM音频采样数据处理

所属栏目：[大数据] 日期：2020-12-30 热度：197

副标题#e# ===================================================== 视音频数据处理入门系列文章：视音频数据处理入门：RGB、YUV像素数据处理视音频数据处理入门：PCM音频采样数据处理视音频数据处理入门：H.264视频码流解析视音频数据处理入门：AAC音[详细]
视音频数据处理入门：AAC音频码流解析

所属栏目：[大数据] 日期：2020-12-30 热度：60

副标题#e# ===================================================== 视音频数据处理入门系列文章：视音频数据处理入门：RGB、YUV像素数据处理视音频数据处理入门：PCM音频采样数据处理视音频数据处理入门：H.264视频码流解析视音频数据处理入门：AAC音[详细]
自从有了BI商业智能系统，再也不用担心我的作图了！！！（图文）

所属栏目：[大数据] 日期：2020-12-30 热度：185

最近使用spotview商业智能系统，简单的一点体验分享一下。这是一个金蝶公司合作的产品，纯B/S架构，设计页面和展示端，现在这已经是不可抵挡的趋势了。只有后台设计模型是需要在服务器上做，类似于数据库里做视图，只要将有关联表的字段用线连接起来就OK[详细]
使用 R 语言挖掘 QQ 群聊天记录

所属栏目：[大数据] 日期：2020-12-30 热度：75

副标题#e# 1、获取数据从 QQ 消息管理器中导出消息记录，保存的文本类型选择 txt 文件。这里获取的是某群从 2016-04-18 到?2016-05-07 期间的聊天记录，记录样本如下所示。 2、数据预处理打开 R 软件，先通过 File—Change dir 切换到聊天文件所在目录。[详细]
大数据分析相关

所属栏目：[大数据] 日期：2020-12-30 热度：112

类比: 谈谈互联网后端基础设施 www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/ 文件系统: ??? hdfs 数据库: ?? hbase 计算系统: ?? hive sql管理和定时执行平台: ??? 阿里宙斯zeus.(自称调度,并没有资源协调功能,有hive本身完成) 统计分析和展现[详细]
[bigdata-022] hive和impala的对hbase的精细order by操作

所属栏目：[大数据] 日期：2020-12-30 热度：87

1. 要用hive给hbase的表创建一个外部表。不能用impala，因为它在这块有缺陷。 2. 在hive创建一个本地表，注意，一定不要创建在hbase上。 3. 在hive里，执行order by命令，对外部表进行排序，然后将排序结果写入到2创建的hive本地表。这时候，因为order by[详细]
大数据分析当人们谈《鬼吹灯》时，都谈些什么？

所属栏目：[大数据] 日期：2020-12-30 热度：147

副标题#e# 文 | 艾漫数据近日，又一部考古探险题材网剧火热上线，老干部靳东搭档陈乔恩主演的《鬼吹灯之精绝古城》。相比之前同类型作品，这次的改编开播后的口碑可以用“交口称赞”形容，上线两周后好评率达到87%以上。小编不禁好奇，究竟是什么样的内容[详细]
分享：2017年商业智能 BI 发展趋势分析

所属栏目：[大数据] 日期：2020-12-30 热度：84

副标题#e# 在展望2017年商业智能 BI 发展趋势前，我们先来了解一下商业智能?BI?发展的几个重要阶段。传统 BI 和新型 BI 的分水岭（2013年）大背景在2013年以前相当长的一个周期（2005年-2013年），市场主要流行的商业智能BI产品以?SAP BO、Oracle BIEE、[详细]
leetcode 43. Multiply Strings 9大数相差（java实现）

所属栏目：[大数据] 日期：2020-12-30 热度：74

原题： Given two non-negative integers? num1 ?and? num2 ?represented as strings,return the product of? num2 . Note: The length of both? num2 ?is 110. Both? num2 ?contains only digits? 0-9 . Both? num2 ?does not contain any leading zero.[详细]
《Speed-BI云平台-基于Excel数据源的技巧应用：区域销售收入分析

所属栏目：[大数据] 日期：2020-12-26 热度：106

对于刚接触speed-BI的朋友们，一些看似很简单很琐碎的动作，当没有小窍门和智能化的操作就会使得工作量变大，时间耗起来真要命。本次课就将围绕speed-BI常用的功能进行串讲，还有特别的小技巧一并教授，成为speed-BI的技巧王！ ? 课程应用：本次课程以销[详细]
[bigdata-042]从头搭建 spring+mvc+boot+tomcat

所属栏目：[大数据] 日期：2020-12-26 热度：55

副标题#e# 1. 需求 1.1 在spring.io下载一个spring mvc的demo，能运行成功。 1.2 按照自己的理解，重写这个例子，并做适当修改，运行成功。 1.3 将这个例子打包成war包，放到tomcat运行成功。 2. 在spring.ip下载spring mvc并运行 2.1 spring的例子在 http:[详细]
[bigdata-043] tomcat的一些资料和文档试用（未整理）

所属栏目：[大数据] 日期：2020-12-26 热度：194

1. tomcat的官网在这里 http://tomcat.apache.org/whichversion.html 2. tomcat的版本跟jdk相关。jdk1.8已经广泛使用，选择tomcat 9优先。 3. 下载tomcat 9 3.1 首先要阅读文档 https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-9/v9.0.0.M17/R[详细]
[bigdata-044] CDH的官方文档部分翻译（未整理且未完成）

所属栏目：[大数据] 日期：2020-12-26 热度：164

1. cloudera官网 http://www.cloudera.com/ 2. cloudera文档 http://www.cloudera.com/documentation.html 3. 文档分为三个部分 ? 3.1 cloudera enterprise: cdh,cloudera manger,search,impala,spark。 ? 3.2 cloudera director: 安装指南，配置，以及使[详细]
慧眼云：基于云计算和大数据分析的主动防御实践

所属栏目：[大数据] 日期：2020-12-26 热度：134

http://www.csdn.net/article/1970-01-01/2825623 不论IT如何变迁，网络安全始终是不过时的话题。但不同环境的网络安全有不同的内涵，当前全产业转型“互联网+”，云计算、大数据和移动互联网技术的普及应用，极大地改变了IT架构，网络边界越来越模糊，同[详细]
[bigdata-045] redis故障处理 #34;Can#39;t save in backg

所属栏目：[大数据] 日期：2020-12-26 热度：148

发现官网出错了。经过检查，发现连接不到redis。检查redis的log，发现错误 Can't save in background: fork: Cannot allocate memory 搜索相关资料，这里说的比较详细 http://www.cnblogs.com/qq78292959/p/3994341.html http://blog.csdn.net/zqz_zqz/art[详细]
[bigdata-046] eclipse+spring开发web然后部署到tomcat

所属栏目：[大数据] 日期：2020-12-26 热度：105

1. 用eclipse开发spring，需要使用相关的ide 2. spring官网的ide https://spring.io/tools/eclipse 3. spring的tool suite https://spring.io/tools/sts 这个是专用开发spring的。选择 https://spring.io/tools/sts/all 这里的linux64版本。 4. 在eclipse[详细]

7270

238