学习大数据big data作programmer, developer 需要的计算机配置

DDD888

我想学习大数据big data，我想知道我在家里该用如何的机器配置可以学习大数据

当然是不花钱最好，如果花钱的话，越少越好啦

准备学习下面的技术

Hadoop v2, MapReduce, HDFS
Pig, Hive, and Impala
NoSQL databases, such as HBase, Cassandra, MongoDB
Sqoop and Flume
Tableau
Cloudera's Sentry with Kerberos
Cloudera or Hortonworks distribution of Hadoop

dcxg

可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据
脑子不够用的

DDD888

dcxg 发表于 6-3-2016 07:00
可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据

可以介绍下需要如何的机器配置啊？机器如果不够的话，只好花钱买啦

我有下面的计算机

1 ibm x3650 m3 2 cpu L5640, 48gb ram, 144g hard disk
2 I7 4770K ,32 gb ram, 1.5TB hard disk
3 mac pro cpu x5670, 32gb ram, 2 TB hard disk

下面是网络设备
1 八口dlink gigabit switch
2 24口 cisco 3750g
3 16口 dlink 100兆switch

说到网速，我家现在是下载48.07mbps，上传7.47mbps,两年后，我家就可以装光纤，我打算装下载200mbps, 上传200mbps的服务，当然啦这要两年后啦

DDD888

dcxg 发表于 6-3-2016 07:00
可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据

这些机器够吗？
2x IBM BladeCenter 45x Blades 180 Cores 360GB RAM

2x IBM BladeCenter (E); each one has:

14x blade slots in 7U
4x 2000 watt PSU in one and 2x 2000 watt PSU in the second
2x redundant management modules
2x gigabit ethernet switches
2x redundant high speed blowers
Shared media tray with optical drive, floppy drive and USB 1.1 port

Also,
2x spare high speed blowers
2x spare management modules

45x HS20 8843-IAA Blades; each one has
2x Xeons
8GB RAM
NO DISKS

dcxg

DDD888 发表于 6-3-2016 07:08
可以介绍下需要如何的机器配置啊？机器如果不够的话，只好花钱买啦

我有下面的计算机

哥踏马的哪懂啊

dcxg

DDD888 发表于 6-3-2016 07:23
这些机器够吗？
2x IBM BladeCenter 45x Blades 180 Cores 360GB RAM

是不是还要配台发电机的啊

DDD888

dcxg 发表于 6-3-2016 08:03
哥踏马的哪懂啊

哇，我还以为你懂呢

黑玛丽

dcxg 发表于 6-3-2016 07:00
可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据

貌似你天天在跟大数据对话啊。。

dcxg

DDD888 发表于 6-3-2016 08:19
哇，我还以为你懂呢

装的还行内意思？

dcxg

黑玛丽 发表于 6-3-2016 11:16
貌似你天天在跟大数据对话啊。。

天天对着空气对话的啊？

ashanadsl

黑玛丽

dcxg 发表于 6-3-2016 11:26
天天对着空气对话的啊？

对着"3V"数据说话。高大上哇。

dcxg

黑玛丽 发表于 6-3-2016 15:47
对着"3V"数据说话。高大上哇。

哥知道av，3v啥意思啊？

DDD888

我是真想知道我问的问题的答案，于此无关的话题完全可以另开帖子讨论，或者使用论坛的发消息的功能，以免真正想知道我的问题的人看了几十个回答也不知所以然

superopengl

如果只是学习的话，并不需要特别的配置，现在一般市场的主流PC或laptop都可以。
1. 你提到的那些程序很多的developer version就是single alone的配置，不用多机，比如hadoop。
2. 几乎都跑在linux上，所以都有docker container版本，一次跑2-3个docker container没什么问题（一个docker container的linux core才5K，可以理解成5K跑一个linux的VM）

我现在时MacBook Pro 2.3GHz i7 core/16GM RAM/512G SSD。OS X上常年跑一个Windows VM做Windows开发，一个MongoDB docker container，一个Node的Sinopia docker container。相当于一个Host OS带3个Guest OS都没什么问题，很流畅。

superopengl

大数据开发主要是思想的转变，如果手头没有足够多得数据的话，是很难想象理解并用Big Data的思想去解决的。

DDD888

superopengl 发表于 7-3-2016 14:03
如果只是学习的话，并不需要特别的配置，现在一般市场的主流PC或laptop都可以。
1. 你提到的那些程序很多 ...

谢谢

那我就用我的ibm x3650 m3服务器来作为学习的设备

滚滚雷声

DDD888 发表于 6-3-2016 07:23
这些机器够吗？
2x IBM BladeCenter 45x Blades 180 Cores 360GB RAM

这两台机器多少钱？

滚滚雷声

DDD888 发表于 7-3-2016 14:07
谢谢

那我就用我的ibm x3650 m3服务器来作为学习的设备

我觉得获得真正有意义的大数据比获得合适的硬件困难的多。

DDD888

滚滚雷声 发表于 7-3-2016 16:14
这两台机器多少钱？

不知道，因为我以为这些都是垃圾，所以一小时前的网上拍卖我没去看

DDD888

滚滚雷声 发表于 7-3-2016 16:15
我觉得获得真正有意义的大数据比获得合适的硬件困难的多。

应该不难，就例如做google做的事，将所有的网站连结计算page rank应该就是大数据啦，如果想做，任何人都可以在家做，就是慢点而已

黑玛丽

dcxg 发表于 7-3-2016 06:30
哥知道av，3v啥意思啊？

VOLUME, VELOCITY, VARIANCE啊。大数据的3V特征。不会明知故问哈。。。

滚滚雷声

DDD888 发表于 7-3-2016 18:14
应该不难，就例如做google做的事，将所有的网站连结计算page rank应该就是大数据啦，如果想做，任何人都 ...

你去搞网页来瞎分析一通没有什么钱途
拿到真正的商业数据来分析才有意义
保险公司的赔付数据， 零售上的销售记录之类的。
不过这种数据是顶级机密了。

AlexanderPaul

根据自己的配置学习大数据的程度就有所不同