FreeOZ论坛

标题: 学习大数据big data作programmer, developer 需要的计算机配置 [打印本页]

作者: DDD888 时间: 6-3-2016 05:58
标题: 学习大数据big data作programmer, developer 需要的计算机配置
本帖最后由 DDD888 于 6-3-2016 07:10 编辑

我想学习大数据big data，我想知道我在家里该用如何的机器配置可以学习大数据

当然是不花钱最好，如果花钱的话，越少越好啦

准备学习下面的技术

Hadoop v2, MapReduce, HDFS
Pig, Hive, and Impala
NoSQL databases, such as HBase, Cassandra, MongoDB
Sqoop and Flume
Tableau
Cloudera's Sentry with Kerberos
Cloudera or Hortonworks distribution of Hadoop

作者: dcxg 时间: 6-3-2016 06:00
可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据
脑子不够用的

作者: DDD888 时间: 6-3-2016 06:08
本帖最后由 DDD888 于 6-3-2016 07:40 编辑

dcxg 发表于 6-3-2016 07:00
可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据

可以介绍下需要如何的机器配置啊？机器如果不够的话，只好花钱买啦

我有下面的计算机

1 ibm x3650 m3 2 cpu L5640, 48gb ram, 144g hard disk
2 I7 4770K ,32 gb ram, 1.5TB hard disk
3 mac pro cpu x5670, 32gb ram, 2 TB hard disk

下面是网络设备
1 八口dlink gigabit switch
2 24口 cisco 3750g
3 16口 dlink 100兆switch

说到网速，我家现在是下载48.07mbps，上传7.47mbps,两年后，我家就可以装光纤，我打算装下载200mbps, 上传200mbps的服务，当然啦这要两年后啦

作者: DDD888 时间: 6-3-2016 06:23

dcxg 发表于 6-3-2016 07:00
可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据

这些机器够吗？
2x IBM BladeCenter 45x Blades 180 Cores 360GB RAM

2x IBM BladeCenter (E); each one has:

14x blade slots in 7U
4x 2000 watt PSU in one and 2x 2000 watt PSU in the second
2x redundant management modules
2x gigabit ethernet switches
2x redundant high speed blowers
Shared media tray with optical drive, floppy drive and USB 1.1 port

Also,
2x spare high speed blowers
2x spare management modules

45x HS20 8843-IAA Blades; each one has
2x Xeons
8GB RAM
NO DISKS

作者: dcxg 时间: 6-3-2016 07:03

DDD888 发表于 6-3-2016 07:08
可以介绍下需要如何的机器配置啊？机器如果不够的话，只好花钱买啦

我有下面的计算机

哥踏马的哪懂啊

作者: dcxg 时间: 6-3-2016 07:06

DDD888 发表于 6-3-2016 07:23
这些机器够吗？
2x IBM BladeCenter 45x Blades 180 Cores 360GB RAM

是不是还要配台发电机的啊

作者: DDD888 时间: 6-3-2016 07:19

dcxg 发表于 6-3-2016 08:03
哥踏马的哪懂啊

哇，我还以为你懂呢

作者: 黑玛丽 时间: 6-3-2016 10:16

dcxg 发表于 6-3-2016 07:00
可拉倒吧

你的那些个2手机器，网速也不够，还玩大数据

貌似你天天在跟大数据对话啊。。

作者: dcxg 时间: 6-3-2016 10:26

DDD888 发表于 6-3-2016 08:19
哇，我还以为你懂呢

装的还行内意思？

作者: dcxg 时间: 6-3-2016 10:26

黑玛丽发表于 6-3-2016 11:16
貌似你天天在跟大数据对话啊。。

天天对着空气对话的啊？

作者: ashanadsl 时间: 6-3-2016 11:25
提示: 作者被禁止或删除, 无法发言

作者: 黑玛丽 时间: 6-3-2016 14:47

dcxg 发表于 6-3-2016 11:26
天天对着空气对话的啊？

对着"3V"数据说话。高大上哇。

作者: dcxg 时间: 7-3-2016 05:30

黑玛丽发表于 6-3-2016 15:47
对着"3V"数据说话。高大上哇。

哥知道av，3v啥意思啊？

作者: DDD888 时间: 7-3-2016 05:58
我是真想知道我问的问题的答案，于此无关的话题完全可以另开帖子讨论，或者使用论坛的发消息的功能，以免真正想知道我的问题的人看了几十个回答也不知所以然

作者: superopengl 时间: 7-3-2016 13:03
如果只是学习的话，并不需要特别的配置，现在一般市场的主流PC或laptop都可以。
1. 你提到的那些程序很多的developer version就是single alone的配置，不用多机，比如hadoop。
2. 几乎都跑在linux上，所以都有docker container版本，一次跑2-3个docker container没什么问题（一个docker container的linux core才5K，可以理解成5K跑一个linux的VM）

我现在时MacBook Pro 2.3GHz i7 core/16GM RAM/512G SSD。OS X上常年跑一个Windows VM做Windows开发，一个MongoDB docker container，一个Node的Sinopia docker container。相当于一个Host OS带3个Guest OS都没什么问题，很流畅。

作者: superopengl 时间: 7-3-2016 13:05
大数据开发主要是思想的转变，如果手头没有足够多得数据的话，是很难想象理解并用Big Data的思想去解决的。

作者: DDD888 时间: 7-3-2016 13:07

superopengl 发表于 7-3-2016 14:03
如果只是学习的话，并不需要特别的配置，现在一般市场的主流PC或laptop都可以。
1. 你提到的那些程序很多 ...

谢谢

那我就用我的ibm x3650 m3服务器来作为学习的设备

作者: 滚滚雷声 时间: 7-3-2016 15:14

DDD888 发表于 6-3-2016 07:23
这些机器够吗？
2x IBM BladeCenter 45x Blades 180 Cores 360GB RAM

这两台机器多少钱？

作者: 滚滚雷声 时间: 7-3-2016 15:15

DDD888 发表于 7-3-2016 14:07
谢谢

那我就用我的ibm x3650 m3服务器来作为学习的设备

我觉得获得真正有意义的大数据比获得合适的硬件困难的多。

作者: DDD888 时间: 7-3-2016 17:12

滚滚雷声发表于 7-3-2016 16:14
这两台机器多少钱？

不知道，因为我以为这些都是垃圾，所以一小时前的网上拍卖我没去看

作者: DDD888 时间: 7-3-2016 17:14

滚滚雷声发表于 7-3-2016 16:15
我觉得获得真正有意义的大数据比获得合适的硬件困难的多。

应该不难，就例如做google做的事，将所有的网站连结计算page rank应该就是大数据啦，如果想做，任何人都可以在家做，就是慢点而已

作者: 黑玛丽 时间: 7-3-2016 18:45

dcxg 发表于 7-3-2016 06:30
哥知道av，3v啥意思啊？

VOLUME, VELOCITY, VARIANCE啊。大数据的3V特征。不会明知故问哈。。。

作者: 滚滚雷声 时间: 7-3-2016 22:30

DDD888 发表于 7-3-2016 18:14
应该不难，就例如做google做的事，将所有的网站连结计算page rank应该就是大数据啦，如果想做，任何人都 ...

你去搞网页来瞎分析一通没有什么钱途
拿到真正的商业数据来分析才有意义
保险公司的赔付数据，零售上的销售记录之类的。
不过这种数据是顶级机密了。

作者: AlexanderPaul 时间: 9-3-2016 14:41
本帖最后由 AlexanderPaul 于 9-3-2016 18:01 编辑

根据自己的配置学习大数据的程度就有所不同

欢迎光临 FreeOZ论坛 (https://www.freeoz.org/ibbs/)