编译Hadoop

写在前面的话:有话题就发一帖,证明这个BLOG是活的。

我安装hadoop,是为了支撑spark。spark当前最新稳定版为1.3.0,需要的hadoop版本为2.4.*。2.4.*最新版为2.4.1。
hadoop官网下载页面已经不提供2.4.1的下载链接。但可以在apache的存档站点找到2.4.1:http://archive.apache.org/dist/hadoop/core/
下载来的hadoop的原生库是32位的,而目前主流机器架构却是64位,我们需要自己手动从源码编译hadoop。

hadoop源码说明文件为的BUILDING.txt。根据说明文件,需要like-unix系统,jdk1.6+,maven 3.0+,Findbugs 1.3.9,protobuf 2.5.0,cmake 2.6+,以及网络连接。
根据我的经验,如果不需要构建文档,Findbugs可无。文档最好有,虽然源码包里的文档只是API文档。帮助文档还得是官方包里才有。但我们可以在这里找到2.4.1的帮助文档。
jdk最好采用Oracle版。Redhat系列下载rpm包,yum localinstall即可。debian系可以下载压缩包,然后借助JavaPackage,将压缩包转为deb包(如果是jdk 1.8,可能需要wheezy-backports版的JavaPackage)。无论哪个系列的发行版,都需要更改默认java软链接到Oracle jdk。如果是debian系,可以借助update-alternatives命令完成这件工作,具体的可见JavaPackage的wiki。安装好jdk后,还需配置JAVA_HOME——我是这么想的,但我编译hadoop时,JAVA_HOME是早已配置好的。执行:
echo ‘export JAVA_HOME=……’ > /etc/profile.d/java.sh
source /etc/profile
protobuf必须2.5.0,还不认2.6.*。我机器上的protobuf刚好2.6,只有下载2.5,重新编译覆盖安装。

protobuf的github页面为https://github.com/google/protobuf
编译安装protobuf,需要先安装automake,然后照官方说明,一步步执行即可:
./autogen.sh
./configure
make
make check
sudo make install
安装protobuf2.5.0后,执行protoc –version检测版本,报:protoc: error while loading shared libraries: libprotobuf.so.8。执行下面的即可解决:
sudo ldconfig
再执行protoc –version检测版本,输出2.5.0,再下一步。

根据protobuf上吃过的亏,Findbugs既然要求1.3.9,而不是1.3.9+,还是严格采用1.3.9好。Findbugs无需安装,解压,环境变量中指定FINDBUGS_HOME。因为Findbugs只用一回,就不配置持久全局环境变量了,直接执行FINDBUGS_HOME=Findbugs路径。也可以在稍候的mvn命令前加上FINDBUGS_HOME=Findbugs路径。

按照BUILDING.TXT,执行编译命令:
mvn package -Pdist,native,docs -DskipTests -Dtar
该命令将会编译产生dist文件(怎么翻译?)、原生库、文档,跳过测试,并将最终文件tar打包
这时会陷入长久的等待……

最后maven输出BUILD SUCCESS,表示你成功了;如果不幸输出BUILD FAILED,检查人品吧。
编译成功后,找到源码目录下的hadoop-dist/target/hadoop-2.4.1.tar.gz,我们需要的就是这个压缩文件。

PS:如果只是要64位的原生库,应该只编译原生库部分就可以了。

Posted in Uncategorized | Tagged | 3 Comments

使用公钥认证免密码SSH登录的一般步骤和问题排除

一般步骤
1、ssh-keygen,一路回车,不设密码,程序便会在~/home/.ssh下生成id_rsa私钥和id_rsa.pub公钥
2、ssh-copy-id username@remotehost,程序会将步骤一生成的公钥添加到remotehost:/home/username/.ssh/authorized_keys中。如果没有remotehost:/home/username/.ssh/目录,应该手动创建

问题排除
检查remotehost的/etc/ssh/sshd_config:
AllowUsers或AllowGroups如果被定义,username应该在指定的用户列表或用户组里
DenyUsers或DenyGroups如果被定义,username应该不在……
AuthorizedKeysFile应该设为.ssh/authorized_keys
RSAAuthentication和PubkeyAuthentication应该设为yes
如果使用root登录,PermitRootLogin应该设为noyes
修改/etc/ssh/sshd_config之后别忘了重启sshd

检查本地的id_rsa.pub的内容确实被添加到remotehost:/home/username/.ssh/authorized_keys

检查remotehost的/etc/hosts
将本地机器的ip和主机名添加进去

修改remotehost:/home/username/.ssh/权限,该目录应该其它用户可读可执行
chmod o+rx -R .ssh
删除用户组读写执行权限
chmod g-rwx -R .ssh

调试
盯着remotehost的日志文件。不同的发行系列,sshd的日志路径可能不同
remotehost: sudo tail -f /var/log/secure

开启本地ssh的调试日志输出
ssh -v username@remotehost

如果sshd日志输出:“Authentication refused: bad ownership or modes for directory /home/username/.ssh”,表示.ssh目录权限不正确
如果ssh输出:“Agent admitted failure to sign using the key”,再执行ssh-add

好了,祝你成功!

参考
http://askubuntu.com/questions/30788/does-ssh-key-need-to-be-named-id-rsa

Posted in Uncategorized | Tagged | Leave a comment

免翻墙访问Dropbox、Box等境外网盘

秘诀就是使用网盘代理。比如:multcloud。

网盘代理本身不存储文件,只提供一个聚合多个网盘的工具。

multcloud还提供不同网盘间的文件传输(和复制粘贴)功能。我试用了一下,速度绝不比把文件下载下来再上传到另一网盘快。但鉴于那些网盘是不能直接访问的,就忍了。

很令我惊喜的是,multcloud居然自动为我提供中文,我的系统、浏览器都是英文的,不知multcloud是怎么识别出我是中文用户的。IP段识别?

遗憾的是multcloud尚不提供移动客户端,有没有移动网页版就不知道了。

Posted in Uncategorized | Tagged , | 3 Comments

Show一下赶京东618买的图书

Camera360_20140610111705

可惜,不少图书京东没有货、没有优惠、没来得及下手。
也很惭愧,全是计算机方面的书籍。

如果去年双11买的书也Show下就好了。

Posted in Uncategorized | 2 Comments

Origin游戏下载加速——以Battlefield 3为例

想买Battlefield 3很久,但一直舍不得花钱。只是买了促销价的Battlefield bad company 2。
这次EA居然把Battlefield 3给免费了——感谢EA,但首先感谢Value做的表率!

但几年过去,Origin在中国大陆的下载速度一直没改进,CDN也似乎只是个摆设。网上流传的hosts大法并不起作用。

碰巧,最近在读《HTTP权威指南》,想起开Wireshark抓个HTTP包分析——正好抓包时,Origin正下着Battlefield 3。于是可以看到下面一幕:
Battlefield 3

可以看到,Origin使用HTTP下载游戏数据,host为akamai.cdn.ea.com(而非网上hosts大法提的ams.akamai.cdn.ea.com),方法为GET,GET目标是一个ZIP压缩文件,每次都指定一个文件范围。于是我们就可以得到一个直接下载链接(含后面的认证参数):
http://akamai.cdn.ea.com/eamaster/s/p/eagames/bf3/bf3_patch8_ww_20130227.zip?sauth=1401509472_d7c14785429d6cca92d09ec8352b99c5
用迅雷下下来,得到完整的zip文件,解压覆盖到Origin GamesBattlefield 3。再启动Origin,就可以看到我的游戏中Battlefield 3的状态由“正在下载”改为“正在安装”。

安装成功后,别忘了检查更新——其实就是验证文件。

Posted in Uncategorized | Tagged | Leave a comment

双显卡机器安装Debian Wheezy运行Steam游戏

我机器是Dell inspiron 14r 7420,显卡为Intel + Nvidia。

想要在Debian上运行Steam游戏,会面对两大难题:
硬件支持,特别是双显卡切换的支持。
游戏支持。

真不幸,同时把Linux两大硬伤都给碰上了。
双显卡切换的问题:可以用Bumblebee解决,虽然不是很稳定,但有个解决方案总比没个好。另外,Nvidia官方对Linux双显卡切换的支持已经在路上了,估计不会很远,也不会很近。
客户端和游戏支持的问题:虽然Steam官方支持大家安装Ubuntu系统运行Steam,虽然Steam还推出了基于Debian sid的SteamOS,虽然Steam还允许开发者自行给Steam for Linux客户端打包,但就是没有官方的Steam for Debian wheezy客户端——无论Steam官方,还是Debian官方。还好,Steam支持开发者自行打包Steam for Linux客户端,让我们有非官方的Steam-Installer-for-Wheezy。现在,这个项目已经变得实际可用!

第一步:安装Debian,之后就该立即安装Bumblebee。照着Debian官方wiki指示安装即可。
安装Bumblebee后,测试下Bumblebee是否可用。执行:optirun glxgears -info,如果执行出错,按照官方说明排错;如果没错,同时执行lspci | grep VGA,查看独显是否由ff状态改为非ff状态。
独显激活时:
wencan@debian2014:~$ lspci | grep VGA
00:02.0 VGA compatible controller: Intel Corporation 3rd Gen Core processor Graphics Controller (rev 09)
01:00.0 VGA compatible controller: NVIDIA Corporation GK107 [GeForce GT 640M] (rev a1)

独显未激活时:
wencan@debian2014:~$ lspci | grep VGA
00:02.0 VGA compatible controller: Intel Corporation 3rd Gen Core processor Graphics Controller (rev 09)
01:00.0 VGA compatible controller: NVIDIA Corporation GK107 [GeForce GT 640M] (rev ff)

optirun glxgears -info输出的FPS值可能并不如你想象的那般大,参见这里——重点是把独显启用。
如果不是双显卡,跳过这一步。

第二步:安装Steam-Installer-for-Wheezy。先执行steam-debian-depends.sh再安装steam-debian-*all.deb包。在控制台试运行steam-debian,如果程序报错或意外退出,可以在控制台得到错误信息。
如果报:/home/nomad/.local/share/Steam/steam.sh: line 755: 4437 Segmentation fault $STEAM_DEBUGGER “$STEAMROOT/$PLATFORM/$STEAMEXE” “$@”之类的错误,尝试改为运行LC_ALL=C steam-debian,如果该问题解决,应该考虑修改/usr/bin/steam-debian,在命令前加上LC_ALL=C。

第三步:安装并运行Steam上的游戏——暂时不通过Bumblebee运行。
如果报:”Required OpenGL extension “GL_EXT_texture_compression_s3tc” is not supported. Please install S3TC texture support.”之类的错误,安装libtxc-dxtn-s2tc0:i386。
如果游戏提示“Please install ‘en_US.UTF-8’ locale”,且游戏中中一些中文字不能显示——比如TF2服务器列表中的中文字,执行 dpkg-reconfigure locales,选择en_US.UTF-8注册。

第四步:修改游戏的启动参数。将启动参数设为:primusrun %command%,通过primusrun来运行游戏。

第五步:优化。
Bumblebee 使用你的 Optimus NVIDIA 显卡来渲染一个配置了 VirtualGL 的不可见的 X 服务器,并且将结果传输到你当前的 X 服务器上。传输之前将压缩侦,这可以节省带宽并且能够用于加速 bumblebee 的优化。
压缩方法会影响 GPU性能和GPU使用,压缩方法(比如 jpeg)会最大限度的使用 CPU,并且尽可能少的使用 GPU;非压缩的方法最大限度的使用 GPU,而尽可能少的使用 CPU。

通过指定bumblebee配置中的压缩方法,来影响渲染的性能。
压缩方法如有: jpeg, rgb, yuv;非压缩方法有: proxy, xv。默认是proxy。
通过”optirun -c 方法名 glxgears -info”来观察各个方法下的渲染性能。结果表明使用jpeg,比使用默认的proxy,PFS值高出一倍还要多。
修改/etc/bumblebee/bumblebee.conf中optirun段VGLTransport为jpeg,重启bumblebeed服务。
现在,Debian上游戏性能,应该与Windows上的相差不大,也许还要高出些。

如果以上步骤和方法不能解决你的问题,建议你使用Ubuntu+Gnome。如果你向Steam官方客服反馈你的问题,估计你会得到一样的答案,因为Steam客服就是这么回复我的。
另外,你还可以等待相关程序更新,和相关技术进步。时间已经证明,后一种方法总是能解决我们的问题……

参考:
https://wiki.debian.org/Bumblebee
https://wiki.archlinux.org/index.php/Bumblebee_%28%E7%AE%80%E4%BD%93%E4%B8%AD%E6%96%87%29
https://github.com/Bumblebee-Project/Bumblebee/wiki/FAQ
https://github.com/amonakov/primus#faq
https://support.steampowered.com/kb_article.php?ref=6316-GJKC-7437
https://github.com/GhostSquad57/Steam-Installer-for-Wheezy/issues/27

Posted in Uncategorized | Tagged , , , | Leave a comment