Author Archives: wencan

编译Hadoop

写在前面的话:有话题就发一帖,证明这个BLOG是活的。 我安装hadoop,是为了支撑spark。spark当前最新稳定版为1.3.0,需要的hadoop版本为2.4.*。2.4.*最新版为2.4.1。 hadoop官网下载页面已经不提供2.4.1的下载链接。但可以在apache的存档站点找到2.4.1:http://archive.apache.org/dist/hadoop/core/ 下载来的hadoop的原生库是32位的,而目前主流机器架构却是64位,我们需要自己手动从源码编译hadoop。 hadoop源码说明文件为的BUILDING.txt。根据说明文件,需要like-unix系统,jdk1.6+,maven 3.0+,Findbugs 1.3.9,protobuf 2.5.0,cmake 2.6+,以及网络连接。 根据我的经验,如果不需要构建文档,Findbugs可无。文档最好有,虽然源码包里的文档只是API文档。帮助文档还得是官方包里才有。但我们可以在这里找到2.4.1的帮助文档。 jdk最好采用Oracle版。Redhat系列下载rpm包,yum localinstall即可。debian系可以下载压缩包,然后借助JavaPackage,将压缩包转为deb包(如果是jdk 1.8,可能需要wheezy-backports版的JavaPackage)。无论哪个系列的发行版,都需要更改默认java软链接到Oracle jdk。如果是debian系,可以借助update-alternatives命令完成这件工作,具体的可见JavaPackage的wiki。安装好jdk后,还需配置JAVA_HOME——我是这么想的,但我编译hadoop时,JAVA_HOME是早已配置好的。执行: echo ‘export JAVA_HOME=……’ > /etc/profile.d/java.sh source /etc/profile protobuf必须2.5.0,还不认2.6.*。我机器上的protobuf刚好2.6,只有下载2.5,重新编译覆盖安装。 protobuf的github页面为https://github.com/google/protobuf 编译安装protobuf,需要先安装automake,然后照官方说明,一步步执行即可: ./autogen.sh ./configure make make check sudo make install 安装protobuf2.5.0后,执行protoc –version检测版本,报:protoc: error while loading shared libraries: libprotobuf.so.8。执行下面的即可解决: … Continue reading

Posted in Uncategorized | Tagged | 3 Comments

使用公钥认证免密码SSH登录的一般步骤和问题排除

一般步骤: 1、ssh-keygen,一路回车,不设密码,程序便会在~/home/.ssh下生成id_rsa私钥和id_rsa.pub公钥 2、ssh-copy-id username@remotehost,程序会将步骤一生成的公钥添加到remotehost:/home/username/.ssh/authorized_keys中。如果没有remotehost:/home/username/.ssh/目录,应该手动创建 问题排除: 检查remotehost的/etc/ssh/sshd_config: AllowUsers或AllowGroups如果被定义,username应该在指定的用户列表或用户组里 DenyUsers或DenyGroups如果被定义,username应该不在…… AuthorizedKeysFile应该设为.ssh/authorized_keys RSAAuthentication和PubkeyAuthentication应该设为yes 如果使用root登录,PermitRootLogin应该设为noyes 修改/etc/ssh/sshd_config之后别忘了重启sshd 检查本地的id_rsa.pub的内容确实被添加到remotehost:/home/username/.ssh/authorized_keys 检查remotehost的/etc/hosts 将本地机器的ip和主机名添加进去 修改remotehost:/home/username/.ssh/权限,该目录应该其它用户可读可执行 chmod o+rx -R .ssh 删除用户组读写执行权限 chmod g-rwx -R .ssh 调试: 盯着remotehost的日志文件。不同的发行系列,sshd的日志路径可能不同 remotehost: sudo tail -f /var/log/secure 开启本地ssh的调试日志输出 ssh -v username@remotehost 如果sshd日志输出:“Authentication refused: bad ownership … Continue reading

Posted in Uncategorized | Tagged | Leave a comment

免翻墙访问Dropbox、Box等境外网盘

秘诀就是使用网盘代理。比如:multcloud。 网盘代理本身不存储文件,只提供一个聚合多个网盘的工具。 multcloud还提供不同网盘间的文件传输(和复制粘贴)功能。我试用了一下,速度绝不比把文件下载下来再上传到另一网盘快。但鉴于那些网盘是不能直接访问的,就忍了。 很令我惊喜的是,multcloud居然自动为我提供中文,我的系统、浏览器都是英文的,不知multcloud是怎么识别出我是中文用户的。IP段识别? 遗憾的是multcloud尚不提供移动客户端,有没有移动网页版就不知道了。

Posted in Uncategorized | Tagged , | 3 Comments

Show一下赶京东618买的图书

可惜,不少图书京东没有货、没有优惠、没来得及下手。 也很惭愧,全是计算机方面的书籍。 如果去年双11买的书也Show下就好了。

Posted in Uncategorized | 2 Comments

Origin游戏下载加速——以Battlefield 3为例

想买Battlefield 3很久,但一直舍不得花钱。只是买了促销价的Battlefield bad company 2。 这次EA居然把Battlefield 3给免费了——感谢EA,但首先感谢Value做的表率! 但几年过去,Origin在中国大陆的下载速度一直没改进,CDN也似乎只是个摆设。网上流传的hosts大法并不起作用。 碰巧,最近在读《HTTP权威指南》,想起开Wireshark抓个HTTP包分析——正好抓包时,Origin正下着Battlefield 3。于是可以看到下面一幕: 可以看到,Origin使用HTTP下载游戏数据,host为akamai.cdn.ea.com(而非网上hosts大法提的ams.akamai.cdn.ea.com),方法为GET,GET目标是一个ZIP压缩文件,每次都指定一个文件范围。于是我们就可以得到一个直接下载链接(含后面的认证参数): http://akamai.cdn.ea.com/eamaster/s/p/eagames/bf3/bf3_patch8_ww_20130227.zip?sauth=1401509472_d7c14785429d6cca92d09ec8352b99c5 用迅雷下下来,得到完整的zip文件,解压覆盖到Origin GamesBattlefield 3。再启动Origin,就可以看到我的游戏中Battlefield 3的状态由“正在下载”改为“正在安装”。 安装成功后,别忘了检查更新——其实就是验证文件。

Posted in Uncategorized | Tagged | Leave a comment

双显卡机器安装Debian Wheezy运行Steam游戏

我机器是Dell inspiron 14r 7420,显卡为Intel + Nvidia。 想要在Debian上运行Steam游戏,会面对两大难题: 硬件支持,特别是双显卡切换的支持。 游戏支持。 真不幸,同时把Linux两大硬伤都给碰上了。 双显卡切换的问题:可以用Bumblebee解决,虽然不是很稳定,但有个解决方案总比没个好。另外,Nvidia官方对Linux双显卡切换的支持已经在路上了,估计不会很远,也不会很近。 客户端和游戏支持的问题:虽然Steam官方支持大家安装Ubuntu系统运行Steam,虽然Steam还推出了基于Debian sid的SteamOS,虽然Steam还允许开发者自行给Steam for Linux客户端打包,但就是没有官方的Steam for Debian wheezy客户端——无论Steam官方,还是Debian官方。还好,Steam支持开发者自行打包Steam for Linux客户端,让我们有非官方的Steam-Installer-for-Wheezy。现在,这个项目已经变得实际可用! 第一步:安装Debian,之后就该立即安装Bumblebee。照着Debian官方wiki指示安装即可。 安装Bumblebee后,测试下Bumblebee是否可用。执行:optirun glxgears -info,如果执行出错,按照官方说明排错;如果没错,同时执行lspci | grep VGA,查看独显是否由ff状态改为非ff状态。 独显激活时: wencan@debian2014:~$ lspci | grep VGA 00:02.0 VGA compatible controller: Intel Corporation 3rd Gen Core … Continue reading

Posted in Uncategorized | Tagged , , , | Leave a comment