hadoop实例WordCount程序一步一步运行

虽说现在用Eclipse下开发hadoop程序很方便了,但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记,记录下来以备查。

1. 经典的WordCound程序(WordCount.java),可参见 hadoop0.18文档
import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reducer;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class … --> 阅读全文

linux下root用户不能su切换到admin用户

今天发现了个奇怪的问题,纳闷了好久,我用root用户居然不能su切换到admin用户下。

太奇怪了,root用户不是拥有系统的最高权限吗。因为是在服务器上,也不能随便把admin用户删除再添加了。后天弄了半天,发现是.bashrc配置文件的问题。原来是今天我无意中在.bashrc中加了一行:

.bash_profile文件为:

可以看到,在.bashrc文件中调用了“source .bash_profile”, 而 .bash_profile 文件中调用了“. ~/.bashrc”,这下就杯具了,死循环,就导致了root用户不能su到admin用户。

linux下ssh免密码登录的目录权限问题

这个问题曾经折腾了我好久,按网上的方法试了好多次都不行,现在终于可以了,总结如下

命令很简单, 机器A需要无密码ssh登录机器B:
(1)在机器A上执行

敲回车,将生成两个文件:id_dsa和id_dsa.pub.

(2)将id_dsa.pub拷贝到远程机器B, 并且将id_dsa.pub的内容添加到~/.ssh/authorized_keys中.

完成这些工作后,用户从机器A ssh到远程机器B的登录就不用密码了

值得注意的是:
1. Linux系统中$HOME目录下的.ssh目录为用户所有,权限必须为700(只有用户自己可以全权访问)
2. .ssh目录下的授权文件“authorized_keys”为用户所有,权限必须为644

Hello World!

在淘宝上买的空间和在godaddy上用支付宝购买了域名,搭建了一个wordpress博客,还是很方便的。

以后就在这里记录我工作和生活中的点滴吧。

都说写博客贵在坚持,希望自己能一直写下去。

Hello World!