ITeye博客

ajax

ajax · 共 41 篇文章

测试Hadoop的启动顺序及遇到的问题

测试环境: 一个namenode 一个secondary namenode,以实现namenode的HA 三个datanode节点 两个RM,以实现Resource Manager的HA 共部署了7个虚拟机,操作系统是Ubuntu 14. 所有虚拟机是在本机加载,所以为了节省资源,Zookeeper分别部署在三个datanode节点上。 Hadoop的sbin目录下的start-all.sh已经不建议使用,代替的是单独启动各个命令,比如start-dfs.sh, start-yarn.sh. 但是从学习的角度看,使用start-all.sh,可以直接看出正确的启动顺序。 运行start-df…

2016-05-02 20:30 · hadoop · 评论(0)

给公司研发部门培训的HDFS的PPT文档及问题答疑

之前的一篇博客说到,公司请的大数据培训师那简直一个差啊,就差直接说自己是骗子。忍无可忍之下,搭建了个环境,简单跑了一下,然后把HDFS的主要代码翻了一遍。不得不说,设计的真不错。不过据说当年的初期的版本代码啥的也很烂。 写了两份关于HDFS的培训文档,给研发部门培训了下。后面原准备接着来两次mapreduce和spark的培训,因为种种原因,一直耽搁下来。HDFS培训完针对同学提出的问题结合源码给出答疑,培训文档附件给出,这里把同学们提的问题以及我给出的解答贴出来。 1. 如果在一个数据节点写的过程中出现问题,那么容错处理是怎样的 对比从HDFS读文件,写文件过程比较复杂,有三个地方会影响写…

2016-04-06 23:30 · hadoop · 评论(0)

Hadoop2.7.1安装的一些坑

1. 在/etc/profile里更新了JDK的版本,因为Hadoop2.7只能使用JDK1.7,更新后,需要即时更新,可以使用命令>. /etc/profile. 2. hadoop 2.7 的Eclipse plugin没有测试成功,但是Hadoop官方网站已经提供了开发工具,实际上也是一个Eclipse的plugin( http://hdt.incubator.apache.org/download.html ) 3. 几个网站对配置Hadoop2 比较有用: http://www.aboutyun.com/thread-11909-1-1.html http://www.open-o…

2016-04-06 23:21 · hadoop · 评论(0)

Hadoop1.0部署的各种坑及解决之道

2015年由于对公司请的外部的大数据讲师的水平实在不敢恭维,所以就准备搭个环境熟悉一下环境,进步研究一下源代码。所以在本机搭了几个虚拟机,分别对应namenode,datanode(3),secondarynamenode。当时部署的时候使用的是1.0的稳定版本,但是各种坑。耐着性子一点点调试下,也就顺手记在一个word文档里。最近忽然有写博客的念头,就先把手头上有的东西先发上来。 1. 如果不先用hadoop namenode -format格式化HDFS的话,如果后面启动所有的服务(start-all.sh),HDFS就启动不起来,表现为: a. 如果用netstat –a查看,没有50…

2016-04-06 22:28 · hadoop · 评论(0)

Restlet实战(三十)(完结篇)运行流程之源代码分析(续)

前面一篇文章分析了servlet里init方法,包括init方法本身以及调用的方法源代码,这篇文章继续,按照servlet的生命周期,接下去会调用servlet的service方法: @Override public void service(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { final HttpServerHelper helper = getServer(request); if (helper != null) { helper…

2009-08-24 14:25 · REST · 评论(0)

Restlet实战(二十九)(完结篇)运行流程之源代码分析

终于到了完结篇,也体会到写书人的痛苦,虽然我仅仅是写了几十篇博客。完结篇结合源代码分析Restlet的运行流程,也算是完美的结束。当然了,也不是说从此不再关注Restlet,后续如果有新的东西出来,比如现在2.0的版本就快release了,新功能,包括API都变动了不少,如果后续有时间的话,会继续写,但是会作为博客随笔,而不是作为实战系列了。 在分析之前,首先一个环境,因为毕竟不同的环境涉及到的源代码也不一样,比如,如果集成了Spring的话,那么客户端发起一个请求必然会涉及到SpringServlet这个类,而如果我们配置Component到restlet.xml里,则代码执行流程就不一样…

2009-08-20 17:32 · REST · 评论(1)

Restlet实战(二十八)源代码分析之压缩 (Compression)

上篇文章 我给出了如何在客户端和服务器端使用Restlet实现表示的压缩,这一篇将结合源代码看看Restlet的API是如何支持压缩的。 首先看解压缩,开发中的代码: Representation rep = new DecodeRepresentation(response.getEntity()); String testText = rep.getText(); 当然了,从response返回的Entity就是压缩的表示,所以把它塞到DEcodeRepresentation的构造函数里,看一下DecodeRepresentation构造函数做了些什么: public DecodeRep…

2009-08-10 15:36 · REST · 评论(0)

Restlet实战(二十七)压缩 (Compression)

在进入代码部分之前,还是贴出<<RESTful Web Service>>里对压缩的说明,毕竟这是本非常不错的书,而且书上说的比较清晰明了。 象XML文档这种文本格式的表示可以又很大的压缩率。HTTP客户端可以请求一个压缩版的表示,并为用户进行 透明的解压。其工作原理是这样的:客户端在发送HTTP请求时,在Accept-Ecoding包头里指出客户端支持那些 压缩算法。Accept-Encoding抱头又两个标准的值:compress和gzip GET /resource.html HTTP/1.1 Host: www.example.com Accept-Encoding: gzip, c…

2009-08-05 12:09 · REST · 评论(0)

Restlet实战(二十六)事务 (Transaction)

<<Restful Web Service>>这本书再第8章REST和ROA最佳实践的事务章节对如何实现事务是这么写的: 可以把简单的事务暴露为批量操作,或者采用重载的POST,不过还有一种做法,你猜对了,就是事务本身暴露为资源。 并结合一个例子给出具体的操作步骤描述: 比如把资金从支票帐户转移到储蓄帐户,比方说“支票帐户”暴露于/accounts/checking/11处, “储蓄帐户”资源暴露于/accounts/saving/55. 这两个帐户都有50余额。 首先通过向一个事务工厂资源发送POST请求来创建事务: POST /transactions/account-transfer …

2009-08-02 23:29 · REST · 评论(1)

Restlet实战(二十五)缓存 (Cache)

说明:以下部分文字说明摘自<<Restful Web Service>>. 条件GET机制令客户端可以在表示没有发生变化时,只使用很少的带宽。而缓存机 制使得客户端可以根本不必要发送第二次GET请求。 其基本原理是: 客户端在做HTTP GET或HEAD请求时,可以把服务器返回的HTTP响应报头缓存起来;这样,当客户端再次发 出相同的GET或HEAD请求时,可以直接采用缓存中的文档,而不必实际发出请求。缓存机制是透明的,用 户要客户端发出请求,但是客户端并没有实际发出HTTP请求,并接收来自服务器的响应,而是把缓存中的 响应返回给用户,仿佛刚从服务器得到的一样。可以从服务器角度关注三个问题:…

2009-07-31 22:18 · REST · 评论(0)

Restlet实战(二十四)获取参数值(续)

这个系列之前已经有一篇文章写如何获取参数值,看 Restlet实战(十二)获取参数值 ,在那篇文章中,提到了三种类型获取值。 1. 从Web Form中获取值 2. 从查询中获取值 3. 从Cookie中获取值 而本篇文章我翻译网上的一篇文章也是涉及到获取和设置参数值,算是一个补充,原文见 这里 Restlet新手常见问题解答 我已经用Restlet几年了,因此我有这个机会去引导一些人去用它。当人们开始用的时候,总有一些问题。我把问题以及答案提出来,我想会有帮助的。 注意:答案是基于Restlet1.1 问题:我怎么存取URL查询参数? 有两个答案: A1,明确的查询参数 最容易的方法是在A…

2009-07-31 14:44 · REST · 评论(0)

欢迎加入Restlet圈子

如果你进来是因为想看Restlet相关的文章,那么欢迎你加入restlet圈子,里面也有不少好的内容,地址是 http://restlet.group.iteye.com/

2009-07-28 22:28 · REST · 评论(0)

Restlet实战(二十三)实现条件GET (Conditional Get)

先普及一下什么是条件GET,以下摘自<<Restful Web Service>>: 条件HTTP GET(conditional HTTP GET)既能几声服务器带宽,又能节省客户端带宽,作用是避免服务器 重复向一个客户端发送相同的表示。它是通过两个响应报头(Last-Modified和ETag)和两个请求报头 (IfModified-Since和If-None-Match)实现的。 这是无法靠客户端或服务器单方面解决的,若客户端在获取一个表示后,不再与服务器联系,那么该客户 端将无法获知服务器上的表示是否有变化。由于服务器并不保存应用状态,所以它也无法知道一个客户端 上次获取某个表示发生…

2009-07-28 17:47 · REST · 评论(0)

Restlet实战(二十二)仿造PUT和DELETE

在 Restlet实战(七)-提交和处理Web Form 中提到,表单(form)的动作(action)仅仅支持GET和POST,所以那里我们如果要通过form提交修改的数据,不得不进入HTTP标准方法POST对应的方法执行。这实际上是不得已而为之的做法。当然,DELETE也不支持,也会调用POST方法。那么有没有什么办法可以访问到真正的PUT和DELETE标准方法对应在Restlet中要执行的方法呢? 是的,客户端可以通过“用重载的POST(overloaded POST)”来仿造PUT和DELETE的办法来绕过此限制。正如<<Restful Web Service>>书的作者所写:“我建…

2009-07-28 13:17 · REST · 评论(1)

Mylyn+Trac

论坛上不少关于项目管理工具的文章,所以,也就又很多管理辅助工具被提到,记得刚工作的时候第一次用到Bugzilla,感觉自己一步迈进了小康了. 不但可以定义bug严重级别,bug修复状态等等,还可以结合mail通知,很是方便。可以这么说,用的好,可以很有效的管理整个软件周期内的bug。 谈到Mylyn +Trac,以前也看到有人发帖提过,但是始终没有计划去看看,甚至去研究,只知道不少人说不错。兴趣来自于,Eclipse里面带有Mylyn,每次看到的时候,而自己又不熟悉,一次两次,终于无法容忍,至少要大概的了解一下,省的别人问起的时候,尴尬的说,不知道(低调!虚荣心作怪)。所以就到网上想查篇文章…

2009-07-23 20:52 · Project Management · 评论(0)