2013-02-09

Clojure 实战(4)：编写 Hadoop MapReduce 脚本

Hadoop简介

众所周知，我们已经进入了大数据时代，每天都有PB级的数据需要处理、分析，从中提取出有用的信息。Hadoop就是这一时代背景下的产物。它是Apache基金会下的开源项目，受Google两篇论文的启发，采用分布式的文件系统HDFS，以及通用的MapReduce解决方案，能够在数千台物理节点上进行分布式并行计算。

对于Hadoop的介绍这里不再赘述，读者可以访问其官网，或阅读Hadoop权威指南。

Hadoop项目是由Java语言编写的，运行在JVM之上，因此我们可以直接使用Clojure来编写MapReduce脚本，这也是本文的主题。Hadoop集群的搭建不在本文讨论范围内，而且运行MapReduce脚本也无需搭建测试环境。

阅读全文

2013-01-04

Translation

Clojure 代码规范

原文地址：https://github.com/bbatsov/clojure-style-guide

这份Clojure代码规范旨在提供一系列的最佳实践，让现实工作中的Clojure程序员能够写出易于维护的代码，并能与他人协作和共享。一份反应真实需求的代码规范才能被人接收，而那些理想化的、甚至部分观点遭到程序员拒绝的代码规范注定不会长久——无论它有多出色。

这份规范由多个章节组成，每个章节包含一组相关的规则。我会尝试去描述每条规则背后的理念（过于明显的理念我就省略了）。

这些规则并不是我凭空想象的，它们出自于我作为一个专业软件开发工程师长久以来的工作积累，以及Clojure社区成员们的反馈和建议，还有各种广为流传的Clojure编程学习资源，如《Clojure Programming》、《The Joy of Clojure》等。

这份规范还处于编写阶段，部分章节有所缺失，内容并不完整；部分规则没有示例，或者示例还不能完全将其描述清楚。未来这些问题都会得到改进，只是请你了解这一情况。

阅读全文

2012-12-23

Programming

Nginx 热升级

系统管理员可以使用Nginx提供的信号机制来对其进行维护，比较常用的是kill -HUP <master pid>命令，它能通知Nginx使用新的配置文件启动工作进程，并逐个关闭旧进程，完成平滑切换。当需要对Nginx进行版本升级或增减模块时，为了不丢失请求，可以结合使用USR2、WINCH等信号进行平滑过度，达到热升级的目的。如果中途遇到问题，也能立刻回退至原版本。

操作步骤

1、备份原Nginx二进制文件；

2、编译新Nginx源码，安装路径需与旧版一致；

3、向主进程发送USR2信号，Nginx会启动一个新版本的master进程和工作进程，和旧版一起处理请求：

prey:~ root# ps -ef|grep nginx
 127     1   nginx: master process /usr/local/nginx-1.2.4/sbin/nginx
 129   127   nginx: worker process
prey:~ root# kill -USR2 127
prey:~ root# ps -ef|grep nginx
 127     1   nginx: master process /usr/local/nginx-1.2.4/sbin/nginx
 129   127   nginx: worker process  
5180   127   nginx: master process /usr/local/nginx-1.2.4/sbin/nginx
5182  5180   nginx: worker process

阅读全文

2012-12-16

Programming

Clojure 实战(3)：使用 Noir 框架开发博客(下)

Session和Cookie

做网络编程的人肯定对这两个概念不陌生，因此这里就不介绍它们的定义和作用了。我们要实现的需求也很简单：用户通过一个表单登录，在当前窗口中保持登录状态，并可以选择“记住我”来免去关闭并新开窗口之后的重登录。显然，前者使用Session，后者使用Cookie。下面我们就来看Noir对这两者的支持。

Session

(require 'noir.session)
(noir.session/put! :username "john")
(noir.session/get :username "nobody")
(noir.session/clear!)

很简单的API。注意put!函数中的!，和之前遇到的?一样，这种特殊字符是合法的函数名，但!习惯用来表示该方法会改变某个对象的状态，这里put!就表示会改变Session的状态。

Noir还提供了一种“闪信（Flash）”机制，主要用于在页面跳转之间暂存消息。如用户登录后会跳转到首页，如果想在首页显示“登录成功”的信息，就需要用到闪信了。闪信的API也放置在noir.session命名空间下：

1 2	(noir.session/flash-put! "登录成功") (noir.session/flash-get)

闪信的生命周期是一次请求，即在设置了闪信后的下一个请求中，可以多次flash-get，但再下一次请求就获取不到值了。

阅读全文

2012-12-08

Programming

Clojure 实战(2)：使用 Noir 框架开发博客(中)

在Eclipse中编写Clojure代码

从这章起我们就要开始真正的编码了。Vim可能是很多程序员的选择，但如果你像我一样更喜欢GUI界面，那就来看看如何在Eclipse中编写Clojure代码吧。

安装Eclipse插件

Eclipse提供了一个Clojure插件：CounterClockwise，可以用来编写Clojure代码，进行语法高亮、调试等操作。打开Eclipse的Market Place，搜索counterclockwise关键字，点击Install即可。

将Leiningen项目导入Eclipse

由于CounterClockwise插件并没有默认使用Leiningen来管理项目，因此需要做一些额外的工作。

在使用lein new命令创建项目后，在project.clj文件中增加如下一行：

1
2
3

(defproject ...
            :dev-dependencies [[lein-eclipse "1.0.0"]]
            ...)

然后依次执行lein deps和lein eclipse，会看到项目根目录下生成了.project和.classpath文件。然后就可以进入Eclipse导入这个项目了。如果使用Git进行版本控制，lein已经为你生成好了.gitignore文件。执行了git init后，就能在Eclilpse中选择Share Project菜单项，进行可视化的版本控制。

使用表单

我们现在需要编写一个新建文章的功能，它是一个简单的页面，页面上有“标题”和“内容”两个文本框，并有一个“提交”按钮。

在src/blog/views目录下新建一个文件article.clj，输入以下内容：

(ns blog.views.article
  (:require [blog.views.common :as common])
  (:use [noir.core]
        [hiccup.form-helpers]))

(defpage "/blog/add" []
  (common/layout
    [:h1 "新建文章"]
    (form-to [:post "/blog/add"]
             (label "title" "标题：")
             (text-field {:size 50} "title") [:br]
             (label "content" "内容：")
             (text-area {:rows 20 :cols 50} "content") [:br]
             (submit-button "提交"))))

defpage和common/layout我们之前已经见到过，前者定义了URL/blog/add指向的页面，后者则是套用了一个模板。[:h1 ...]和[:br]也应该熟悉，它们是Hiccup的语法，分别生成<h1>...</h1>和<br>标签。

阅读全文

2012-11-25

Programming

Clojure 实战(1)：使用 Noir 框架开发博客(上)

前言

为什么要学习一门新的语言？我的想法很简单，平时OO、PO代码写多了，却从未接触过函数式编程，不免有些遗憾。考察下来，Clojure可以用来尝尝鲜，所以就决定学一学。为了给自己的学习留下些记录，就有了这样一份教程。

Clojure已经有一些不错的教程，如Mark Volkmann的Clojure - Functional Programming for the JVM，Storm的主要贡献者徐明明也对这个教程做了全文翻译。还有一些不错的书籍，像O’Reilly的Clojure Programming，都值得一读。我是从Mark的教程开始学起的，对其中没有提到的部分则是参考了Clojure Programming这本书。Clojure的官方网站上有详尽的API参考，可以作为工具书查阅。

但是，上面提到的教程都是针对Clojure语言本身的，从 Hello, world! 开始，讲解Clojure的各种语法，关键字，结构等等。虽然Clojure的语法已经足够吸引你的眼球，在REPL中敲击Clojure代码已经是一种莫大的乐趣了，但似乎还有些不够，我们想看到一个用Clojure编写的应用程序！

因为平时都是做Web开发，所以先从一个Web框架入手会是不错的选择，因此这份教程会从使用Noir框架搭建一个博客开始，带你领略Clojure的魅力。

阅读全文

2012-11-18

Translation

开源软件架构 - 卷1：第14章 Python 打包工具

原文：https://aosabook.org/en/v1/packaging.html

作者：Tarek Ziadé，翻译：张吉

14.1 简介

对于如何安装软件，目前有两种思想流派。第一种是说软件应该自给自足，不依赖于其它任何部件，这点在 Windows 和 Mac OS X 系统中很流行。这种方式简化了软件的管理：每个软件都有自己独立的“领域”，安装和卸载它们不会对操作系统产生影响。如果软件依赖一项不常见的类库，那么这个类库一定是包含在软件安装包之中的。

第二种流派，主要在类 Linux 的操作系统中盛行，即软件应该是由一个个独立的、小型的软件包组成的。类库被包含在软件包中，包与包之间可以有依赖关系。安装软件时需要查找和安装它所依赖的其他特定版本的软件包。这些依赖包通常是从一个包含所有软件包的中央仓库中获取的。这种理念也催生了 Linux 发行版中那些复杂的依赖管理工具，如 dpkg 和 RPM。它们会跟踪软件包的依赖关系，并防止两个软件使用了版本相冲突的第三方包。

以上两种流派各有优劣。高度模块化的系统可以使得更新和替换某个软件包变的非常方便，因为每个类库都只有一份，所有依赖于它的应用程序都能因此受益。比如，修复某个类库的安全漏洞可以立刻应用到所有程序中，而如果应用程序使用了自带的类库，那安全更新就很难应用进去了，特别是在类库版本不一致的情况下更难处理。

不过这种“模块化”也被一些开发者视为缺点，因为他们无法控制应用程序的依赖关系。他们希望提供一个独立和稳定的软件运行环境，这样就不会在系统升级后遭遇各种依赖方面的问题。

阅读全文

2012-11-16

Translation

开源软件架构 - 卷2：第6章 Git

原文：https://aosabook.org/en/v2/git.html

作者：Susan Potter，翻译：张吉

6.1 Git 概述

Git 能够让不同的协作者通过一个点对点的仓库网络对数据内容（通常是代码，当然不仅限于代码）进行维护。它支持分布式的工作流程，能够让数据内容临时分离，并最终合并到一起。

本章将阐述 Git 的内部实现是如何提供以上功能的，以及它和其他版本控制系统（VCS）的区别。

6.2 Git 起源

为了更好地理解 Git 的设计思想，我们有必要先了解一下 Git 项目的发源地——Linux 内核开发社区——所面临的问题。

Linux 内核开发与其他商业软件项目有很大不同，因为它的开发者众多，且每个开发者的参与程度和对 Linux 内核代码的理解有很大差异。多年以来，内核代码一直都是以 Tar 压缩文件以及补丁的形式维护的，而当时的核心开发团队一直在寻找一个能够满足他们各方面需求的版本控制系统。

Git 就是在这样的背景下于 2005 年作为一款开源软件诞生的。当时，Linux 内核代码通过两种版本控制系统进行维护，BitKeeper 和 CVS，分别由两组核心开发团队使用。BitKeeper 相较于当时颇为流行的 CVS，提供了一种不同的历史展示方式。

阅读全文

2010-06-10

Translation

Kohana PHP 教程[2]：视图（View）

欢迎来到 Kohana PHP 3.0 (KO3) 系列教程的第二部分。如果你还没有阅读第一部分的话请点击这里。本文将介绍如何使用 KO3 开发视图。

在开始之前，我们先来下载最新的 KO3 代码。点击这个链接，将下载到的文件解压到 kohana 或 mykohana3 的文件夹中。完成后，记得删除 install.php 文件。然后打开 application 目录下的 bootstrap.php 文件，将以下代码：

1	Kohana::init(array('base_url' => '/kohana/'));

修改为：

1	Kohana::init(array('base_url' => '/mykohana3/', 'index_file' => ''));

现在我们已经更新好的代码，下面我们就来尝试开发一个视图。在 application 目录下新建一个名为 views 的目录，在 views 目录下建立 pages 目录。打开文本编辑器，输入以下代码：

<html>
  <head>
    <title>Hello!</title>
  </head>
  <body>
    <h1>This is my first view</h1>
  </body>
</html>

保存为 application/views/pages/ko3.php。很显然，这是一个非常简单 HTML 页面文件。打开控制器文件：application/classes/controller/ko3.php，用以下代码替换 action_index() 函数：

public function action_index()
{
    $this->request->response = View::factory('pages/ko3');
}

保存文件，在浏览器中输入 http://yourserver/myfirstkohana3/ 这时你就应该能够看到“This is my first view”的字样。

阅读全文

2009-05-01

Programming

MVC 模式中的权限控制

在 MVC 模式中，通过建立用户表、角色表、控制器表、方法表和权限表来实现权限管理，即根据用户的角色以及所请求的控制器和方法来决定是否有访问权限。该过程放在控制器基类的构造函数中。

用户表 user: user_id, name, password, role_id
角色表 role: role_id, name
控制器表 controller: controller_id, name
方法表 method: method_id, controller_id, name
权限表 role_method: role_id, method_id

使用以下 SQL 语句进行验证：

SELECT COUNT(*)
FROM role_method
WHERE role_method.role_id = @role_id
AND method_id IN (
    SELECT method_id
    FROM method
    JOIN controller
    USING (controller_id)
    WHERE controller.name = @controller
    AND method.name = @method
)

张吉的数据笔记

If I rest, I rust.

Clojure 实战(4)：编写 Hadoop MapReduce 脚本

Hadoop简介

Clojure 代码规范

Nginx 热升级

操作步骤

Clojure 实战(3)：使用 Noir 框架开发博客(下)

Session和Cookie

Session

Clojure 实战(2)：使用 Noir 框架开发博客(中)

在Eclipse中编写Clojure代码

安装Eclipse插件

将Leiningen项目导入Eclipse

使用表单

Clojure 实战(1)：使用 Noir 框架开发博客(上)

前言

开源软件架构 - 卷1：第14章 Python 打包工具

14.1 简介

开源软件架构 - 卷2：第6章 Git

6.1 Git 概述

6.2 Git 起源

Kohana PHP 教程[2]：视图（View）

MVC 模式中的权限控制