编程技术

预备知识
通用套路
配置加载与路由绑定
创建虚拟机

作为已经比较成熟的IAAS开源解决方案，OpenStack已经发布了19个版本，目前稳定版是Stein，并且下一个版本Train也预计在10月发布。可以说，从代码架构角度来说对于初学者来说已经略微复杂，但最核心的组件有以下几个：

Nova：负责虚拟机相关。
Glance：负责镜像相关。
Cinder：负责存储相关。
Neutron：负责网络相关。
Keystone：负责鉴权以及服务注册。

大体架构如下图：

能看到这篇文章的小伙伴肯定已经知道什么是Scrapy以及Scrapy-Redis了，基础概念这里就不再介绍。默认情况下Scrapy-Redis是发送GET请求获取数据的，对于某些使用POST请求的情况需要重写make_request_from_data函数即可，但奇怪的是居然没在网上搜到简洁明了的答案，或许是太简单了？

这里我以httpbin.org这个网站为例，首先在settings.py中添加所需配置，这里需要根据实际情况进行修改：

SCHEDULER = "scrapy_redis.scheduler.Scheduler"  #启用Redis调度存储请求队列
SCHEDULER_PERSIST = True    #不清除Redis队列、这样可以暂停/恢复 爬取
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"  #确保所有的爬虫通过Redis去重
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = "redis://127.0.0.1:6379"

原文，文章作者也是《Hands-On Dependency Injection in Go》的作者，向原作者表示感谢。

你是否曾经由于添加某个新功能却导致另一个功能出问题？修复好这个，另一个又出问题，就好象打地鼠一般。

你是否曾经花费大量的时间调试Bug，最后却发现问题潜伏在另一个、甚至毫不相关的模块中？

这些问题都是由于高耦合引起的。

在这篇文章中，我们来使用解偶的方式来让代码更加易于理解、维护、测试。

由于某些不可描述的原因，国内使用go get命令安装某些包的时候会超时导致失败，比如net包、sys包、tools包等。第一种解决办法就是自己从git上下载后添加链接到GOPATH中，比如：

git clone https://github.com/golang/net.git $GOPATH/src/github.com/golang/net

git clone https://github.com/golang/sys.git $GOPATH/src/github.com/golang/sys

git clone https://github.com/golang/tools.git $GOPATH/src/github.com/golang/tools

ln -s $GOPATH/src/github.com/golang $GOPATH/src/golang.org/

cd $GOPATH/src/golang.org/  && mv golang x

今天获取百度地图数据时候发现其坐标都是类似12945050.96,4826978.52这种而非常见的经纬度，之前获取百度外面商家信息时就发现了这个问题但没深入研究，搜索后发现这种表示方法叫做墨卡托坐标。不得不说，关于坐标的标准还真是挺多的，根据经纬度查询位置可以使用这个网站。

相比与Paxos算法，Raft更容易理解。首先推荐个动画视频 (注意这个动画真的基于raft算法，所以每次选举出的节点都是不同的，我观看某些章节时候甚至出现过3次选举过程)，然后是raft论文中文版和raft主页，基本结合这3个网站就能理解raft了。

在Raft算法中，有3种角色：

Leader
Follower
Candidate

大体分为2个过程：

选举(Leader Election)
日志同步(Log Replication)

OpenStack源码学习笔记1

Scrapy-Redis结合POST请求获取数据

如何对Go代码解偶

go get命令使用socket代理

墨卡托坐标转经纬度

Raft算法