• 预备知识
  • 虚拟化
  • WSGI
  • Paste Deployment
• 通用套路
• 配置加载与路由绑定
• 创建虚拟机
  • Nova-Api
  • Nova-Conductor-1
  • Nova-Scheduler
  • Nova-Conductor-2
  • Nova-Compute

作为已经比较成熟的IAAS开源解决方案，OpenStack已经发布了19个版本，目前稳定版是Stein，并且下一个版本Train也预计在10月发布。可以说，从代码架构角度来说对于初学者来说已经略微复杂，但最核心的组件有以下几个：

1. Nova：负责虚拟机相关。
2. Glance：负责镜像相关。
3. Cinder：负责存储相关。
4. Neutron：负责网络相关。
5. Keystone：负责鉴权以及服务注册。

大体架构如下图：

能看到这篇文章的小伙伴肯定已经知道什么是Scrapy以及Scrapy-Redis了，基础概念这里就不再介绍。默认情况下Scrapy-Redis是发送GET请求获取数据的，对于某些使用POST请求的情况需要重写make_request_from_data函数即可，但奇怪的是居然没在网上搜到简洁明了的答案，或许是太简单了？

这里我以httpbin.org这个网站为例，首先在settings.py中添加所需配置，这里需要根据实际情况进行修改：

1
2
3
4
5

SCHEDULER = "scrapy_redis.scheduler.Scheduler"  #启用Redis调度存储请求队列
SCHEDULER_PERSIST = True    #不清除Redis队列、这样可以暂停/恢复 爬取
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"  #确保所有的爬虫通过Redis去重
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = "redis://127.0.0.1:6379"

这里记录一下对于新手(对,说的就是本人)学习kears框架时用来提升准确率的一些tip,但这里都是”术”的层面,而对于”道”,还是要看数学.全文以深度学习界的”hello world”-手写数字识别为例.

原文，文章作者也是《Hands-On Dependency Injection in Go》的作者，向原作者表示感谢。

你是否曾经由于添加某个新功能却导致另一个功能出问题？修复好这个，另一个又出问题，就好象打地鼠一般。

你是否曾经花费大量的时间调试Bug，最后却发现问题潜伏在另一个、甚至毫不相关的模块中？

这些问题都是由于高耦合引起的。

在这篇文章中，我们来使用解偶的方式来让代码更加易于理解、维护、测试。

由于某些不可描述的原因，国内使用go get命令安装某些包的时候会超时导致失败，比如net包、sys包、tools包等。第一种解决办法就是自己从git上下载后添加链接到GOPATH中，比如：

1
2
3
4
5
6
7
8
9

git clone https://github.com/golang/net.git $GOPATH/src/github.com/golang/net

git clone https://github.com/golang/sys.git $GOPATH/src/github.com/golang/sys

git clone https://github.com/golang/tools.git $GOPATH/src/github.com/golang/tools

ln -s $GOPATH/src/github.com/golang $GOPATH/src/golang.org/

cd $GOPATH/src/golang.org/  && mv golang x

在上一篇文章中记录到了IPFS的BitSwap协议，今天接着往下看关于Object的部分。

Merkle DAG

Merkle DAG是IPFS核心概念之一，在Git的数据结构上进行了改造。理解Merkle DAG之前先来了解下Merkle Tree。

在上一篇文章中初步介绍了IPFS的基本概念和使用方法，今天更深入一些了解IPFS的设计理念。

根据 第三版 白皮书，IPFS体系可以分为7层：

1. 身份：负责节点的身份生成和认证。
2. 网络：负责节点间的网络连接，可以配置使用各种网络协议。
3. 路由：维护路由信息来找出特定的节点和对象。默认使用DHT，可以替换。
4. 交换：一个新型的块交换协议(BitSwap)来高效管理块分发。有点类似超市，对数据复制有激励。交易策略可以替换。
5. 对象：带有链接的、内容寻址的不可变对象组成的Merkle DAG，可以代表任意数据结构。比如文件层级和通信系统。
6. 文件：受到Git启发的版本控制文件层级系统。
7. 命名：自验证的可变命名系统。

虽然区块链有很多令人兴奋的特性，但是也有其固有的缺点。比如，文件或者长度较长的文本信息就不适合存储在链上。那么如何解决这个缺点呢？一个解决方案就是IPFS(Interplanetary File System)——星际文件系统。

本文作为简介篇不打算涉及网络及数据结构相关知识(比如什么是协议、什么是树、什么是图……)，不过我相信各位看官既然能找到本文网络基础应该不是问题。

今天获取百度地图数据时候发现其坐标都是类似12945050.96,4826978.52这种而非常见的经纬度，之前获取百度外面商家信息时就发现了这个问题但没深入研究，搜索后发现这种表示方法叫做墨卡托坐标。不得不说，关于坐标的标准还真是挺多的，根据经纬度查询位置可以使用这个网站。

原文，阅读之前请先看200行GO代码实现区块链1 和 200行GO代码实现区块链2。

如果看到这了相信你已经知道什么是加密算法等背景了，所以忽略关于这部分的翻译，直接从编码开始。这篇文章在前两篇的文章基础上添加了工作量证明(POW)挖矿算法。