Important_Abbreviation - QLGQ/learning-python GitHub Wiki

WSGI / uwsgi / uWSGI

  1. WSGI
    WSGI是Web Server Gateway Interface的缩写，它是一种Web服务器网关接口。它是一个Web服务器（如uWSGI等服务器）与web应用（如用Flask框架写的程序）通信的一种规范。
    以层的角度看，WSGI所在层的位置低于CGI。但与CGI不同的是WSGI具有很强的伸缩性且能运行于多线程或多进程的环境下，这是因为WSGI只是一份标准并没有定义如何去实现。实际上WSGI并非CGI，因为其位于web应用程序与web服务器之间，而web服务器可以是CGI，mod_python（注：现通常使用mod_wsgi代替），FastCGI或者是一个定义了WSGI标准的web服务器就像python标准库提供的独立WSGI服务器称为wsgiref。 PythonWeb服务器网关接口（Python Web Server Gateway Interface，缩写为WSGI)是Python应用程序或框架和Web服务器之间的一种接口，已经被广泛接受, 它已基本达成它的可移植性方面的目标。
    WSGI 没有官方的实现, 因为WSGI更像一个协议. 只要遵照这些协议,WSGI应用(Application)都可以在任何服务器(Server)上运行, 反之亦然。

  2. uwsgi uwsgi协议是一个uWSGI服务器自有的协议，它用于定义传输信息的类型(type of information)，每一个uwsgi packet前4byte为传输信息类型描述，它与WSGI相比是两样东西。

  3. uWSGI uWSGI是一个Web服务器，它实现了WSGI协议、uwsgi、http等协议。Nginx中HttpUwsgiModule的作用是与uWSGI服务器进行交换。

注意 WSGI / uwsgi / uWSGI 这三个概念的区分：

  • WSGI是一种通信协议
  • uwsgi是一种线路协议而不是通信协议，在此常用于在uWSGI服务器与其他网络服务器的数据通信
  • uWSGI是实现了uwsgi和WSGI两种协议的Web服务器

CGI（通用网关接口）

CGI(Common Gateway Interface) 是WWW技术中最重要的技术之一，有着不可替代的重要地位。CGI是外部应用程序（CGI程序）与WEB服务器之间的接口标准，是在CGI程序和Web服务器之间传递信息的过程。CGI规范允许Web服务器执行外部程序，并将它们的输出发送给Web浏览器，CGI将Web的一组简单的静态超媒体文档变成一个完整的新的交互式媒体。

Common Gateway Interface，简称CGI。在物理上是一段程序，运行在服务器上，提供同客户端HTML页面的接口。这样说大概还不好理解。那么我们看一个实际例子：现在的个人主页上大部分都有一个留言本。留言本的工作是这样的：先由用户在客户端输入一些信息，如评论之类的东西。接着用户按一下“发布或提交”（到目前为止工作都在客户端），浏览器把这些信息传送到服务器的CGI目录下特定的CGI程序中，于是CGI程序在服务器上按照预定的方法进行处理。在本例中就是把用户提交的信息存入指定的文件中。然后CGI程序给客户端发送一个信息，表示请求的任务已经结束。此时用户在浏览器里将看到“留言结束”的字样。整个过程结束。

处理步骤：

  1. 通过Internet把用户请求送到web服务器
  2. web服务器接收用户请求并交给CGI程序处理
  3. CGI程序把处理结果传送给web服务器
  4. web服务器把结果送回到用户

Docker

Introduction

Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

Architecture

Docker使用客户端-服务器(C/S)架构模式，使用远程API来管理和创建Docker容器。Docker容器通过Docker镜像来创建。容器与镜像的关系类似于面向对象编程中的对象与类。
Docker采用C/S架构Docker daemon作为服务端接收来自客户的请求，并处理这些请求（创建、运行、分发容器）。客户端和服务端既可以运行在一个机器上，也可通过socket或者RESTful API来进行通信。
Docker daemon一般在宿主主机后台运行，等待接收来自客户端的消息。Docker客户端则为用户提供一系列可执行命令，用户用这些命令实现跟Docker daemon交互。
Docker

Mongodb

Introduction

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

Theory

所谓“面向集合”(Collection-Oriented)，意思是数据被分组存储在数据集中，被称为一个集合(Collection)。每个集合在数据库中都有一个唯一的标识名，并且可以包含无限数目的文档。集合的概念类似关系型数据库(RDBMS）里的表(table)，不同的是它不需要定义任何模式(schema)。Nytro MegaRAID技术中的闪存高速缓存算法，能够快速识别数据库内大数据集中的热数据，提供一致的性能改进。

模式自由(schema-free)，意味着对于存储在mongodb数据库中的文件，我们不需要知道它的任何结构定义。如果需要的话，你完全可以把不同结构的文件存储在同一个数据库里。

存储在集合中的文档，被存储为键-值对的形式。**键用于唯一标识一个文档，为字符串类型，而值则可以是各种复杂的文件类型。**我们称这种存储形式为BSON(Binary Serialized Document Format)。

MongoDB已经在多个站点部署，其主要场景如下：

  1. 网站实时数据处理。它非常适合实时的插入、更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。
  2. 缓存。由于性能很高，它适合作为信息基础设施的缓存层。在系统重启之后，由它搭建的持久化缓存层可以避免下层的数据源过载。
  3. 高伸缩性的场景：非常适合由数十或数百台服务器组成的数据库，它的路线图中已经包含对MapReduce引擎上午内置支持。

不使用的场景如下：

  1. 要求高度事务性的系统
  2. 传统的商业智能应用
  3. 复杂的跨文档（表）级联查询

OpenStack

Introduction

OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。

OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它的社区拥有超过130家企业及1350位开发者，这些机构与个人都将OpenStack作为基础设施即服务（IaaS）资源的通用前端。OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。本文希望通过提供必要的指导信息，帮助大家利用OpenStack前端来设置及管理自己的公共云或私有云。

OpenStack云计算平台，帮助服务商和企业内部实现类似于 Amazon EC2 和 S3 的云基础架构服务(Infrastructure as a Service, IaaS)。OpenStack 包含两个主要模块：Nova 和 Swift，前者是 NASA 开发的虚拟服务器部署和业务计算模块；后者是 Rackspace开发的分布式云存储模块，两者可以一起用，也可以分开单独用。

Projects

OpenStack覆盖了网络、虚拟化、操作系统、服务器等各个方面。它是一个正在开发中的云计算平台项目，根据成熟及重要程度的不同，被分解成核心项目、孵化项目，以及支持项目和相关项目。每个项目都有自己的委员会和项目技术主管，而且每个项目都不是一成不变的，孵化项目可以根据发展的成熟度和重要性，转变为核心项目。截止到Icehouse版本，下面列出了10个核心项目（即OpenStack服务）。

  • **计算(Compute)：Nova。**一套控制器，用于为单个用户或使用群组管理虚拟机实例的整个生命周期，根据用户需求来提供虚拟服务。负责虚拟机创建、开机、关机、挂起、暂停、调整、迁移、重启、销毁等操作，配置CPU、内存等信息规格。自Austin版本集成到项目中。
  • **对象存储(Object Storage)：Swift。**一套用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统，允许进行存储或者检索文件。可为Glance提供镜像存储，为Cinder提供卷备份服务。自Austin版本集成到项目中。
  • **镜像服务(Image Service)：Glance。**一套虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式（AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK），有创建上传镜像、删除镜像、编辑镜像基本信息的功能。自Bexar版本集成到项目中。
  • **身份服务(Identity Service)：Keystone。**为OpenStack其他服务提供身份验证、服务规则和服务令牌的功能，管理Domains、Projects、Users、Groups、Roles。自Essex版本集成到项目中。
  • **网络&地址管理(Network)：Neutron。**提供云计算的网络虚拟化技术，为OpenStack其他服务提供网络连接服务。为用户提供接口，可以定义Network、Subnet、Router，配置DHCP、DNS、负载均衡、L3服务，网络支持GRE、VLAN。插件架构支持许多主流的网络厂家和技术，如OpenvSwitch。自Folsom版本集成到项目中。
  • **块存储(Block Storage)：Cinder。**为运行实例提供稳定的数据块存储服务，它的插件驱动架构有利于块设备的创建和管理，如创建卷、删除卷，在实例上挂载和卸载卷。自Folsom版本集成到项目中。
  • **UI界面(Dashboard)：Horizon。**OpenStack中各种服务的Web管理门户，用于简化用户对服务的操作，例如：启动实例、分配IP地址、配置访问控制等。自Essex版本集成到项目中。
  • **测量(Metering)：Ceilometer。**像一个漏斗一样，能把OpenStack内部发生的几乎所有的事件都收集起来，然后为计费和监控以及其它服务提供数据支撑。自Havana版本集成到项目中。
  • **部署编排(Orchestration)：Heat。**提供了一种通过模板定义的协同部署方式，实现云基础设施软件运行环境（计算、存储和网络资源）的自动化部署。自Havana版本集成到项目中。
  • **数据库服务(Database Service)：Trove。**为用户在OpenStack的环境提供可扩展和可靠的关系和非关系数据库引擎服务。自Icehouse版本集成到项目中。

Details

创建虚拟机（VM）需要各种服务的交互和配合工作。下图展示了OpenStack典型环境架构，各个服务之间的交互和职能。
OpenStack典型环境架构

OpenStack因Open而开放，因组件而灵活，因包容而博大。有计算、网络、对象存储、块存储、身份、镜像服务、门户、测量、部署编排、数据库服务等等组件，有的组件可以根据需要选择安装，组网结构也很灵活、多样。实现了支持接入多种主流虚拟机软件：KVM、LXC、QEMU、Hyper-V、VMware、XenServer，也可以自行开发插件接入其他的虚拟化软件。

OpenStack Compute (Nova)是一套控制器，用于为单个用户或使用群组启动虚拟机实例。它同样能够用于为包含着多个实例的特定项目设置网络。OpenStack Compute在公共云处理方面堪与Amazon EC2相提并论；而在私有云方面也毫不逊色于VMware的产品。在公共云中，这套管理机制将提供预制的镜像或是为用户创建的镜像提供存储机制，这样用户就能够将镜像以虚拟机的形式启动。

OpenStack 对象存储(Swift)是一套用于在大规模可扩展系统中通过内置冗余及容错机制实现对象存储的系统。这些对象能够通过一个REST API或是像Cyberduck这样可以对接对象存储API的客户端加以恢复。

OpenStack镜像服务 (Glance)是一套虚拟机镜像查找及检索系统。它能够以三种形式加以配置：利用OpenStack对象存储机制来存储镜像；利用Amazon的简单存储解决方案（简称S3）直接存储信息；或者将S3存储与对象存储结合起来，作为S3访问的连接器。OpenStack镜像服务支持多种虚拟机镜像格式，包括VMware（VMDK）、Amazon镜像（AKI、ARI、AMI）以及VirtualBox所支持的各种磁盘格式。镜像元数据的容器格式包括Amazon的AKI、ARI以及AMI信息，标准OVF格式以及二进制大型数据。

构建私有云

第一步是设置正确的硬件和网络环境。尽管OpenStack允许在一个单一的平面网络上部署一切，从安全的角度来看并不安全。取决于你所使用的管理程序以及虚拟网络接口，它会允许guest虚拟机嗅探管理流量。建议至少使用两个网络：一个用来管理流量，一个用来进行虚拟机之间的对话。这意味着所有的云计算结点中你需要两个网卡（一个运行实例）和网络管理者。这些应该运行在不同的IP范围中。计算结点和实例的网络也需要支持VLAN标记，因为这是在“项目”之间隔绝流量所使用的机制。一个项目等价于你的亚马逊EC2账户，除了你不能按照你所希望的数目创建和分配之外。每一个项目都有自己的管理员和用户，在既定项目中的所有实例可以彼此通信。通过指派每一个项目自己的VLAN以及内部和外部的IP地址池来执行。

一旦硬件和网络设置好，下一步就是确定在哪里部署所有的OpenStack组件。标准部署应有一个控制器和一系列计算结点。控制器运行消息服务器，数据库和其他的组件来编排云，同时计算结点运行实例。但是你也可以分解控制器为地理的部分，从而改善性能，像把MySQL放在不同的物理盒中。对于安全而言，最关键的是确保每一部分都安装在安全的主机上，你只需要将其附加在网络上，让云运转即可。

只有两部分需要暴露给外面的世界（即使那只是你的企业网络）：API服务器/Web 控制台（如果开启）和网络管理者。这些服务器需要过硬，你甚至可以使用第三方网络接口来隔离后端管理用户连接产生的流量。

CDN

Introduction

CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。

CDN是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。

CDN的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。

服务模式

内容分发网络(CDN)是一种新型网络构建方式，它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层；而从广义的角度，CDN代表了一种基于质量与秩序的网络服务模式。
简单地说，内容分发网络(CDN)是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件，而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。
总的来说，内容服务基于缓存服务器，也称作代理缓存(Surrogate)，它位于网络的边缘，距用户仅有"一跳"(Single Hop)之遥。同时，代理缓存是内容提供商源服务器（通常位于CDN服务提供商的数据中心）的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户，即内容供应商，向最终用户提供尽可能好的体验，而这些用户是不能容忍请求响应时间有任何延迟的。

DNS

Introduction

DNS（Domain Name System，域名系统），因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析（或主机名解析）。DNS协议运行在UDP协议之上，使用端口号53。

DNS Function

每个IP地址都可以有一个主机名，主机名由一个或多个字符串组成，字符串之间用小数点隔开。有了主机名，就不要死记硬背每台IP设备的IP地址，只要记住相对直观有意义的主机名就行了。这就是DNS协议所要完成的功能。

主机名到IP地址的映射有两种方式：

  1. 静态映射 ，每台设备上都配置主机到IP地址的映射，各设备独立维护自己的映射表，而且只供本设备使用；
  2. 动态映射，建立一套域名解析系统(DNS)，只在专门的DNS服务器上配置主机到IP地址的映射，网络上需要使用主机名通信的设备，首先需要到DNS服务器查询主机所对应的IP地址。

通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析（或主机名解析）。在解析域名时，可以首先采用静态域名解析的方法，如果静态域名解析不成功，再采取动态域名解析的方法。可以将一些常用的域名放入静态域名解析表中，这样可以大大提高域名解析效率。

Concepts

DNS冗余

为保证服务的高可用性，DNS要求使用多台名称服务器冗余支持每个区域。某个区域的资源记录通过手动或自动方式更新到单个主名称服务器（称为主 DNS服务器）上，主 DNS 服务器可以是一个或几个区域的权威名称服务器。其它冗余名称服务器（称为辅 DNS 服务器）用作同一区域中主服务器的备份服务器，以防主服务器无法访问或宕机。辅 DNS服务器定期与主 DNS 服务器通讯，确保它的区域信息保持最新。如果不是最新信息，辅 DNS服务器就会从主服务器获取最新区域数据文件的副本。这种将区域文件复制到多台名称服务器的过程称为区域复制。

域名结构

通常Internet主机域名的一般结构为：主机名.三级域名.二级域名.顶级域名。 Internet 的顶级域名由 Internet网络协会域名注册查询负责网络地址分配的委员会进行登记和管理，它还为 Internet的每一台主机分配唯一的 IP 地址。

解析器

解析器，或另一台DNS服务器递归代表的情况下，域名解析器，协商使用递归服务，使用查询头位。解析通常需要遍历多个名称服务器，找到所需要的信息。然而，一些解析器的功能更简单地只用一个名称服务器进行通信。这些简单的解析器依赖于一个递归名称服务器（称为“存根解析器”），为他们寻找信息的执行工作。

DNS服务器

提供DNS服务的是安装了DNS服务器端软件的计算机。服务器端软件既可以是基于类linux操作系统，也可以是基于Windows操作系统的。装好DNS服务器软件后，您就可以在您指定的位置创建区域文件了，所谓区域文件就是包含了此域中名字到IP地址解析记录的一个文件。

故障解决

当DNS解析出现错误，例如把一个域名解析成一个错误的IP地址，或者根本不知道某个域名对应的IP地址是什么时，就无法通过域名访问相应的站点了，这就是DNS解析故障。出现DNS解析故障最大的症状就是访问站点对应的IP地址没有问题，然而访问他的域名就会出现错误。

  1. 用nslookup(网路查询)来判断是否真的是DNS解析故障：

    • 通过“开始->运行->输入CMD”后回车进入命令行模式。
    • 输入nslookup命令后回车，将进入DNS解析查询界面。
    • 命令行窗口中会显示出当前系统所使用的DNS服务器地址。
    • 接下来输入无法访问的站点对应的域名。假如不能访问的话，那么DNS解析应该是不能够正常进行的，会收到DNS request timed out，timeout was 2 seconds的提示信息。这说明本地计算机确实出现了DNS解析故障。如果DNS解析正常的话，会反馈回正确的IP地址。

  2. 查询DNS服务器工作是否正常：

    • 通过“开始->运行->输入CMD”后回车进入命令行模式。
    • 输入ipconfig/all命令来查询网络参数。
    • 在ipconfig /all显示信息中能够看到一个地方写着DNS SERVERS，这个就是本地的DNS服务器地址。例如笔者的是202.106.0.20和202.106.46.151。从这个地址可以看出是个外网地址，如果使用外网DNS出现解析错误时，可以更换一个其他的DNS服务器地址即可解决问题。
    • 如果在DNS服务器处显示的是个人公司的内部网络地址，那么说明该公司的DNS解析工作是交给公司内部的DNS服务器来完成的，这时需要检查这个DNS服务器，在DNS服务器上进行nslookup操作看是否可以正常解析。解决DNS服务器上的DNS服务故障，一般来说问题也能够解决。

  3. 清除DNS缓存信息：

    • 通过“开始->运行->输入CMD”进入命令行模式。
    • 在命令行模式中我们可以看到在ipconfig /?中有一个名为/flushdns的参数，这个就是清除DNS缓存信息的命令。
    • 执行ipconfig /flushdns命令，当出现“successfully flushed the dns resolver cache”的提示时就说明当前计算机的缓存信息已经被成功清除。
    • 接下来我们再访问域名时，就会到DNS服务器上获取最新解析地址，再也不会出现因为以前的缓存造成解析错误故障了。

  4. 修改HOSTS（主机）文件：

    • 通过“开始->搜索”，然后查找名叫hosts的文件。
    • 当然对于已经知道他的路径的读者可以直接进入c:\windows\system32\drivers\etc目录中找到HOSTS文件。
    • 双击HOSTS文件，然后选择用“记事本”程序将其打开。
    • 之后我们就会看到HOSTS文件的所有内容了，默认情况下只有一行内容“127.0.0.1 localhost”。（其他前面带有#的行都不是真正的内容，只是帮助信息而已）
    • 将你希望进行DNS解析的条目添加到HOSTS文件中。具体格式是先写该域名对应的IP地址，然后空格接域名信息。
    • 设置完毕后我们访问网址时就会自动根据是在内网还是外网来解析了。