云计算(Cloud Computer)
2008/12/01 14:35
打开“云”的大门,我们漫步“云”端……

云计算就像法国大餐一样正被人们津津乐道。
-- Ben Pring (Gartner资深分析师)
云计算的原理
云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。
云计算的基本原理是,通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。
这可是一种革命性的举措,打个比方,这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。
云计算的蓝图已经呼之欲出:在未来,只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。从这个角度而言,最终用户才是云计算的真正拥有者。
云计算的应用包含这样的一种思想,把力量联合起来,给其中的每一个成员使用。
云计算的七种应用类型
云计算虽然被人们津津乐道,但是似乎每个人对他的定义都不尽相同,目前云计算有以下7种应用:
1、SaaS软件即服务:这类云计算是通过WEB浏览器来向成千上万个用户提供某种单一的软件应用。在用户看来,这样他们不需要事先购买服务器设备或是软件授权;而对于厂商来说,与常规的软件服务模式相比,仅提供一项应用的成本也要低得多。
2、公用/效用计算
3、云计算领域的WEB服务:与SaaS有些类似,WEB服务厂商也是通过提供API让开发人员来开发互联网应用,而不是自己来提供功能全面的应用软件。
4、平台即服务
5、管理服务供应商(MSP)
6、服务商业平台
7、云计算集成

云计算就像法国大餐一样正被人们津津乐道。
-- Ben Pring (Gartner资深分析师)
云计算的原理
云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。
云计算的基本原理是,通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。
这可是一种革命性的举措,打个比方,这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。
云计算的蓝图已经呼之欲出:在未来,只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。从这个角度而言,最终用户才是云计算的真正拥有者。
云计算的应用包含这样的一种思想,把力量联合起来,给其中的每一个成员使用。
云计算的七种应用类型
云计算虽然被人们津津乐道,但是似乎每个人对他的定义都不尽相同,目前云计算有以下7种应用:
1、SaaS软件即服务:这类云计算是通过WEB浏览器来向成千上万个用户提供某种单一的软件应用。在用户看来,这样他们不需要事先购买服务器设备或是软件授权;而对于厂商来说,与常规的软件服务模式相比,仅提供一项应用的成本也要低得多。
2、公用/效用计算
3、云计算领域的WEB服务:与SaaS有些类似,WEB服务厂商也是通过提供API让开发人员来开发互联网应用,而不是自己来提供功能全面的应用软件。
4、平台即服务
5、管理服务供应商(MSP)
6、服务商业平台
7、云计算集成
centos5.2下QT4环境的设置
2008/11/26 21:44
由于在centos5.2下自带的是qt3,对于编程者来说,qt3和qt4存在很大的区别,因此需要自己安装个qt4,我们通过yum install qt4-dev*命令安装的QT版本是qt4.2,当然你也可以通过下载qt的最新的源码包然后进行./configure ;make ;make install进行源码的安装,通过源码的安装花费的时间会很长,大约要2个小时的编译,因此这里只介绍通过yum 命令的方式。当你yum 好后,由于系统自带的环境下一些qt库默认的还是qt3,因此你得进行环境设置,下面是环境设置的方法:
执行vi / etc/profile
添加如下内容:
PATH=/usr/lib/qt4/bin:$PATH export PATH QTDIR=/usr/lib/qt4/ export QTDIR
执行以下命令:
cd /usr/bin
ln -s /usr/lib/qt4/bin/qmake qmake4
ln -s /usr/lib/qt4/bin/designer designer4
ln -s /usr/lib/qt4/bin/assistant assistant4
运行/usr/lib/qt4/bin/qtconfig,在Font项将字体设置为Bitstream Charter退出,避免assistant4帮助文档粗体字破碎。
这样就可以使用qt4的环境了!
执行vi / etc/profile
添加如下内容:
PATH=/usr/lib/qt4/bin:$PATH export PATH QTDIR=/usr/lib/qt4/ export QTDIR
执行以下命令:
cd /usr/bin
ln -s /usr/lib/qt4/bin/qmake qmake4
ln -s /usr/lib/qt4/bin/designer designer4
ln -s /usr/lib/qt4/bin/assistant assistant4
运行/usr/lib/qt4/bin/qtconfig,在Font项将字体设置为Bitstream Charter退出,避免assistant4帮助文档粗体字破碎。
这样就可以使用qt4的环境了!
CPU Scheduling in xen (zz)
2008/11/26 17:38
在服务虚拟化技术中CPU调度是关键。它决定着哪个vCPU能够在底层的物理CPU架构上运行。为了优化调度并达到接近原始(未虚拟化时)的性能,调度方案必须有效,并且不浪费任何处理器周期。这些方案被称为(工作保留)work-conserving,即不允许CPU资源空闲。只要有足够的能力来执行指令且有指令执行,WC机制就陷入客户指令分配并分配它们给物理CPU去执行。如果工作负载不是很大的话,这样的机制操作就象简单的FIFO排队机制一样。然后,当处理器排队非常拥挤时,指令就会排队并且基于优先权和在调度机制中设置的权重执行。
作为比较,非工作保留(non-work-conserving)排队服务允许CPU资源可以空闲。在该情况下,以更快速度地执行指令比需要时执行是体现不出优点的,底层的物理CPU资源也会限制它们本来能够执行的速度。在同一个hypervisor中将WC和NWC机制结合起来是可行的。
在XEN中的一种CPU调度器是基于借记虚拟时间调度机制(BVT)的。这是一种混合的算法,WC服务模式且有低延迟分派机制(当一个domain接收到事件通知时立即唤醒该该domain)。后者在管理层中对操作系统运行在实时方式下最小化虚拟化的影响来说非常重要。BVT通过使用虚拟时间来达到它的低延迟特征。这个机制打破了“公平共享”的规则,临近的低延迟的域更容易被唤醒。XEN提供了两种调度策略,简单最早期限优先(SEDF)和Credit调度。通过统一的CPU调度的API能实现用户自己的调度方法。Credit调度是为了多处理器平台性能优化而来的,对多处理器平台来说它是比较好的选择。基于Credit调度在SEDF退后发展起来在后来的XEN版本中。BVT也是一种信用度的调度器。
调度参数在dom0中使用用户模式管理工具由每个domain管理。当典型的credit调度运行在多处理器平台上,将动态地以WC方式跨物理CPU来最大化domain和系统处理器的吞吐量,vCPU也能够限制只在主机的物理CPU的一个子集上运行,即pinning。例如,现在有一个应用程序服务器运行某个特定的domU,限定仅在CPU2和3上运行。即使现在CPU0和1有空闲周期,也不会为该domain执行指令--混合调度模型的nWC模式。
如果需要查看目前所有domains的SEDF调度设置,运行下面的命令:
xm sched -sedf
xm sched -credit -d 1 (1表示domain1)
Tips:
Xen提供了命令行接口。
SEDF调度器定制:
xm sched -sedf
Credit调度器定制:
xm sched-credit –d -w -c
Credit调度
管理员为每个domain分配credit值,Xen按照credit值公平调度各个domain。
Domain有两种状态,UNDER和OVER。OVER表示虚拟机的credit值已用完,UNDER表示credit值还有剩余。在进行调度时,调度器只关心虚拟机所处的状态,而不会进一步关心其剩余的credit值,处于UNDER状态的虚拟机优先于OVER状态的虚拟机被调度,只有当UNDER状态的虚拟机都无法运行时才会调度到OVER状态的虚拟机,所以,只有当处理器空闲时才允许破坏credit的公平性调度策略。处于相同状态的虚拟机按照先进先出的方式运行,当处于队列首部的虚拟机被调度到时,在其credit值足够的情况下,允许其运行三个调度时长,即30ms。系统每隔10ms触发一次调度中断,当前正在运行的虚拟机会被减掉100个credit,当所有虚拟机的credit值总和变为负值时,为所有虚拟机重新分配credit。
当事件被发送到虚拟机时,如果虚拟机处于空闲状态,Xen会将其唤醒,然后,调度器会被立即运行,重新计算调度顺序,如果新被唤醒的虚拟机具有较高的优先级,则之前正在运行的虚拟机会被抢占调度。在Credit最初的设计中,接收到事件的虚拟机总是被放在调度队列的尾部,虽然调度器会立即重新计算调度顺序,但它必须等待排在其前面的所有虚拟机都运行完才会被调度到。在响应敏感类应用中,事件响应延迟与其所处的队列位置密切相关,响应延迟普遍较长且波动明显。为了解决响应延迟时间过长的问题,Credit调度算法新加入了一个BOOST状态,处于BOOST态的虚拟机具有最高的优先级。空闲的虚拟机在通过事件通道接收到一个事件时会进入BOOST态,因为BOOST态优先级最高,如果允许调度器立即重新调度,则该虚拟机会被立即调度到。经实验证明,加入BOOST态的Credit算法可以大大降低响应延迟的平均值,但如果有多台虚拟机同时进行I/O操作,则他们都会被BOOST,从而无法体现BOOST态优先级高的优势,等待处理的事件仍有可能长时间得不到响应,所以,对波动现象改进很少。BOOST对I/O的带宽也有明显改进。
SEDF调度
Xen为每台虚拟机指定两个参数:period和slice。如果虚拟机可运行且未被阻塞,SEDF可以保证在每个period时间段内执行slice时长。SEDF为每个虚拟机维护一个deadline值,表示当前period段结束的时间,以及在该period时间段内还未执行的slice时长,调度队列按照deadline值排序,deadline最早的虚拟机最先被执行,随着处理器的运行,deadline值会被不断地修正。I/O敏感的虚拟机相对CPU敏感的虚拟机,消耗的处理时间更少,会有更早的deadline,因此也会有更高的优先级。
Xen的Credit算法能够非常公平地调度处理器资源,在调度CPU敏感类的虚拟机时可以取得很好的性能,但I/O敏感类的应用性能很差。
Xen的SEDF(Simple Earlier Dead First)算法在调度CPU敏感类和I/O敏感类混合应用时能够让I/O敏感类应用获得更短的延迟响应时间。
目前Xen采用的调度算法是Credit算法,因为Credit在调度多处理器方面和QoS控制方面表现更好。
(paper:Scheduling I/O in Virtual Machine Monitors Diego Ongaro Alan L. Cox Scott Rixner, Rice University)
作为比较,非工作保留(non-work-conserving)排队服务允许CPU资源可以空闲。在该情况下,以更快速度地执行指令比需要时执行是体现不出优点的,底层的物理CPU资源也会限制它们本来能够执行的速度。在同一个hypervisor中将WC和NWC机制结合起来是可行的。
在XEN中的一种CPU调度器是基于借记虚拟时间调度机制(BVT)的。这是一种混合的算法,WC服务模式且有低延迟分派机制(当一个domain接收到事件通知时立即唤醒该该domain)。后者在管理层中对操作系统运行在实时方式下最小化虚拟化的影响来说非常重要。BVT通过使用虚拟时间来达到它的低延迟特征。这个机制打破了“公平共享”的规则,临近的低延迟的域更容易被唤醒。XEN提供了两种调度策略,简单最早期限优先(SEDF)和Credit调度。通过统一的CPU调度的API能实现用户自己的调度方法。Credit调度是为了多处理器平台性能优化而来的,对多处理器平台来说它是比较好的选择。基于Credit调度在SEDF退后发展起来在后来的XEN版本中。BVT也是一种信用度的调度器。
调度参数在dom0中使用用户模式管理工具由每个domain管理。当典型的credit调度运行在多处理器平台上,将动态地以WC方式跨物理CPU来最大化domain和系统处理器的吞吐量,vCPU也能够限制只在主机的物理CPU的一个子集上运行,即pinning。例如,现在有一个应用程序服务器运行某个特定的domU,限定仅在CPU2和3上运行。即使现在CPU0和1有空闲周期,也不会为该domain执行指令--混合调度模型的nWC模式。
如果需要查看目前所有domains的SEDF调度设置,运行下面的命令:
xm sched -sedf
xm sched -credit -d 1 (1表示domain1)
Tips:
Xen提供了命令行接口。
SEDF调度器定制:
xm sched -sedf
Credit调度器定制:
xm sched-credit –d -w -c
Credit调度
管理员为每个domain分配credit值,Xen按照credit值公平调度各个domain。
Domain有两种状态,UNDER和OVER。OVER表示虚拟机的credit值已用完,UNDER表示credit值还有剩余。在进行调度时,调度器只关心虚拟机所处的状态,而不会进一步关心其剩余的credit值,处于UNDER状态的虚拟机优先于OVER状态的虚拟机被调度,只有当UNDER状态的虚拟机都无法运行时才会调度到OVER状态的虚拟机,所以,只有当处理器空闲时才允许破坏credit的公平性调度策略。处于相同状态的虚拟机按照先进先出的方式运行,当处于队列首部的虚拟机被调度到时,在其credit值足够的情况下,允许其运行三个调度时长,即30ms。系统每隔10ms触发一次调度中断,当前正在运行的虚拟机会被减掉100个credit,当所有虚拟机的credit值总和变为负值时,为所有虚拟机重新分配credit。
当事件被发送到虚拟机时,如果虚拟机处于空闲状态,Xen会将其唤醒,然后,调度器会被立即运行,重新计算调度顺序,如果新被唤醒的虚拟机具有较高的优先级,则之前正在运行的虚拟机会被抢占调度。在Credit最初的设计中,接收到事件的虚拟机总是被放在调度队列的尾部,虽然调度器会立即重新计算调度顺序,但它必须等待排在其前面的所有虚拟机都运行完才会被调度到。在响应敏感类应用中,事件响应延迟与其所处的队列位置密切相关,响应延迟普遍较长且波动明显。为了解决响应延迟时间过长的问题,Credit调度算法新加入了一个BOOST状态,处于BOOST态的虚拟机具有最高的优先级。空闲的虚拟机在通过事件通道接收到一个事件时会进入BOOST态,因为BOOST态优先级最高,如果允许调度器立即重新调度,则该虚拟机会被立即调度到。经实验证明,加入BOOST态的Credit算法可以大大降低响应延迟的平均值,但如果有多台虚拟机同时进行I/O操作,则他们都会被BOOST,从而无法体现BOOST态优先级高的优势,等待处理的事件仍有可能长时间得不到响应,所以,对波动现象改进很少。BOOST对I/O的带宽也有明显改进。
SEDF调度
Xen为每台虚拟机指定两个参数:period和slice。如果虚拟机可运行且未被阻塞,SEDF可以保证在每个period时间段内执行slice时长。SEDF为每个虚拟机维护一个deadline值,表示当前period段结束的时间,以及在该period时间段内还未执行的slice时长,调度队列按照deadline值排序,deadline最早的虚拟机最先被执行,随着处理器的运行,deadline值会被不断地修正。I/O敏感的虚拟机相对CPU敏感的虚拟机,消耗的处理时间更少,会有更早的deadline,因此也会有更高的优先级。
Xen的Credit算法能够非常公平地调度处理器资源,在调度CPU敏感类的虚拟机时可以取得很好的性能,但I/O敏感类的应用性能很差。
Xen的SEDF(Simple Earlier Dead First)算法在调度CPU敏感类和I/O敏感类混合应用时能够让I/O敏感类应用获得更短的延迟响应时间。
目前Xen采用的调度算法是Credit算法,因为Credit在调度多处理器方面和QoS控制方面表现更好。
(paper:Scheduling I/O in Virtual Machine Monitors Diego Ongaro Alan L. Cox Scott Rixner, Rice University)
libvirt库安装
2008/11/25 22:41
今天研究了一天的libvirt的Api发现一些新的体会,在安装libvirt库时候由于原来的centos5.2自带的xen-3.0.3安装的virt库是0.3.*的版本,而我下载的是0.4.6版本,在进行configure时候发现xen store没找到,查了些资料发现xen store的问题是由于需要安装xen-devel库,对于xen-devel来说依赖是xen-libs,centos5.2 的自带的yum install的功能在寻找安装xen-libs的时候有个bug,因此需要自己去redhat上下载对应的xen-dev的rpm包才能符合要求,先yum install xen,这个会对xen-lib3进行更新,更新的版本为:2.3 .xen-dev就去下2.3的就可以了,最后接下来就是./configure make,makeinstall 完成工作!最新的libvirt0.5.0会出现编译问题: undefined reference to `dbus_watch_get_unix_fd',0.4.6版本能正确安装!
@




