A No-Frills Introduction to Lua 5.1 VM Instructions

by Kein-Hong Man, esq. <khman AT users.sf.net>

Version 0.1, 20060313

 

1 Introduction

这是一本关于Lua 5.1 虚拟机指令集的完全介绍。与Perl和Python相比，Lua的简洁性使得有人可以一窥它的内幕并理解它的内在实现。如果没有把一个“生物”切开就不可能检查它的内脏，器官和那些令人生厌的平时难得一见的东西，同样的道理，在没有拆分的情况下，任何人都不会完全的理解体会一个脚本语言或是任何复杂的系统。所以想象这篇文档可以帮助您窥探内幕。

 

这篇介绍性的指南仅仅包含Lua5.1。要得到关于Lua5.0.2虚拟机指令的指导请参考以前的文档。这样做是必要的，因为Lua的内部实现没有任何方面是固定和标准的，所以用户一定不要期望从Lua的一个版本到另一个版本的内部实现具有兼容性。

 

ChunkSpy (URL: http://luaforge.net/projects/chunkspy/)，是我在学习Lua内部实现时编写的一个Lua二进制块反汇编器，这篇文档中的实例都是用ChunkSpy生成的。ChunkSpy简洁的反汇编模式与luac的列表模式的输出十分相似，所以你没有必要去学习新的列表语法。ChunkSpy可以从LuaForge (URL: http://luaforge.net/)下载，它的许可类型与Lua5.1本身的许可类型相同都是MIT类型。

 

ChunkSpy有一个交互模式：您可以写入源代码块并立即得到反汇编代码。这样这篇文档就可以被看作是一本指南，您可以将例子写入到ChunkSpy并亲自看一看结构。当您在探索Lua代码生成器在为许多小代码片段生成二进制码的行为的时候交互模式是非常有用的。

 

这只是一个快速的介绍，并不打算对Lua(从这里开始，使用“Lua”代替“Lua5”，除非有特殊说明)虚拟机或指令集做广泛或深入的讨论，只是想成为一个简单的易于消化的初学者指南。－ 不要做徒劳的事情。

 

这篇简介的目的是用最少的废话来讨论所有的Lua虚拟机指令集和Lua5二进制块的结构。如果你想得到更多的细节，你可以使用luac或ChunkSpy学习一些非平凡的代码块，或者可以进入Lua源代码本身看看究竟做了什么。

 

这篇文档目前只是一个草稿，我不是Lua内部实现的专家，所以欢迎意见回馈。如果您发现了任何错误或者想要投稿，请给我发送电子邮件(khman AT

users.sf.net or mkh AT pl.jaring.my)使得我可以改正，谢谢。

 

2 Lua Instruction Basics

我们将要看到了Lua虚拟机指令集是Lua语言的详尽实现。这并不是实现Lua语言的唯一的方法。现在的指令集只不过碰巧是被Lua的作者选来实现Lua。(这一段作者好像是在说Lua的指令集并不是固定的只是因为Lua的作者选择了这样的指令集，如果另一个人要重新实现Lua那么完全有可能使用另一套指令集)接下来的章节是基于Lua 5.1使用的指令集。将来这个指令集有可能会改变 － 不要期望它一成不变。这是因为虚拟机的实现细节不是大多数脚本语言使用者所关心的。对于大多数程序来说，没有必要指定字节码如何生成，虚拟机任何运转，只要语言像宣传的那样工作就行了。所以记住，没有关于Lua虚拟机指令集的官方的规范，也没有必要。只有Lua语言的官方规范。

 

在学习Lua二进制块反汇编的过程中，你会注意到许多生成的指令序列并不像您想象中的那么完美。从工程学的观点来看这完全是正常的。标准的Lua实现并不意味着它是一个优化的字节码编译器或是JIT编译器。但它将会快速有效的装载，解析，运行Lua源代码。这些就是这个实现的全部价值。如果您确实需要性能，无论怎样您都将会降低到纯C函数。

 

Lua指令具有固定大小，通常使用32位无符号整型数据表示。在二进制块中，字节序很重要，一天指令可以很轻松的使用C语言中通常的整数移位和掩码操作来对其进行编码和解码。细节可以在lopcodes.h中找到，同时Instruction类型在llimits.h中定义。

 

现在Lua 5.1中有三种指令类型和38个操作码(编号从0到37)。指令的类型由iABC, iABx, iAsBx列举出来，下面是更直观的描述：

 

 

 

 

 

除了sBx以为，指令使用简单的无符号整型值编码。sBx域可以表示负数，但是不实用二进制补码的形式。取而代之，它有一个bias(*这个词我不知道翻译成什么更好*)，这个bias等于sBx的无符号副本Bx能够表示的最大整数值的一半。对于18位的域来说，Bx能够保存的最大整数值是262143，所以bias就是131071(计算262143>>1)。值-1将被编码为(-1 + 131071)或131070或十六进制的0x1FFFE。

 

域A, B和C通常作为寄存器数(因为它们与处理器的寄存器的相似性，我以后将使用术语“寄存器”)。虽然域A在算术操作中是目的操作数，但是在其他指令中这条规则并不总是正确的。一个寄存器确实也可以是当前栈结构的索引，寄存器0标识栈底位置。

 

与Lua C API不同，负数索引(从栈顶开始计算)是不被支持的。对于许多指令，栈顶可能是必须的，这时可以使用特殊的值编码，通常使用0。在当前栈中的局部变量的值等于某一寄存器，同时允许读/写全局变量和upvalues的专有指令也是一样。对于许多指令，一个在域B或C中的值有可能是寄存器或是在常量池中的常量索引的编码。在后面关于指令符号的章节中将更深入的描述。

 

通常，Lua的栈结构的最大值是250。在llimits.h中这个值被定义为MAXSTACK。

栈结构的最大值转换成对每个函数的局部变量的最大值的限制时，这个值被设置成200，在luaconf.h中被定义为LUAI_MAXVARS。在同一个文件中发现的其他的限制包括每个函数的upvalues的最大值(60)，被定义为LUAI_MAXUPVALUES，调用深度，最小的C堆栈尺寸，等等。同样，由于sBx包含18位，所以跳转和控制结构不能超过131071的跳转距离。

 

下面是Lua 5.1的虚拟机指令集的摘要：

 

 

 

 

3 Really Simple Chunks

在进入二进制块和虚拟机指令的细节之前，这一章简要的示范一下怎样使用ChunkSpy解析Lua 5生成的代码。这篇文档中的所有的例子都是由应用于Lua 5.1的ChunkSpy生成的，这个程序可以在ChunkSpy 0.9.8的发布版本中找到。

 

首先，以交互模式启动ChunkSpy(用户输入被设置成粗体)：

$ lua ChunkSpy.lua --interact

ChunkSpy: A Lua 5.1 binary chunk disassembler

Version 0.9.8 (20060307) Copyright (c) 2004-2006 Kein-Hong Man

The COPYRIGHT file describes the conditions under which this

software may be distributed (basically a Lua 5-style license.)

 

Type 'exit' or 'quit' to end the interactive session. 'help' displays

this message. ChunkSpy will attempt to turn anything else into a

binary chunk and process it into an assembly-style listing.

A '/' can be used as a line continuation symbol; this allows multiple

lines to be strung together.

 

>

 

我们将以最简单的程序块开始，它产生的结果如下：

>do end

; source chunk: (interactive mode)

; x86 standard (32-bit, little endian, doubles)

 

; function [0] definition (level 1)

; 0 upvalues, 0 params, 2 stacks

.function 0 0 2 2

[1] return 0 1

; end of function

 

ChunkSpy将会把您的键盘输入看作是小的Lua源代码块。首先，库函数string.dump()被用来生成二进制串，然后ChunkSpy反汇编这个串并向您展示一个汇编语言形式的输出列表。

 

这个列表有一些特点：注释使用“；”开头。二进制块的头部并没有显示在这个简单的列表中。数据或头这样的非指令的信息使用汇编语言标识符的方式显示，就是以点开头。为一些指令生成luac形式的注释，指令的位置显示在方括号中。

 

一个“do end”块生成了唯一一条RETURN指令，并且什么也没做。它没有参数，局部变量，upvalues和全局变量。对于这篇文档中的其余的反汇编列表，我将省略通用的头注释并仅仅展示函数的反汇编部分。指令使用它的记号位置来引用，例如 行[1]。下面是另一个简短的块：

>return

; function [0] definition (level 1)

; 0 upvalues, 0 params, 2 stacks

.function 0 0 2 2

[1] return 0 1

[2] return 0 1

; end of function

 

为源代码中的每一条return 生成一条RETURN 指令。第一条RETURN(行[1])是由关键字return生成的，然后代码生成器总是添加第二条RETURN(行[2])。这不是问题，因为第二条RETURN从来不会被运行，所以仅仅浪费了4个字节。完美的RETURN指令的生成需要基本块的分析，但是没有这样做，原因是没有必要在运行时为了一个额外的RETURN浪费性能，而这里仅仅有一个可以忽略的内存浪费。

 

注意，在下面的例子中，即使堆栈没有被使用，最小的堆栈尺寸也是2。下一个代码片段是将常量值6赋值给全局变量a：

>a=6

; function [0] definition (level 1)

; 0 upvalues, 0 params, 2 stacks

.function 0 0 2 2

.const "a" ; 0

.const 6 ; 1

[1] loadk 0 1 ; 6

[2] setglobal 0 0 ; a

[3] return 0 1

; end of function

 

所有的字符串和数字常量都被放入每一个函数的池中，指令通过从0开始的索引来引用它们。全局变量名需要使用常量字符串，因为全局变量是作为一个表来维护的。行[1]将值6(使用指向常量池的索引1)装载到寄存器0中，然后行[2]使用常量“a”(常量索引0)作为关键字，使用寄存器0(保存着数值6)作为值来设置全局表。

 

如果我们将变量写成局部的，会得到：

>local a="hello"

; function [0] definition (level 1)

; 0 upvalues, 0 params, 2 stacks

.function 0 0 2 2

.local "a" ; 0

.const "hello" ; 0

[1] loadk 0 0 ; "hello"

[2] return 0 1

; end of function

 

局部变量存在于栈中，并且在它们的生存周期内，它们将占据栈(或寄存器)的一个位置。局部变量的作用域由开始的程序计数位置和结束的程序级数位置来指定；作用域没有在简要的反汇编列表中显示。

 

函数中的局部变量表告诉用户寄存器0就是变量a。这些信息对于虚拟机没有作用，因为虚拟机只需要知道寄存器数 ---- 假设代码生成器已经做了适当的寄存器分配。所以，行[1]的LOADK将常量0(字符串“hello”)装载到寄存器0，寄存器0就是局部变量a。不包含调试信息的二进制块不包含局部变量名。

 

接下来的章节中的一些例子将包含额外的评注，这些注释都包含在括号中。请注意ChunkSpy不会生成这些注释，也不会缩进位于不同嵌套级别的函数。接写来我们看看Lua 5.1的二进制块的结构。