- 浏览: 399419 次
- 性别:
- 来自: 北京
-
文章分类
最新评论
-
秦时明月黑：
深入浅出，楼主很有功底
hive编译部分的源码结构 -
tywo45：
感觉好多错误，但还是支持！
HDFS+MapReduce+Hive+HBase十分钟快速入门 -
xbbHistory：
解析的很棒！！
Linux-VFS -
darrendu：
执行这个命令，bin/hadoop fs -ls /home/ ...
Hadoop示例程序WordCount运行及详解 -
moudaen：
请问楼主，我执行总后一条语句时，执行的是自带的1.sql，你当 ...
TPC-H on Hive
MogileFS DB 表结构
MogileFS数据库使用Innodb数据引擎
以下是所有表：
+----------------------+
| Tables_in_mogilefs |
+----------------------+
| class |
| device |
| domain |
| file |
| file_on |
| file_on_corrupt |
| file_to_delete |
| file_to_delete2 |
| file_to_delete_later |
| file_to_queue |
| file_to_replicate |
| fsck_log |
| host |
| server_settings |
| tempfile |
| unreachable_fids |
+----------------------+
d omain （域）：用于记录域信息
+-----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+----------------------+------+-----+---------+-------+
| dmid | smallint(5) unsigned | NO | PRI | NULL | |
| namespace | varchar(255) | YES | UNI | NULL | |
+-----------+----------------------+------+-----+---------+-------+
class（类）：用于记录各域中的类信息，对每个类可定义不同的备份策略
+-------------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------------+----------------------+------+-----+---------+-------+
| dmid | smallint(5) unsigned | NO | PRI | NULL | |
| classid | tinyint(3) unsigned | NO | PRI | NULL | |
| classname | varchar(50) | YES | | NULL | |
| mindevcount | tinyint(3) unsigned | NO | | NULL | |
| replpolicy | varchar(255) | YES | | NULL | |
+-------------+----------------------+------+-----+---------+-------+
host（存储节点）：用于记录各存储节点状态和访问的ip和端口等
+---------------+-----------------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+---------------+-----------------------------+------+-----+---------+-------+
| hostid | mediumint(8) unsigned | NO | PRI | NULL | |
| status | enum('alive','dead','down') | YES | | NULL | |
| http_port | mediumint(8) unsigned | YES | | 7500 | |
| http_get_port | mediumint(8) unsigned | YES | | NULL | |
| hostname | varchar(40) | YES | UNI | NULL | |
| hostip | varchar(15) | YES | UNI | NULL | |
| altip | varchar(15) | YES | UNI | NULL | |
| altmask | varchar(18) | YES | | NULL | |
+---------------+-----------------------------+------+-----+---------+-------+
device（设备块）：用于记录各Host中的设备块信息，如总共多大，使用了多少空间，当前设备状态等
+----------+------------------------------------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+------------------------------------------------+------+-----+---------+-------+
| devid | mediumint(8) unsigned | NO | PRI | NULL | |
| hostid | mediumint(8) unsigned | NO | | NULL | |
| status | enum('alive','dead','down','readonly','drain') | YES | MUL | NULL | |
| weight | mediumint(9) | YES | | 100 | |
| mb_total | mediumint(8) unsigned | YES | | NULL | |
| mb_used | mediumint(8) unsigned | YES | | NULL | |
| mb_asof | int(10) unsigned | YES | | NULL | |
+----------+------------------------------------------------+------+-----+---------+-------+
server_settings（服务器设置）：服务器的一些配置信息，主要用于记录MogileFS系统执行fsck的相关记录，fsck操作会根据当前mogileFS的备份策略进行文件的备份检查
+--------------------------+----------+
| field | value |
+--------------------------+----------+
| fsck_fids_checked | 0 |
| fsck_fid_at_end | 23972852 |
| fsck_highest_fid_checked | 0 |
| fsck_logid_processed | 6244097 |
| fsck_start_fid | 1121081 |
| fsck_start_maxlogid | 6244097 |
| internal_queue_limit | 500 |
| queue_rate_for_fsck | 2000 |
| queue_size_for_fsck | 20000 |
| schema_version | 12 |
+--------------------------+----------+
fsck_log（fsck日志记录）：mogileFS执行fsck时的具体操作记录（具体对某个fid文件进行的操作）
+--------+-----------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+--------+-----------------------+------+-----+---------+----------------+
| logid | int(10) unsigned | NO | PRI | NULL | auto_increment |
| utime | int(10) unsigned | NO | MUL | NULL | |
| fid | int(10) unsigned | YES | | NULL | |
| evcode | char(4) | YES | | NULL | |
| devid | mediumint(8) unsigned | YES | | NULL | |
+--------+-----------------------+------+-----+---------+----------------+
unreachable_fids（不可达的fid）：不可到达的文件列表
+------------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+------------+------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| lastupdate | int(10) unsigned | NO | MUL | NULL | |
+------------+------------------+------+-----+---------+-------+
tempfile（不可达的fid）：复制的临时文件信息
+------------+----------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+------------+----------------------+------+-----+---------+----------------+
| fid | int(10) unsigned | NO | PRI | NULL | auto_increment |
| createtime | int(10) unsigned | NO | | NULL | |
| classid | tinyint(3) unsigned | NO | | NULL | |
| dmid | smallint(5) unsigned | NO | | NULL | |
| dkey | varchar(255) | YES | | NULL | |
| devids | varchar(60) | YES | | NULL | |
+------------+----------------------+------+-----+---------+----------------+
file（文件基本信息）：记录文件的基本信息，属于哪个域，哪个类，fid对应的dkey、文件大小以及记录该文件的复制份数是多少
+----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| dmid | smallint(5) unsigned | NO | MUL | NULL | |
| dkey | varchar(255) | YES | | NULL | |
| length | bigint(20) unsigned | YES | | NULL | |
| classid | tinyint(3) unsigned | NO | | NULL | |
| devcount | tinyint(3) unsigned | NO | | NULL | |
+----------+----------------------+------+-----+---------+-------+
file_on（文件所在设备）：记录每个fid文件在什么设备上，一个fid文件同时存储在多个设备上，则各有一条记录
+-------+-----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+-----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| devid | mediumint(8) unsigned | NO | PRI | NULL | |
+-------+-----------------------+------+-----+---------+-------+
file_on_corrupt（损坏的文件）：记录哪一个文件在哪个设备上损坏了
+-------+-----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+-----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| devid | mediumint(8) unsigned | NO | PRI | NULL | |
+-------+-----------------------+------+-----+---------+-------+
file_to_delete（要删除的文件）：记录哪些文件需要删除
+-------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
+-------+------------------+------+-----+---------+-------+
file_to_delete2（要删除的文件）：记录删除失败的文件以及再次尝试的时间和失败的总次数
+-----------+---------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+---------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| nexttry | int(10) unsigned | NO | MUL | NULL | |
| failcount | tinyint(3) unsigned | NO | | 0 | |
+-----------+---------------------+------+-----+---------+-------+
file_to_delete_later（要延迟删除的文件）：记录要延迟删除的文件
+----------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| delafter | int(10) unsigned | NO | MUL | NULL | |
+----------+------------------+------+-----+---------+-------+
file_to_queue（当前排队的文件）：不详
+-----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| devid | int(10) unsigned | YES | | NULL | |
| type | tinyint(3) unsigned | NO | PRI | NULL | |
| nexttry | int(10) unsigned | NO | | NULL | |
| failcount | tinyint(3) unsigned | NO | | 0 | |
| flags | smallint(5) unsigned | NO | | 0 | |
+-----------+----------------------+------+-----+---------+-------+
file_to_replicate（要做复制分发的文件）：要做分发的文件，记录来源设备，失败次数和下次重试的时间等信息。
+-----------+----------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-----------+----------------------+------+-----+---------+-------+
| fid | int(10) unsigned | NO | PRI | NULL | |
| nexttry | int(10) unsigned | NO | MUL | NULL | |
| fromdevid | int(10) unsigned | YES | | NULL | |
| failcount | tinyint(3) unsigned | NO | | 0 | |
| flags | smallint(5) unsigned | NO | | 0 | |
+-----------+----------------------+------+-----+---------+-------+
发表评论
-
财政直接支付和财政授权支付流程
2012-08-02 09:53 4492代理银行：是指财政国 ... -
实验室集群重启后~~~
2011-04-01 16:08 860在各节点启动NIS服务： [root@node32 ~]# ... -
天文数据环境配置
2011-02-17 10:41 816node1: hive，hadoop安装在/cq mysq ... -
在电脑上体验Android
2010-07-20 13:51 1172在电脑上体验An ... -
mogilefs--glossary
2010-07-01 15:15 903Glossary T ... -
mogilefs-java客户端的测试
2010-07-01 13:59 13911.at java.net.URLEncoder.encode ... -
安装mogilefs
2010-06-23 19:33 1481http://code.google.com/p/mogile ... -
总结一下这两天的工作
2009-12-19 01:10 820主要是spg项目的数据库，把casset表中的数据导入到vir ... -
日志log4j
2009-12-19 01:09 731import org.apache.log4j.Logger; ... -
tomcat中文乱码问题
2009-12-19 01:08 726解决办法 修改tomcat的默认字符集 修改tomca ...
相关推荐
mogilefs
三：理解MogileFS 包括：高层流程、存储节点、表说明 n 四：MogileFS的Java客户端开发 包括：基本的Java客户端开发，和Spring集成开发 n 五：基于MogileFS的小应用示例 n 六：与其它技术的集成应用 包括：和Nginx...
MogileFS实现原理；MogileFS的特性；MogileFS的高可用架构；
MogileFS分布式文件管理系统，MogileFS安装使用
mogileFS帮助文档,安装使用及测试
Nginx+MogileFS的好处： 1、将请求代理至后端MogileFS服务器集群中，能实现负载均衡的效果。 2、能对后端的tracker节点进行健康检测。 3、将第三方模块“nginx_mogilefs_module”编译进Nginx中，能实现直接...
MogileFS Client MogileFS Client
MogileFS-Server-2.46-2.el6.noarch.rpm
Nginx+MogileFS+MysqlCluster
mogilefs的java客户端 来源： http://ill.com/mogilefs-1.1.tgz, 但下载不了，后来是在google code search中找到的，不清楚版本是否正确。
mysql devel和share MogileFs
Yum方式安装mogilefs-附件资源
MogileFS-Utils-2.19-1.el6.noarch.rpm
MogileFS & FastDFS 为两个开源分布式文件系统，都主要适用于互联网文件共享，上传，下载等功能，主要用于多上传和下载，不经常修改的操作。M和F部署架构都比较类似，设计中都避免的cluster中某一个环节的单点问题。
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
使用Mogilefs做海量图片的分布式存储 安装配置
安装MogileFs扩展phpize./configuremake install方法概述MogileFs MogileFs::__construct() bool MogileFs::connect(string $host, int $port, string $domain[, float $timeout]) bool MogileFs::isConnection() ...
golang-mogilefs-客户端 使用 golang 与安装交互的客户端库。 下载源代码 代码是“go gettable”，可以通过以下方式获取： $ go get github.com/adrian-bl/golang-mogilefs-client/mogilefs 这将自动获取库并将其...