月度归档:2015年05月

rsyslog direct模式性能测试

测试方式与上一篇文章http://www.yubingzhe.com/170.html一样,在此就不多说了。这里只将rsyslog的配置文件列出:

module(load=”imtcp”)
input(type=”imtcp” port=”5145″ ruleset=”syslog−test”)
template(name=”syslog−template”
type=”string”
string=”%msg%\n”)
ruleset(name=”syslog−test”)
{
    action(
    type=”omfwd”
    Target=”10.232.38.176″
    Port=”1234″
    Protocol=”tcp”
    template=”syslog−template”
    name=”act_syslog”
    queue.type=”direct”
    queue.filename=”syslog_test_queue”
    queue.workerthreads=”1″
   )
   stop
}

继续阅读

elasticsearch权威指南 学习15

elasticsearch权威指南-- getting start 第六章 Mapping and Analysis(5)

Mapping

为了使数据字段可以被elasticsearch很好的被识别为想要的类型,比如将字段指定为时间类型或数字类型的字段,或者指定字符串类型的字段为精确值(exact-value)类型或者全文(full-text)类型。elasticsearch需要知道每一个type的数据都包含哪些字段,这些信息都是在elasticsearch的mapping里定义的。

继续阅读

elasticsearch权威指南 学习14

elasticsearch权威指南-- getting start 第六章 Mapping and Analysis(4)

Analysis and Analyzers

分词主要由以下两个过程组成:

第一步将文本分割成能被反向索引(inverted index)所使用的单个单词。

第二步对单个单词进行标准化,提高它的搜索率或召回率。

分词的工作由分词器(Analyzers)来完成,一个分词器就是一个封装了三个模块的包。它由三部分组成: 继续阅读

elasticsearch权威指南 学习13

es权威指南-- getting start 第六章 Mapping and Analysis(3)

Inverted Index

elasticsearch 使用一种叫做反向索引(Inverted Index)的结构来支持高速的全文检索,一个反向索引由一组在document中出现过的单词(已去重)组成,同时也有一列用来标记这些词在document中否出现。 继续阅读

elasticsearch权威指南 学习12

es权威指南-- getting start 第六章 Mapping and Analysis(2)

Exact Values Versus Full Text

在elasticsearch中的数据可以分为两大类,一类是精确值(exact values)另一类是全文(full text)。

精确值查询的意思就不用多说了,比如精确查询的foo单词就不会匹配Foo。再比如一个用户的ID,一个日期字段,或是字符串类型的字段,比如用户名,email 地址等等。 继续阅读

elasticsearch权威指南 学习11

es权威指南-- getting start 第六章 Mapping and Analysis(1)

Mapping and Analysis
让我们先看一下下面这些例子:

GET /_search?q=2014 # 12 results

GET /_search?q=2014-09-15 # 12 results !

GET /_search?q=date:2014-09-15 # 1 result

GET /_search?q=date:2014 # 0 results ! 继续阅读

elasticsearch权威指南 学习8

es权威指南-- getting start 第五章The Basic Tools (2)

 
Multi-index,Multitype
有10天没写了,最近在忙esper数据流式报警的事情。突然感觉在写过Python,shell,之后,还是对Java比较熟,基本上只考虑封装和逻辑的部分,至于技巧和各种API用的还是比较熟,看来大学里学的东西还是比较深刻的。当然无论Python、Java、shell,都离高手的水平很远。。。
 

继续阅读