外汇EA——基于均线的简单EA

上次写了一个简单的均线ea,在图标中同时显示SMA,WMA,EMA,今天写了一个基于SMA和EMA的简单ea,当然,想靠他盈利是不可能的,看代码吧

//+------------------------------------------------------------------+
//|                                                        ma_ea.mq4 |
//|                        Copyright 2014, MetaQuotes Software Corp. |
//|                                          http://coderaladdin.com |
//+------------------------------------------------------------------+
#property copyright "Copyright 2014, MetaQuotes Software Corp."
#property link      "http://coderaladdin.com"
#property version   "1.00"
#property strict

#define MAGIC_NUM 20150312

//--- input parameters
input int      period=19;
input int      max_orders=10;
input double      per_lot=0.01;
input double   risk_rate=0.1;

double calcLots() {
   double   lot=per_lot;   
   double minLot = MarketInfo(Symbol(),MODE_MINLOT);
   
   lot=NormalizeDouble(risk_rate*AccountFreeMargin()/AccountLeverage(),1);
   
   if(lot<0.1) lot=0.1;
   if(lot<minLot) lot=minLot;
   return(lot);
}

void CheckForOpen()
  {
   double ema;
   double sma;
   int    res;
//--- go trading only for first tiks of new bar
//   if(Volume[0]>1) return;
//--- get Moving Average 
    sma=iMA(NULL,0,period,0,MODE_SMA,PRICE_CLOSE,0);
    ema=iMA(NULL,0,period,0,MODE_EMA,PRICE_CLOSE,0);
   
//--- sell conditions
   if(Open[1]>ema && Open[1]>sma && ema<sma && Close[1]<ema && Close[1]<sma)
     {
      res=OrderSend(Symbol(),OP_SELL,calcLots(),Bid,3,0,0,"",MAGIC_NUM,0,Red);
      return;
     }
//--- buy conditions
   if(Open[1]<ema && Open[1]<sma && Close[1]>sma && Close[1]>ema && ema>sma)
     {
      res=OrderSend(Symbol(),OP_BUY,calcLots(),Ask,3,0,0,"",MAGIC_NUM,0,Blue);
      return;
     }
//---
  }
//+------------------------------------------------------------------+
//| Check for close order conditions                                 |
//+------------------------------------------------------------------+
void CheckForClose()
  {
   double sma;
   double ema;
//--- go trading only for first tiks of new bar
//   if(Volume[0]>1) return;
//--- get Moving Average 
    sma=iMA(NULL,0,period,0,MODE_SMA,PRICE_CLOSE,0);
    ema=iMA(NULL,0,period,0,MODE_EMA,PRICE_CLOSE,0);
//---
   for(int i=0;i<OrdersTotal();i++)
     {
      if(OrderSelect(i,SELECT_BY_POS,MODE_TRADES)==false) break;
      if(OrderMagicNumber()!=MAGIC_NUM || OrderSymbol()!=Symbol()) continue;
      //--- check order type 
      if(OrderType()==OP_BUY)
        {
         if(Open[1]>sma && Open[1]>ema && Close[1]<ema && Close[1]<sma && ema<sma)
           {
            if(!OrderClose(OrderTicket(),OrderLots(),Bid,3,White))
               Print("OrderClose error ",GetLastError());
           }
         break;
        }
      if(OrderType()==OP_SELL)
        {
         if(Open[1]<sma && Open[1]<ema && Close[1]>ema && Close[1]>sma && ema>sma)
           {
            if(!OrderClose(OrderTicket(),OrderLots(),Ask,3,White))
               Print("OrderClose error ",GetLastError());
           }
         break;
        }
     }
//---
  }

//+------------------------------------------------------------------+
//| Expert initialization function                                   |
//+------------------------------------------------------------------+
int OnInit()
  {
//---
   
//---
   return(INIT_SUCCEEDED);
  }
//+------------------------------------------------------------------+
//| Expert deinitialization function                                 |
//+------------------------------------------------------------------+
void OnDeinit(const int reason)
  {
//---
   
  }
//+------------------------------------------------------------------+
//| Expert tick function                                             |
//+------------------------------------------------------------------+
void OnTick()
  {
//---
   if(Bars<100 || IsTradeAllowed()==false) return;
   
   if(OrdersTotal() <=10) CheckForOpen();                            //  
   else  CheckForClose();
  }
//+------------------------------------------------------------------+

再来看下这个ea下的单
QQ截图20150314102731

外汇指标——Moving Averages

今天开始争取每周一到两篇外汇指标原理分析以及mql4样例代码,今天要剖析的是最简单而又常用的移动平均线(Moving Averages)。
移动平均线又分为简单移动平均线(Simple Moving Averages),加权移动平均线(Weighted Moving Averages),指数移动平均线(Exponential Moving Averages)等
例如当前有XAUUSD的10天收盘价信息
2014.12.29 1182.97
2014.12.30 1200.02
2014.12.31 1182.16
2015.01.02 1188.04
2015.01.05 1204.55
2015.01.06 1218.15
2015.01.07 1210.64
2015.01.08 1208.42
2015.01.09 1222.65
2015.01.12 1227.33
根据以上数据我们可以拿到5天的SMA数据
00a1563f5d7e4a9957c71b90e454e08c
226058487602d8729ea847567d39c54d
2014.12.29 1182.97
2014.12.30 1200.02
2014.12.31 1182.16
2015.01.02 1188.04
2015.01.05 1204.55 1191.548
2015.01.06 1218.15 1198.584
2015.01.07 1210.64 1200.708
2015.01.08 1208.42 1205.96
2015.01.09 1222.65 1212.882
2015.01.12 1227.33 1217.438
再来看加权移动平均(线性加权)
指计算平均值时将数据乘以不同数值,在技术分析中,n日WMA的最近期一个数值乘以n、次近的乘以n-1,如此类推,一直到0:

上式可以推导出72f344ddd46baa0134d886e42df195fc

2014.12.29 1182.97
2014.12.30 1200.02
2014.12.31 1182.16
2015.01.02 1188.04
2015.01.05 1204.55 1191.548 1193.626667
2015.01.06 1218.15 1198.584 1202.494
2015.01.07 1210.64 1200.708 1206.512667
2015.01.08 1208.42 1205.96 1209.083333
2015.01.09 1222.65 1212.882 1214.646667
2015.01.12 1227.33 1217.438 1219.462667
再来看指数移动平均数
是以指数式递减加权的移动平均。各数值的加权影响力随时间而指数式递减,越近期的数据加权影响力越重,但较旧的数据也给予一定的加权值
加权的程度以常数α决定,α数值介乎0至1。α也可用天数N来代表:0c3be7f0484ec9ee2888b7b2cb901dc1,所以,N=19天,代表α=0.1。
设时间t的实际数值为Yt,而时间t的EMA则为St;时间t-1的EMA则为St-1,计算时间t≥2是方程式为:
a8b4b375513994c0561fb5df58f10f26
EMA的公式推导见
QQ截图20150311003022
根据我们这边给N=5(通常用12和26比较常用)
那么可以知道k=20.7,也就是说我们要至少拿到前20天的数据才能推导出第一个EMA的值了(实际计算中并没有严格按照这样的数学逻辑计算,而是把第一天的收盘价当成第一个EMA值)
这边我们就不去计算了,因为mt4中都有现成的API计算好了,以上所有的指标都是有的
可以到
Include文件夹下看MovingAverages.mqh这个头文件

//+------------------------------------------------------------------+
//|                                               MovingAverages.mqh |
//|                   Copyright 2009-2013, MetaQuotes Software Corp. |
//|                                              http://www.mql5.com |
//+------------------------------------------------------------------+
#property copyright "2009, MetaQuotes Software Corp."
#property link      "http://www.mql5.com"
//+------------------------------------------------------------------+
//| Simple Moving Average                                            |
//+------------------------------------------------------------------+
double SimpleMA(const int position,const int period,const double &price[])
  {
//---
   double result=0.0;
//--- check position
   if(position>=period-1 && period>0)
     {
      //--- calculate value
      for(int i=0;i<period;i++) result+=price[position-i];
      result/=period;
     }
//---
   return(result);
  }
//+------------------------------------------------------------------+
//| Exponential Moving Average                                       |
//+------------------------------------------------------------------+
double ExponentialMA(const int position,const int period,const double prev_value,const double &price[])
  {
//---
   double result=0.0;
//--- calculate value
   if(period>0)
     {
      double pr=2.0/(period+1.0);
      result=price[position]*pr+prev_value*(1-pr);
     }
//---
   return(result);
  }
//+------------------------------------------------------------------+
//| Smoothed Moving Average                                          |
//+------------------------------------------------------------------+
double SmoothedMA(const int position,const int period,const double prev_value,const double &price[])
  {
//---
   double result=0.0;
//--- check position
   if(period>0)
     {
      if(position==period-1)
        {
         for(int i=0;i<period;i++) result+=price[position-i];
         result/=period;
        }
      if(position>=period)
         result=(prev_value*(period-1)+price[position])/period;
     }
//---
   return(result);
  }
//+------------------------------------------------------------------+
//| Linear Weighted Moving Average                                   |
//+------------------------------------------------------------------+
double LinearWeightedMA(const int position,const int period,const double &price[])
  {
//---
   double result=0.0,sum=0.0;
   int    i,wsum=0;
//--- calculate value
   if(position>=period-1 && period>0)
     {
      for(i=period;i>0;i--)
        {
         wsum+=i;
         sum+=price[position-i+1]*(period-i+1);
        }
      result=sum/wsum;
     }
//---
   return(result);
  }
//+------------------------------------------------------------------+
//| Simple moving average on price array                             |
//+------------------------------------------------------------------+
int SimpleMAOnBuffer(const int rates_total,const int prev_calculated,const int begin,
                     const int period,const double& price[],double& buffer[])
  {
   int i,limit;
//--- check for data
   if(period<=1 || rates_total-begin<period) return(0);
//--- save as_series flags
   bool as_series_price=ArrayGetAsSeries(price);
   bool as_series_buffer=ArrayGetAsSeries(buffer);
   if(as_series_price)  ArraySetAsSeries(price,false);
   if(as_series_buffer) ArraySetAsSeries(buffer,false);
//--- first calculation or number of bars was changed
   if(prev_calculated==0) // first calculation
     {
      limit=period+begin;
      //--- set empty value for first bars
      for(i=0;i<limit-1;i++) buffer[i]=0.0;
      //--- calculate first visible value
      double firstValue=0;
      for(i=begin;i<limit;i++)
         firstValue+=price[i];
      firstValue/=period;
      buffer[limit-1]=firstValue;
     }
   else limit=prev_calculated-1;
//--- main loop
   for(i=limit;i<rates_total;i++)
      buffer[i]=buffer[i-1]+(price[i]-price[i-period])/period;
//--- restore as_series flags
   if(as_series_price)  ArraySetAsSeries(price,true);
   if(as_series_buffer) ArraySetAsSeries(buffer,true);
//---
    return(rates_total);
  }
//+------------------------------------------------------------------+
//|  Exponential moving average on price array                       |
//+------------------------------------------------------------------+
int ExponentialMAOnBuffer(const int rates_total,const int prev_calculated,const int begin,
                          const int period,const double& price[],double& buffer[])
  {
   int    i,limit;
//--- check for data
   if(period<=1 || rates_total-begin<period) return(0);
   double dSmoothFactor=2.0/(1.0+period);
//--- save as_series flags
   bool as_series_price=ArrayGetAsSeries(price);
   bool as_series_buffer=ArrayGetAsSeries(buffer);
   if(as_series_price)  ArraySetAsSeries(price,false);
   if(as_series_buffer) ArraySetAsSeries(buffer,false);
//--- first calculation or number of bars was changed
   if(prev_calculated==0)
     {
      limit=period+begin;
      //--- set empty value for first bars
      for(i=0;i<begin;i++) buffer[i]=0.0;
      //--- calculate first visible value
      buffer[begin]=price[begin];
      for(i=begin+1;i<limit;i++)
         buffer[i]=price[i]*dSmoothFactor+buffer[i-1]*(1.0-dSmoothFactor);
     }
   else limit=prev_calculated-1;
//--- main loop
   for(i=limit;i<rates_total;i++)
      buffer[i]=price[i]*dSmoothFactor+buffer[i-1]*(1.0-dSmoothFactor);
//--- restore as_series flags
   if(as_series_price)  ArraySetAsSeries(price,true);
   if(as_series_buffer) ArraySetAsSeries(buffer,true);
//---
    return(rates_total);
  }
//+------------------------------------------------------------------+
//|  Linear weighted moving average on price array                   |
//+------------------------------------------------------------------+
int LinearWeightedMAOnBuffer(const int rates_total,const int prev_calculated,const int begin,
                             const int period,const double& price[],double& buffer[],int &weightsum)
  {
   int        i,limit;
   double     sum;
//--- check for data
   if(period<=1 || rates_total-begin<period) return(0);
//--- save as_series flags
   bool as_series_price=ArrayGetAsSeries(price);
   bool as_series_buffer=ArrayGetAsSeries(buffer);
   if(as_series_price)  ArraySetAsSeries(price,false);
   if(as_series_buffer) ArraySetAsSeries(buffer,false);
//--- first calculation or number of bars was changed
   if(prev_calculated==0)
     {
      weightsum=0;
      limit=period+begin;
      //--- set empty value for first bars
      for(i=0;i<limit;i++) buffer[i]=0.0;
      //--- calculate first visible value
      double firstValue=0;
      for(i=begin;i<limit;i++)
        {
         int k=i-begin+1;
         weightsum+=k;
         firstValue+=k*price[i];
        }
      firstValue/=(double)weightsum;
      buffer[limit-1]=firstValue;
     }
   else limit=prev_calculated-1;
//--- main loop
   for(i=limit;i<rates_total;i++)
     {
      sum=0;
      for(int j=0;j<period;j++) sum+=(period-j)*price[i-j];
      buffer[i]=sum/weightsum;
     }
//--- restore as_series flags
   if(as_series_price)  ArraySetAsSeries(price,true);
   if(as_series_buffer) ArraySetAsSeries(buffer,true);
//---
    return(rates_total);
  }
//+------------------------------------------------------------------+
//|  Smoothed moving average on price array                          |
//+------------------------------------------------------------------+
int SmoothedMAOnBuffer(const int rates_total,const int prev_calculated,const int begin,
                       const int period,const double& price[],double& buffer[])
  {
   int i,limit;
//--- check for data
   if(period<=1 || rates_total-begin<period) return(0);
//--- save as_series flags
   bool as_series_price=ArrayGetAsSeries(price);
   bool as_series_buffer=ArrayGetAsSeries(buffer);
   if(as_series_price)  ArraySetAsSeries(price,false);
   if(as_series_buffer) ArraySetAsSeries(buffer,false);
//--- first calculation or number of bars was changed
   if(prev_calculated==0)
     {
      limit=period+begin;
      //--- set empty value for first bars
      for(i=0;i<limit-1;i++) buffer[i]=0.0;
      //--- calculate first visible value
      double firstValue=0;
      for(i=begin;i<limit;i++)
         firstValue+=price[i];
      firstValue/=period;
      buffer[limit-1]=firstValue;
     }
   else limit=prev_calculated-1;
//--- main loop
   for(i=limit;i<rates_total;i++)
      buffer[i]=(buffer[i-1]*(period-1)+price[i])/period;
//--- restore as_series flags
   if(as_series_price)  ArraySetAsSeries(price,true);
   if(as_series_buffer) ArraySetAsSeries(buffer,true);
//---
    return(rates_total);
  }
//+------------------------------------------------------------------+

今天写了一个涵盖SMA,WMA,EMA的indicator,同时显示在图表上,代码如下(EMA第一个值默认和第一个收盘价相同)

//+------------------------------------------------------------------+
//|                                              moving_averages.mq4 |
//|                        Copyright 2014, MetaQuotes Software Corp. |
//|                                          http://coderaladdin.com |
//+------------------------------------------------------------------+
#property copyright "Copyright 2014, MetaQuotes Software Corp."
#property link      "http://coderaladdin.com"
#property version   "1.00"
#property strict
#property indicator_chart_window
#property indicator_buffers 3
#property indicator_plots   3
//--- plot SMA
#property indicator_label1  "SMA"
#property indicator_type1   DRAW_LINE
#property indicator_color1  clrRed
#property indicator_style1  STYLE_SOLID
#property indicator_width1  1
//--- plot WMA
#property indicator_label2  "WMA"
#property indicator_type2   DRAW_LINE
#property indicator_color2  clrBlue
#property indicator_style2  STYLE_SOLID
#property indicator_width2  1
//--- plot EMA
#property indicator_label3  "EMA"
#property indicator_type3   DRAW_LINE
#property indicator_color3  clrGreen
#property indicator_style3  STYLE_SOLID
#property indicator_width3  1
//--- input parameters
input int      period=19;
//--- indicator buffers
double         SMABuffer[];
double         WMABuffer[];
double         EMABuffer[];
//+------------------------------------------------------------------+
//| Custom indicator initialization function                         |
//+------------------------------------------------------------------+
int OnInit()
  {
   IndicatorBuffers(3);
//--- indicator buffers mapping
   SetIndexBuffer(0,SMABuffer);
   SetIndexBuffer(1,WMABuffer);
   SetIndexBuffer(2,EMABuffer);
   string shortname = "EMA("+string(MODE_SMA)+")WMA("+string(MODE_LWMA)+")EMA("+string(MODE_EMA)+"["+string(period)+"]";
   IndicatorShortName(shortname);
   SetIndexLabel(0,"SMA");
   SetIndexLabel(1,"WMA");
   SetIndexLabel(2,"EMA");
   SetIndexDrawBegin(0,period);
   SetIndexDrawBegin(1,period);
   SetIndexDrawBegin(2,period);
   IndicatorDigits(Digits);
   
   if(period<2)
      return(INIT_FAILED);
//---
   return(INIT_SUCCEEDED);
  }
//+------------------------------------------------------------------+
//| Custom indicator iteration function                              |
//+------------------------------------------------------------------+
int OnCalculate(const int rates_total,
                const int prev_calculated,
                const datetime &time[],
                const double &open[],
                const double &high[],
                const double &low[],
                const double &close[],
                const long &tick_volume[],
                const long &volume[],
                const int &spread[])
  {
//---
if(rates_total < period -1 || period <2)
  {
   return 0;
  }
ArraySetAsSeries(SMABuffer,false);
ArraySetAsSeries(WMABuffer,false);
ArraySetAsSeries(EMABuffer,false);
ArraySetAsSeries(close,false);
if(prev_calculated==0){
      ArrayInitialize(SMABuffer,0);
      ArrayInitialize(WMABuffer,0);
      ArrayInitialize(EMABuffer,0);
      }
      
       CalculateSimpleMA(rates_total,prev_calculated,close); 
       CalculateLWMA(rates_total,prev_calculated,close);
       CalculateEMA(rates_total,prev_calculated,close);
       
//--- return value of prev_calculated for next call
   return(rates_total);
  }
//+------------------------------------------------------------------+
void CalculateSimpleMA(int rates_total,int prev_calculated,const double &price[])
  {
   int i,limit;
//--- first calculation or number of bars was changed
   if(prev_calculated==0)
   
     {
      limit=period;
      //--- calculate first visible value
      double firstValue=0;
      for(i=0; i<limit; i++)
         firstValue+=price[i];
      firstValue/=period;
      SMABuffer[limit-1]=firstValue;
     }
   else
      limit=prev_calculated-1;
//--- main loop
   for(i=limit; i<rates_total && !IsStopped(); i++)
      SMABuffer[i]=SMABuffer[i-1]+(price[i]-price[i-period])/period;
//---
  }
//+------------------------------------------------------------------+
//|  exponential moving average                                      |
//+------------------------------------------------------------------+
void CalculateEMA(int rates_total,int prev_calculated,const double &price[])
  {
   int    i,limit;
   double SmoothFactor=2.0/(1.0+period);
//--- first calculation or number of bars was changed
   if(prev_calculated==0)
     {
      limit=period;
      EMABuffer[0]=price[0];
      for(i=1; i<limit; i++)
         EMABuffer[i]=price[i]*SmoothFactor+EMABuffer[i-1]*(1.0-SmoothFactor);
     }
   else
      limit=prev_calculated-1;
//--- main loop
   for(i=limit; i<rates_total && !IsStopped(); i++)
      EMABuffer[i]=price[i]*SmoothFactor+EMABuffer[i-1]*(1.0-SmoothFactor);
//---
  }
//+------------------------------------------------------------------+
//|  linear weighted moving average                                  |
//+------------------------------------------------------------------+
void CalculateLWMA(int rates_total,int prev_calculated,const double &price[])
  {
   int        i,limit;
   static int weightsum;
   double     sum;
//--- first calculation or number of bars was changed
   if(prev_calculated==0)
     {
      weightsum=0;
      limit=period;
      //--- calculate first visible value
      double firstValue=0;
      for(i=0;i<limit;i++)
        {
         int k=i+1;
         weightsum+=k;
         firstValue+=k*price[i];
        }
      firstValue/=(double)weightsum;
      WMABuffer[limit-1]=firstValue;
     }
   else
      limit=prev_calculated-1;
//--- main loop
   for(i=limit; i<rates_total && !IsStopped(); i++)
     {
      sum=0;
      for(int j=0;j<period;j++)
         sum+=(period-j)*price[i-j];
      WMABuffer[i]=sum/weightsum;
     }
     }

来看下这个指标的具体效果,在图标中同时显示EMA,SMA,WMA
QQ截图20150314102843
Ok,今天介绍的MA指标就这样了,下次介绍MACD指标

CI中加入生成一维码的lib

给朋友做的一个项目,其中用到生成条形码,主要用到了http://www.barcodephp.com/这个开源的类库,把它集成到了CI里面,代码和集成方法稍后给出来
1.到http://www.barcodephp.com/en/download下载包
2.解压后,将class文件夹放到application/libraries下面,可以改名为barcode,如果需要用他字体的话,font也放到你放字体的地方
3.application/libraries下面新建Barcode.php

<?php
include 'barcode/BCGFontFile.php';
include 'barcode/BCGColor.php';
include 'barcode/BCGDrawing.php';

include 'barcode/BCGcode39.barcode.php';

class Barcode {
    public $colorFront;
    public $colorBlack;
    public $font;

    function __construct(){
        $this->colorBlack = new BCGColor(255,255,255);
        $this->colorFront = new BCGColor(0,0,0);
//        $this->font = new BCGFontFile('/assets/font/Arial.ttf', 18);//需要字体在这里指定
    }

    public function genBarcode($text) {
        $code = new BCGcode39();

        $code->setScale(2); // Resolution
        $code->setThickness(30); // Thickness
        $code->setForegroundColor($this->colorFront); // Color of bars
        $code->setBackgroundColor($this->colorBlack); // Color of spaces
//        $code->setFont($this->font); // Font (or 0)
        $code->parse($text); // Text

        $drawing = new BCGDrawing('', $this->colorBlack);
        $drawing->setBarcode($code);
        $drawing->draw();

        header('Content-Type: image/png');


        $drawing->finish((BCGDrawing::IMG_FORMAT_PNG));
    }
}

调用的时候,直接load这个barcode,然后调用genBarcode即可

计算web访客的一个会话识别算法的php实现

QQ截图20140506173210

最近在做公司的BI系统,由于很多东西都是探索阶段,做起来遇到很多的问题,下面这个是其中一个计算一次访问会话的实现,还待优化和改进

/**
 * @param $data array(key=>array((int)view_time,url,referer)) order by value asc
 * @param $threshold
 * @param $delta
 * @return boolean
 */
function uvAlgorithm($data, $threshold, $delta) {
    $stack = array();
    $rangeDown = $data[0]['view_time'];
    $vid = md5($rangeDown);
    $rangeUp = $data[0]['view_time'] + $threshold;
//    echo $rangeDown . '~' . $rangeUp . "\n";
//    print_r($data);
    foreach ($data as $k=>$v) {
        if ($k == 0) {
            updateVisitId($v['id'], $vid);
            $stack[] = $v['url'];
            continue;
        }
        if ($v['view_time'] >= $rangeDown && $v['view_time'] < $rangeUp) {
            if (in_array($v['referer'], $stack) || ($data[$k]['view_time'] - $data[$k - 1]['view_time'] < $delta)) {
                $stack[] = $v['url'];
                updateVisitId($v['id'], $vid);
            }
            else {
                updateVisitId($v['id'], md5($v['view_time']));
            }

        }
        else {
            $temp = array_splice($data, $k);
//            print_r($temp);
//            print_r($data);
//            print_r($stack);
            $stack = array();
            if (empty($temp)) {
                return false;
            }
            else {
                uvAlgorithm($temp, $threshold, $delta);
            }
        }
    }
}

也谈rsync

目前工作的公司上线是通过rsync来同步代码的,前公司则是用ftp发布代码到预发布环境然后再用rsync实时同步到线上环境,今天就来看下rsync这个强大的工具

what’s rsync

rsync(remote synchronization)是*nix下一款同步软件,用于远程同步,备份文件,当然也可以本地做同步备份操作。

rsync 可以在中断之后恢复传输;它只传输源文件和目标文件之间不一致的部分;rsync 可以执行完整备份或增量备份。更棒的是,在所有风格的 UNIX 上都可以使用 rsync,包括 Mac OS X,所以很容易连接任何系统。

how to use rsync

shell模式(本地模式)

先来看下目录结构

[root@localhost tmp]# tree -L 2
.
├── rsync1
│   ├── 1.txt
│   ├── a.txt
│   ├── c.txt
│   └── v.txt
├── rsync2
│   └── 1.txt

要将rsync1中的内容完全同步到rsync2中

[root@localhost tmp]# rsync -avz rsync1/ rsync2
sending incremental file list
./
a.txt
c.txt
v.txt

sent 189 bytes  received 72 bytes  522.00 bytes/sec
total size is 0  speedup is 0.00

远程shell模式

[root@localhost tmp]# rsync -avz rsync1/ root@192.168.22.81:/tmp
root@192.168.22.81's password: 
sending incremental file list
./
1.txt
a.txt
c.txt
v.txt

sent 225 bytes  received 91 bytes  9.16 bytes/sec
total size is 0  speedup is 0.00

列表模式

[root@localhost tmp]# rsync rsync1/
drwxr-xr-x        4096 2014/02/20 13:42:21 .
-rw-r--r--           0 2014/02/18 16:41:47 1.txt
-rw-r--r--           0 2014/02/20 13:42:21 a.txt
-rw-r--r--           0 2014/02/20 13:42:21 c.txt
-rw-r--r--           0 2014/02/20 13:42:21 v.txt

这个和ll命令是一样的

服务器模式

在rsyncd下有下列rsync服务的配置

[root@localhost rsyncd]# pwd && ll
/etc/rsyncd
total 12
-rw-r--r-- 1 root root 808 Feb 19 16:21 rsyncd.conf
-rw-r--r-- 1 root root  36 Feb 19 15:10 rsyncd.motd
-rw------- 1 root root  12 Feb 19 15:10 rsyncd.secrets

rsyncd.conf是主要配置文件,

pid file = /var/run/rsyncd.pid  
port = 873
#address = *
uid = root  
gid = root  
use chroot = yes
read only = yes

#limit access to private LANs
hosts allow=*
#hosts deny=*

max connections = 5
motd file = /etc/rsyncd/rsyncd.motd

#This will give you a separate log file
log file = /var/log/rsync.log

#This will log every file transferred - up to 85,000+ per user, per sync
#transfer logging = yes

log format = %t %a %m %f %b
syslog facility = local3
timeout = 300

[root_tmpTrans]  
path = /tmp/rsnctrans
list=yes
ignore errors
auth users = root
secrets file = /etc/rsyncd/rsyncd.secrets
comment = balabala
exclude =   .git/ .svn/

rsyncd.secrets是执行同步、备份的账号,格式为user:password

root:123456

rsyncd.motd是执行时的欢迎信息(message of the day)

hi---------------------------------

现在我们启动rsync服务

rsync --daemon --config=/etc/rsyncd.conf

现在从另一台机器上看这个守护进程

root@ubuntu:/tmp# rsync 192.168.22.81::
hi---------------------------------

root_tmpTrans   balabala

指定模板名称

root@ubuntu:/tmp# rsync 192.168.22.81::root_tmpTrans
hi---------------------------------

Password: 
drwxr-xr-x        4096 2014/02/19 16:43:38 .
-rw-r--r--           0 2014/02/19 15:13:19 a.txt
-rw-r--r--           0 2014/02/19 16:43:38 c.txt
-rw-r--r--           0 2014/02/19 16:37:40 v.txt

注意上面两个例子,访问服务器模式的时候,有两个冒号
此时,直接利用rsync服务器模式,来备份,同步文件,和前面的模式类似

联系上crontab,写好需要的shell脚本,将备份和同步自动话,定时执行,这样就可以应用到更多的场景中。

题外话:1.这篇文章已经在草稿箱躺了2个月了,OMG.2.今天装了markdown插件,第一次用markdown写wordpress,有些地方不是很好用.3.最近心情不好,状态极差.

WEB开发中的请求调试小记

这边就讲一个小发现,以后不定期补充。让调试工具记录下所有的请求,包括各种跳转之前的请求,以前只知道用IE的httpwatch插件来调试,直到周五看了王益同学用firebug调试的时候在net那个tab下有个persist的选项,惊呼发现了新大陆,原来还可以这样!!不用firebug好多年,一直用的chrome做开发,一直都是找chrome插件的来调试跳转请求。。蛋疼。。。然后就果断google了下,其实chrome也有同样的功能,就是在network那个标签下的大黑点preserve log upon navigation,为什么我以前google的时候没找到呢?而且,IE9的dev tools也是有这个功能的!不详述。。

今日两坑

坑1:

$a = 'test';
echo $a['bdd'];

得到结果

t

一个字符串,把它当成数组并取它一个不存在的键值,得到的是第一个字符。今天写一个方法的时候,返回结果可能是字符串也可能是数组,调用这个方法的时候用数组中的某个值来判断,无疑是错的!

坑2:

在post的时候有大量的数据,发现post不过去,原来php在5.3.9以后的版本中加入了最大post数量的限制,默认是1000条,可以在php.ini中找到该项

max_input_vars来做修改。

为什么在5.3.9中加入这个参数?这个就要提到hash冲突的一个漏洞了,这个漏洞在没patch的低版本php中存在,包括java等各种语言中存在。hash表是一种良好的数据结构,当数据被精心构造过之后,会使hash表降级成一个链表结构,在查询数据的时候每次都会发生hash冲突,一次命中率极低,大大降低了效率,这就使得单机DDOS攻击成为可能。因此加入这个post数量限制限制了服务器接收的post数据,即使post过来默认的1000个数据都能精确的造成hash冲突,那么也是在服务器能够承受的范围内了。

可以参考:

参考1

参考2

sed的模式空间和暂存空间

关于sed(stream editor):

————sed是一个批处理(非交互式)编辑器。它可以变换来自文件或者标准输入的输入流。它常被用作管道中的过滤器。由于sed仅仅对其输入扫描一次,因此它比其他交互式编辑器(如ed)更高效。大多数linux发行版都提供了GNU sed,Mac OS X提供了BSD sed。『A Practical Guide to Linux Commands, Editors, and Shell Programming, chapter 13』

sed和awk一样,都是经典的linux神器,网上有大量相关教程,比如很不错的左耳朵耗子博客。今天想记录下之前并没有理解透的暂存空间和模式空间相关的操作(感觉自己智商一直在下降- -)。

模式空间[pattern space]是一个缓冲区,该缓冲区最初保存sed刚刚从输入中读取的行。在将数据放入暂存空间之前,他的内容为空。

暂存空间[hold space]也是一个缓冲区,该缓冲区可以在操作模式空间中的数据时用来暂存数据。

几个命令:

g: 将hold space中的内容拷贝到pattern space中,原来pattern space里的内容清除
G: 将hold space中的内容append到pattern space\n后
h: 将pattern space中的内容拷贝到hold space中,原来的hold space里的内容被清除
H: 将pattern space中的内容append到hold space\n后
x: 交换pattern space和hold space的内容

看这样一个文件

aladdin@ubuntu:~/tmp$ cat sedtext 
line one
line two
line three

我们看这样一条命令

aladdin@ubuntu:~/tmp$ sed '2,$G;h;$!d' sedtext 
line three
line two
line one

我们来分析一下:

首先,这边sed对sedtext有3个命令的操作

2,$G:从第二行到最后一行执行G命令

h:执行h命令

$!d:删除除了最后一行的所有行

然后看其中具体操作

第一步,sed扫描到第一行,直接执行第二个命令,将模式空间中的内容拷贝到暂存空间中,此时模式空间中是line one,暂存空间中是line one,然后执行第三个命令,删除了模式空间中的第一行,此时模式空间中为空,暂存空间中为line one,

第二步,sed扫描到了第二行,会执行第一个命令G了,此时模式空间中是line two,暂存空间中是line one,G将换行符和暂存空间内容追加到模式空间中,此时模式空间是line two\nline one,暂存空间是line one,然后执行第二个命令,将模式空间中的内容拷贝到暂存空间中,此时模式空间不变,暂存空间为line two\nline one,执行第三个命令之后,模式空间为空,暂存空间为line two\nline one

第三步,sed扫描到第三行,会执行第一个命令G,模式空间为line three,暂存空间是line two\nline one,执行之后模式空间是line three\nline two\nline one,暂存空间是line two\nline one,然后h命令,模式空间不变,暂存空间line three\nline two\nline one然后不执行第三条命令,ok,结束,打印的就是最后模式空间爱你中的内容line three\nline two\nline one

我们可以看下sed '1!G;h;$!d' sedtext也可达到同样效果。

团队项目中的一些思考

最近在公司参与的一个项目,项目开发过程中遇到很多的问题,也开了无数的会议,包括各种需求会议,总结会议等等,现在算是进入了尾声了,不过本来预计今天上线的依然没能上线,虽然我内心感到非常遗憾,但是我依然向领导吐槽了许多不满。

开篇之前,对于项目开发,我要申明下我的几个观点。我这几个观点的前提条件是,在中小型项目中!

1.不需要产品经理

2.不需要测试

3.不需要专职的运维

4.不许要专职的DBA

————关于产品经理

我数次的在知乎上搜寻关于产品经理这一角色的信息,很想获取一些产品经理相关的知识,结果让我很失望。作为互联网界的一个新人(2.5年的开发经验),我所接触到的产品经理,无非是写个PRD,画个原型图,然后催催进度。仅此而已,至于说什么产品创新,ok,在国内不适合谈这个事。好吧,我承认我从主观上已经贬低了产品经理存在的价值。我依稀记得第一次听说产品经理这个词的时候,是一篇文章中提到的,那边文章是对马化腾的采访,马化腾说自己只是一个产品经理而已。具体年月已经不清晰了。

诚然,随着人类社会的进步,社会分工逐渐细化,产品经理这个角色的出现是有其合理性的(我认为在大型项目中此角色的存在是有必要性的,我心目中什么是大项目?比如我的第一家公司中接的摩托罗拉面向整个欧洲的一个通信项目,这个项目的总参与人数是2000+,参与者遍及北美,欧洲,印度和中国,耗时两年多。当然我没有能参与这个项目)。排除我待过的其中一家公司没有产品经理(我们开发要自己写function specification, development plan.),另外公司我都曾经问过产品经理:你们每天的工作是什么?核心答案基本就这3个:写需求文档,画原型,跟进度。

国内互联网公司的产品开发流程基本也差不多:当产品经理从客户或者运营那里收集到了需求,规模烧大点的话,会有BRD的移交,加上自己的一些“微创新”,好吧,很多需求是从BOSS那里来的。然后产品经理再和开发过需求,递交PRD并评审。这其中如果产品经理和需求方的理解有出入,再加上产品经理和开发的理解有出入,那么这边的沟通导致的问题是很大的。ok,多了产品经理,沟通成本上去了,项目风险增加了!为了减少风险,应该是有一个需求确认会议的,但是这个环节,很多公司都没有的,比如我这次参与的项目。然后到了开发手里,首先开发要根据业务逻辑关系确定数据结构,确定开发方案,并定下开发计划和预估开发时间。来看看我现在接手的那些项目,都是在PRD移交的时候,就尼马问我们开发,要!时!间!啊!有时候PRD是没有的,有时候PRD尼马几十上百页doc啊!原型会有一个,尼马很多链接的交互都没有啊!我艹!好了,冷静,不吐槽!反思下,我们做一个CMS性质的项目,做一个app,服务端连通的项目,做一个网站的改版,3-5人的开发小团队……需要这样的流程么?如果只是由开发负责整个过程,会不会能够更高效的执行呢?由开发和设计收集需求,设计人员自己出设计搞,开发自己定方案,然后去确定数据结构,进行开发。不仅减少了沟通成本,而且,开发能更深入的理解业务。何乐而不为?国内有没有这样的公司?我知道的有百姓网,豌豆荚。就我这次的项目来说,产品经理不参与开发,但是产品经理却定方案,直接导致了我这次参与的项目,需要在提交测试的时候由开发来手动往数据库写数据这种滑天下之大稽的事情的发生!PS:产品经理为什么会存在?知乎答案

————关于测试

不得不说我所在的第一家公司是中国的一支开发界的正规军,只可惜它是一家外包公司。公司有专职的QA(quality assurece)团队,他们负责公司项目的黑盒白盒测试,写大量的代码(test case),涵盖各种语言。任何一个测试转到开发都是分分钟的事情,这是酷壳博主口中的QA,当然,如果现在公司有这样的QA,幸甚!我们回到现实,看看国内大部分的互联网公司的测试是什么样的?懂代码的凤毛麟角,每天测试的工作就是,浏览器兼容性,各个功能点的黑盒测试,ok,稍微好点的有边界测试。我曾经在上家公司遇到过最奇葩的测试是什么情况?清!浏!览!器!缓!存!都!不!会!啊!更不要说清dns缓存,造cookie神码的了!!!连这些都需要沟通,更别提数据层面一些问题的沟通导致的成本和风险增加了!我理想的测试便是前面酷壳博主的文章中的情形了。

————关于运维和DBA

首先,我想问问各位如果在一个500人以内的小公司里面,是否有专职的运维和DBA呢?他们忙吗(一天上线十个需求的除外)?就我目前来看,我们开发完全可以吧运维和dba的工作做掉,管理mysql一些账户权限,优化一些sql,OMG这些需要DBA么?看看阿里的DBA都在做什么吧!其实,或许我们需要的只是一个mysql顾问。运维?管理个几十台服务器?搭个集群?配一些运行环境?配置一些代理?Rsync同步下代码?维护代码版本库?这些按道理都是开发分内的事情啊!运维该干什么?当公司项目上到500台服务器,再提运维这个岗位好么?

In a word,中小型项目中,如果开发团队中都是技能合格,有责任心有执行力的同学,完全能够高效的完成项目!作为一个web开发者,个人认为,基本的前端布局要懂的,js效果要会写的,闭包,原型,要理解的!ajax神码的不用说了,http请求流程要清楚的,后端不提,mysql基本的管理能力要有的,基本的使用和常用的函数要会的;主流的debian,红帽系服务器,搭个环境,定位个log,vim操作编辑个文件,这些都应该情理之中要掌握的。我还想强调一点,作为一个程序员,要有责任心,对自己开发过的功能,项目负责到底!你的负责会减轻很多他人工作!不要做码农,要做professional software develop engineer !

写在最后:我很期望我所在的团队,可以做一个短小精干,能独立跟项目,让PM,让DBA,让OP, 让QA都靠边站的团队。Yes, we can!!!

PS1:年内有个想法,在公司内分享下我对web开发的一个愿景和实现:用git做版本控制,xdebug做debug工具,phpDocument做文档工具,测试驱动开发,phpunit写Unit test,用Phing来做自动构建,jenkins/travis来做持续集成和自动部署。。

PS2:各位可以随意喷,尤其是产品狗,博主还年轻,不足之处,可以很快改正!

PS3:维基百科的软件开发流程