采集-多渠道数据

背景

“我要点外卖”是一个平台型电商网站，涉及用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜。商家拿到订单后开始加工，并自动通知周围的快递员。快递员将外卖送到用户手中。

运营需求

在运营的过程中，发现了如下的问题：

• 获取用户难，投放一笔不小的广告费到营销渠道（网页、微信推送），收获了一些用户，但无法评判各渠道的效果。

• 用户经常抱怨送货慢，但慢在什么环节，接单、配送还是加工，如何进行优化？

• 用户运营，经常搞一些优惠活动，但无法获得效果。

• 调度问题，如何帮助商家在高峰时提前备货？如何调度更多的快递员到指定区域？

• 客服服务，用户反馈下单失败，用户背后的操作是什么？系统是否有错误？

数据采集难点

在数据化运营的过程中，第一步是如何将散落的日志数据集中收集起来，其中会遇到如下挑战：

• 多渠道：例如广告商、地推（传单）等。

• 多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。

• 异构网：VPC、用户自建IDC，阿里云ECS等。

• 多开发语言：核心系统Java、前端Nginx服务器、后台支付系统C++。

• 设备：商家有不同平台（X86、ARM）设备。

我们需要把散落在外部、内部的日志收集起来，统一进行管理。在过去这块需要大量的和不同种类的工作，现在可以通过LogHub采集功能完成统一接入。

日志统一管理、配置

1. 创建管理日志项目，例如myorder。

2. 为不同数据源产生的日志创建日志库，例如：

   • wechat-server（存储微信服务器访问日志）

   • wechat-app（存储微信服务器应用日志）

   • wechat-error（错误日志）

   • alipay-server

   • alipay-app

   • deliver-app（送货员App状态）

   • deliver-error（错误日志）

   • web-click（H5页面点击）

   • server-access（服务端Access-Log）

   • server-app（应用）

   • coupon（应用优惠券日志）

   • pay（支付日志）

   • order（订单日志）

3. 如需要对原始数据进行清洗与ETL，可以创建一些中间结果Logstore。

用户推广日志采集

采集方案

为获取新用户，一般有两种方式：

• 网站注册时直接投放优惠券。

• 其他渠道扫描二维码，投放优惠券。

  • 传单二维码

  • 扫描网页二维码登录

实施方法

定义如下注册服务器地址，生成二维码（传单、网页）供用户注册扫描。用户扫描该页面进行注册时，就可以得知用户是通过特定来源进入的，并记录日志。

http://example.com/login?source=10012&ref=kd4b

当服务端接受请求时，服务器输出如下日志：

2016-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890

其中：

• time：注册时间。

• session：浏览器当前session，用以跟踪行为。

• source：来源渠道。例如，活动A为10001，传单为10002，电梯广告为10003。

• ref：推荐号，是否有人推荐注册，没有则为空。

• params：其他参数。

收集方式：

• 应用程序输出日志到硬盘，通过Logtail采集。更多信息，请参见 什么是Logtail。

• 应用程序通过SDK写入。更多信息，请参见 SDK参考概述。

服务端数据采集

采集方案

支付宝和微信公众账号编程是典型的Web端模式，一般会有四种类型的日志：

• Nginx和Apache访问日志

  Nginx和Apache访问日志用以监控、实时统计。

  10.1.168.193 - - [01/Mar/2012:16:12:07 +0800] "GET /Send?AccessKeyId=8225105404 HTTP/1.1" 200 5 "-" "Mozilla/5.0 (X11; Linux i686 on x86_64; rv:10.0.2) Gecko/20100101 Firefox/10.0.2"                    

• Nginx和Apache错误日志

  2016/04/18 18:59:01 [error] 26671#0: *20949999 connect() to unix:/tmp/fastcgi.socket failed (111: Connection refused) while connecting to upstream, client: 10.101.1.1, server: , request: "POST /logstores/test_log HTTP/1.1", upstream: "fastcgi://unix:/tmp/fastcgi.socket:", host: "example.com" 

• 应用层日志

  应用层日志要把事件产生的时间、地点、结果、延时、方法、参数等记录详细，扩展类字段一般放在最后。

  {
      "time":"2016-08-31 14:00:04",
      "localAddress":"192.0.2.8:0",
      "methodName":"load",
      "param":["31851502"],
      "result":....,
      "serviceName":"com.example",
      "startTime":1472623203994,
      "success":true,
      "traceInfo":"88_1472621445126_1092"
  }

• 应用层错误日志：错误发生的时间、代码行、错误码、原因等。

  2016/04/18 18:59:01 :/var/www/html/SCMC/routes/example.php:329 [thread:1] errorcode:20045 message:extractFuncDetail failed: account_hsf_service_log                    

终端用户日志接入

采集方案

• 移动端：可以使用移动端iOS SDK，Android或MAN（移动数据分析）接入。

• ARM设备：ARM平台可以使用Native C交叉编译。

• 商家平台设备：X86平台设备可以用SDK、ARM平台可以使用Native C交叉编译。

Web/移动端页面用户行为

采集方案

页面用户行为收集可以分为两类：

• 页面与后台服务器交互：例如下单、登录、退出等。

• 页面无后台服务器交互：请求直接在前端处理，例如滚屏、关闭页面等。

实施方法

使用WebTracking收集页面行为。具体操作，请参见 使用Web Tracking采集日志。

服务器日志运维

采集方案

例如：

• Syslog日志

  Aug 31 11:07:24 zhouqi-mac WeChat[9676]: setupHotkeyListenning event NSEvent: type=KeyDown loc=(0,703) time=115959.8 flags=0 win=0x0 winNum=7041 ctxt=0x0 chars="u" unmodchars="u" repeat=0 keyCode=32                  

• 应用程序Debug日志

  __FILE__:build/release64/sls/shennong_worker/ShardDataIndexManager.cpp
  __LEVEL__:WARNING
  __LINE__:238
  __THREAD__:31502
  offset:816103453552
  saved_cursor:1469780553885742676
  seek count:62900
  seek data redo
  log:pangu://localcluster/redo_data/41/example/2016_08_30/250_1472555483
  user_cursor:1469780553885689973

• Trace日志

  [2013-07-13 10:28:12.772518]    [DEBUG] [26064]  __TRACE_ID__:661353951201    __item__:[Class:Function]_end__  request_id:1734117   user_id:124 context:.....

不同网络环境下的数据采集

LogHub在各Region提供访问点，每个Region提供三种方式接入：

• 内网（经典网络）：本Region内服务访问，带宽链路质量好（推荐）。

• 公网（经典网络）：可以被任意访问，访问速度取决于链路质量、传输安全保障建议使用HTTPS。

• 私网（专有网络VPC）：本Region内VPC网络访问。