Google Breakpad: 实战crash .

 

C/C++程序最棘手的时候就是一个字“挂”，总是经常和不经常的挂掉，尤其是那些线上的不经常挂的情况，光看日志定位问题真的很难。

为解决C挂挂的问题，有必要提供一个跨平台的crash处理系统，目前已知的支持平台有windows 、Linux、 OS X 、android、等待。

下面就来看看Google自己用的系统：Breakpad

最好的介绍莫过于谷歌自己的：

谷歌的介绍：http://code.google.com/p/google-breakpad/wiki/GettingStartedWithBreakpad

谷歌翻译-》本人修改版：（不一定准确）minidump-》小型转储

介绍

 Breakpad是一个库和工具套件可以让你发布的应用程序（把编译器提供的调试信息剥离掉的）给用户，记录了崩溃紧凑的“dump”文件，发送回您的服务器，并从这些minidump产生C和C++堆栈踪迹。Breakpad可以根据请求使没有崩溃的程序也可以写出minidump。

目前使用Breakpad的有谷歌浏览器，火狐，谷歌的Picasa，卡米诺，谷歌地球，和其他项目。

Breakpad有三个主要组件：

• 客户端是一个库，包含在您的应用程序中。 它可以获取当前线程的状态和当前加载的可执行文件和共享库的ID写转储文件。您可以配置客户端发生了崩溃时写入一个minidump时，或明确要求时。
•  符号卸载器是一个程序，读取由编译器产生的调试信息，并生成一个使用Breakpad格式的符号文件  。
• 该处理器（minidump processor）是一个程序，读取一个minidump文件，找到相应的版本的符号文件的（可执行文件和共享库的转储提到的），并产生了一个人可读的C / C + +堆栈跟踪。

小型转储文件格式（即minidump）

转储文件的格式是由微软开发的类似存储的文件，崩溃便利上传。一个minidump文件包含：

• 在创建dump的进程中加载??的可执行文件和共享库列表。此列表中包含的特定版本加载的那些文件的文件名和标识符。

• 在这个过程中存在的线程列表。对于每个线程转储包括处理器寄存器的状态，线程的堆栈存储器的内容。一般Breakpad客户端没有可用于产生函数名或行号，甚至确定堆栈帧的边界的调试信息，所以这些数据是不可解释的字节流。

• 其他收集的有关系统转储信息比如：处理器和操作系统版本，转储的原因，等等。

 Breakpad在所有平台上使用Windows dump文件，而不是传统的core文件，有以下几个原因：

• core文件可能会非常大，不适合在网络上发送给收集器处理。minidump较小，因此它们被设计为使用这种方式。
• core文件格式缺乏文档信息。例如，Linux标准库不描述寄存器如何存储在PT_NOTE段的。
• 一个Windows机器上生成一个core dump文件，比起其他机器上生成一个minidump文件，哪个难很难说。
• 简化了Breakpad处理器，只支持一种文件格式。

概述/一个小型转储的生命周期

通过调用到Breakpad库生成一个minidump。默认初始化Breakpad时，安装了一个异常/信号handler，崩溃时可写一个minidump到磁盘。在Windows上，这是通过SetUnhandledExceptionFilter()实现；在 OS X上，这是通过创建一个线程，等待的Mach exception端口，在Linux上，这是通过安装一个信号handler来应对程序的各种异常情况，如SIGILL，SIGSEGV等。

一旦生成minidump，每个平台都有一个略有不同的方式上传的崩溃dump。在Windows和Linux上，提供一个单独的函数库，可以被称为做upload。在OS X上，一个单独的进程产生，提示用户是否允许，如果同意这样做则发送文件。

术语

进程内与进程外的异常处理——进程内写minidump通常被认为是不安全的，关键处理数据结构可能已经被破坏，异常处理程序运行所处的堆栈或可能已经被覆盖，等等。所有3个平台都支持“进程外”异常处理。

集成概述

Breakpad代码概述

所有的客户端代码访问谷歌计划在http://code.google.com/p/google-breakpad 。 是在src目录下的以下目录结构：

• 处理器---包含转储处理的代码，它用于在服务器端，而不是在客户端上使用
• 客户端---包含适用于所有平台的客户端转储产生库
• 工具---包含源代码和项目，生成在每个平台上的各种工具。

（在其他目录）

• Windows Integration Guide Windows集成指南
• Mac Integration Guide Mac的集成指南
• Linux Integration Guide Linux集成指南

生成过程的详细资料（符号生成）

适用于所有平台。src/tools/{platform}/dump_syms是一个工具，可以读取每个平台的调试信息（例如，OS X / Linux操作系统，DWARF和STABS，以及Windows，PDB文件），和产生一个Breakpad的符号文件。应在二进制程序剥离符号之前（比如OS X/Linux）运行此工具，需要存储dump在处理器可以找到的地方。还有另一种工具，symupload，可以上传符号文件。如果你写了一个服务器，可以接收它们。

 

 

还是来自Google：http://code.google.com/p/google-breakpad/wiki/LinuxStarterGuide

由于有代码等原因，本人直接按自己理解，白话，E文好的直接点链接看。

怎样把Breakpad加入你的程序呢,E文是母语的直接点连接。

 

• How To Add Breakpad To Your Linux Application

  • Building the Breakpad libraries
  • Integrating Breakpad into your Application
  • Sending the minidump file
  • Producing symbols for your application
  • Processing the minidump to produce a stack trace

This document is an overview of using the Breakpad client libraries on Linux.

 

先编译库

源码目录下运行 

./configure && make

 生成 src/client/linux/libbreakpad_client.a

 

把Breakpad整合进程序

首先，把libbreakpad_client.a链接进你的程序，把src目录include进去，诸如：（g++ -g test.cc -I. -L./client/linux/ -lbreakpad_client -lpthread -o test）。

#include"client/linux/handler/exception_handler.h"

在程序刚开始的时候实例化google_breakpad::MinidumpDescriptor和google_breakpad::ExceptionHandler 这两个东东。dump目录可改，dump时可设回调来获取dump信息，示例代码如下：

staticbool dumpCallback(const google_breakpad::MinidumpDescriptor& descriptor, void* context,bool succeeded){ printf("Dump path: %s\n", descriptor.path());return succeeded;}void crash(){volatile int* a= (int*)(NULL);*a =1;}int main(int argc, char* argv[]){ google_breakpad::MinidumpDescriptor descriptor("/tmp"); google_breakpad::ExceptionHandler eh(descriptor, NULL, dumpCallback, NULL,true, -1); crash();return 0;}

编译运行会产生dmp在/tmp下，ExceptionHandler 结构的信息参考 in the exception_handler.h source file.

回调做的工作越少越好，因为crash的程序本身就不安全，分配内存或调用另一个库里的函数都是不安全的，使用fork另起个进程来做事才是最安全的. 如果必须在crash时使用回调参考some simple reimplementations of libc functions,避免直接调用libc, 比如a header file for making Linux system calls (insrc/third_party/lss) 避免使用动态库.(其实就是提倡使用系统调用system call而已，原理就是使用子进程来do something)

 

如何发送dump文件

参考 some HTTP upload sourcea minidump upload tool.

 

处理符号文件

为了产生有用的堆栈跟踪, Breakpad需要你把二进制中的调试符号转成text-format symbol files. 首先，编译时必须用-g 包含调试符号。其次编译这个工具dump_syms ，这个在上边make的时候一起生成好了。

$ google-breakpad/src/tools/linux/dump_syms/dump_syms./test > test.sym

像下面这样搞，就是搞出个特定的目录来，目录名是head命令 查看 test.sym第一行得出来的，然后把test.sym搞进去，最好复制。

$ head -n1 test.symMODULELinux x86_64 6EDC6ACDB282125843FD59DA9C81BD830 test$ mkdir-p ./symbols/test/6EDC6ACDB282125843FD59DA9C81BD830$ mv test.sym ./symbols/test/6EDC6ACDB282125843FD59DA9C81BD830

symbolstore.py 这个 Mozilla 的脚本能搞定上边几步。

Usage: symbolstore.py <params> <dump_syms path> <symbol store path> <debug info files or dirs>

例：./symbolstore.py     ./tools/linux/dump_syms/dump_syms     symbols             test  

 

处理minidump来生成堆栈信息

还是用工具minidump_stackwalk 来搞

google-breakpad/src/processor/minidump_stackwalk minidump.dmp ./symbols

在 stderr输出了很长的输出信息，在stdout输出了堆栈信息，然后你就可以定位挂在哪里了。

示例：

[root@CentOS src]# ./processor/minidump_stackwalk 5ee28168-f798-caba-749b962b-312eaf19.dmp ./symbols/
2012-12-13 17:15:29: minidump_processor.cc:281: INFO: Processing minidump in file 5ee28168-f798-caba-749b962b-312eaf19.dmp
2012-12-13 17:15:29: minidump.cc:3832: INFO: Minidump opened minidump 5ee28168-f798-caba-749b962b-312eaf19.dmp
2012-12-13 17:15:29: minidump.cc:3943: INFO: Minidump not byte-swapping minidump
2012-12-13 17:15:29: minidump.cc:4309: INFO: GetStream: type 1197932545 not present
2012-12-13 17:15:29: minidump.cc:4309: INFO: GetStream: type 1197932546 not present
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for /workspace/Breakpad/trunk/src/test
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for /lib64/ld-2.12.so
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for /lib64/libc-2.12.so
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for /lib64/libpthread-2.12.so
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for /lib64/libm-2.12.so
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for /lib64/libgcc_s-4.4.6-20120305.so.1
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for /usr/lib64/libstdc++.so.6.0.13
2012-12-13 17:15:29: minidump.cc:2011: INFO: MinidumpModule could not determine version for linux-gate.so
2012-12-13 17:15:29: minidump_processor.cc:128: INFO: Minidump 5ee28168-f798-caba-749b962b-312eaf19.dmp has CPU info, OS info, no Breakpad info, exception, module list, thread list, no dump thread, and requesting thread
2012-12-13 17:15:29: minidump_processor.cc:166: INFO: Looking at thread 5ee28168-f798-caba-749b962b-312eaf19.dmp:0/1 id 0x38f5
2012-12-13 17:15:29: minidump.cc:308: INFO: MinidumpContext: looks like AMD64 context
2012-12-13 17:15:29: minidump.cc:308: INFO: MinidumpContext: looks like AMD64 context
2012-12-13 17:15:29: source_line_resolver_base.cc:220: INFO: Loading symbols for module /workspace/Breakpad/trunk/src/test from memory buffer
2012-12-13 17:15:29: simple_symbol_supplier.cc:193: INFO: No symbol file at ./symbols//libc-2.12.so/77DDBBF2BF8AFBECA0C59BBCBA94D1150/libc-2.12.so.sym
2012-12-13 17:15:29: basic_code_modules.cc:88: INFO: No module at 0x0
2012-12-13 17:15:29: basic_code_modules.cc:88: INFO: No module at 0x7fff6c4b8bc8
2012-12-13 17:15:29: basic_code_modules.cc:88: INFO: No module at 0x100000000
2012-12-13 17:15:29: minidump_processor.cc:275: INFO: Processed 5ee28168-f798-caba-749b962b-312eaf19.dmp
2012-12-13 17:15:29: minidump.cc:3804: INFO: Minidump closing minidump
Operating system: Linux
                  0.0.0 Linux 2.6.32-279.11.1.el6.x86_64 #1 SMP Tue Oct 16 15:57:10 UTC 2012 x86_64
CPU: amd64
     family 6 model 42 stepping 7
     1 CPU

Crash reason:  SIGSEGV//挂掉类型
Crash address: 0x0

Thread 0 (crashed)//挂掉线程id
 0  test!crash() [test.cc : 10 + 0x4]//代码：   *a = 1; //a是一个int*的指针，值为NULL，给NULL赋值1，必须挂，源码的第10行，从左到右第四个字符的位置挂了，即a。
    rbx = 0x00007fff6c4b8a90   r12 = 0x0000000000401a00
    r13 = 0x00007fff6c4b8bc0   r14 = 0x0000000000000000
    r15 = 0x0000000000000000   rip = 0x0000000000401b2d
    rsp = 0x00007fff6c4b89e0   rbp = 0x00007fff6c4b89e0
    Found by: given as instruction pointer in context
 1  test!main [test.cc : 16 + 0x4]
    rbx = 0x00007fff6c4b8a90   r12 = 0x0000000000401a00
    r13 = 0x00007fff6c4b8bc0   r14 = 0x0000000000000000
    r15 = 0x0000000000000000   rip = 0x0000000000401c29
    rsp = 0x00007fff6c4b89f0   rbp = 0x00007fff6c4b8ae0
    Found by: call frame info
 2  libc-2.12.so + 0x1ecdc
    rbx = 0x0000000000000000   r12 = 0x0000000000401a00
    r13 = 0x00007fff6c4b8bc0   r14 = 0x0000000000000000
    r15 = 0x0000000000000000   rip = 0x0000003d64e1ecdd
    rsp = 0x00007fff6c4b8af0   rbp = 0x0000000000000000
    Found by: call frame info
 3  test!crash() [test.cc : 11 + 0x1]
    rip = 0x0000000000401b35   rsp = 0x00007fff6c4b8b10
    Found by: stack scanning

Loaded modules:
0x00400000 - 0x00412fff  test  ???  (main)
0x3d64a00000 - 0x3d64a1ffff  ld-2.12.so  ???
0x3d64e00000 - 0x3d6518dfff  libc-2.12.so  ???
0x3d65600000 - 0x3d65818fff  libpthread-2.12.so  ???
0x3d65a00000 - 0x3d65c83fff  libm-2.12.so  ???
0x3d6a600000 - 0x3d6a815fff  libgcc_s-4.4.6-20120305.so.1  ???
0x3d6c600000 - 0x3d6c8f0fff  libstdc++.so.6.0.13  ???
0x7fff6c4f9000 - 0x7fff6c4f9fff  linux-gate.so  ???

 

 

首先产生工程文件，下载python2.7，windows二进制版本安装好，设好Path环境变量。

然后Dos进入Breakpad目录，设置好使用vs2010，使用gyp脚本生成sln工程文件。

set GYP_MSVS_VERSION=2010

src\tools\gyp\gyp.bat --no-circular-check src\client\windows\breakpad_client.gyp

src\client\windows下边有生成好的sln文件，打开sln，Debug编译，在Debug下边有生成好的exception_handler.lib，和exception_handler.h这两个加入你的项目中。

#include "exception_handler.h"//使用时include头文件

  handler = new ExceptionHandler(const wstring& dump_path,                                                              FilterCallback filter,                                                              MinidumpCallback callback,                                                              void* callback_context,                                                              int handler_types,                                                              MINIDUMP_TYPE dump_type,                                                              const wchar_t* pipe_name,                                                              const CustomClientInfo* custom_info);

The parameters, in order, are:

• pathname for minidumps to be written to - this is ignored if OOP dump generation is used //dump文件路径，如果使用OOP方式产生dump则忽略，个人理解是描述符、管道、等等吧。
• A callback that is called when the exception is first handled - you can return true/false here to continue/stop exception processing //crash时调用回调函数，返回ture/false来继续/停止 异常处理。
• A callback that is called after minidumps have been written //minidump写入后调用的回调函数
• Context for the callbacks //设备上下文，回调使用的
• Which exceptions to handle - see HandlerType enumeration in exception_handler.h //HandlerType异常类型，可在exception_handler.h查看
• The type of minidump to generate, using the MINIDUMP_TYPE definitions inDbgHelp.h //minidump的类型，使用DbgHelp.h中MINIDUMP_TYPE类型
• A pipe name that can be used to communicate with a crash generation server //接收crash的server端的管道名
• A pointer to a CustomClientInfo class that can be used to send custom data along with the minidump when using OOP generation //使用OOP产生minidump时，使用这个自定义客户信息类指针来发送自定义数据

 src/client/windows/tests/crash_generation_app/* 有OOP方式的示例。

 

说白了，和linux一样，在程序开始时，先new一个ExceptionHandler，同时也决定了minidump的产生方式。

C盘下建立Dumps目录，打开src\client\windows\tests\crash_generation_app目录下面的sln，菜单栏选择client，里边有多种 crash 方式，你可选择一种。

然后Dumps里可以找到挂掉的dmp文件，复制到src\client\windows\tests\crash_generation_app\Debug下面，里面有：crash_generation_app.exe crash_generation_app.pdb

双击dmp运行调试，点击右上角的“使用 仅限本机 进行调试”，OK，运行了，挂了，选择“中断”，然后可以在“调用堆栈”窗口里找到挂的位置。可能挂在系统库里，你需要在

“调用堆栈”窗口里找到你的代码行，从上往下找到第一个你的代码行，双击即可定位，可以看到printf(NULL)。

 

Origin:http://blog.csdn.net/wpc320/article/details/8290501