开源项目brpc从入门到精通(二)

开源项目brpc从入门到精通(二)

本文是第一个开源项目研究系列,第一个开源项目选择的是brpc,brpc是百度内最常使用的工业级RPC框架, 有1,000,000+个实例(不包含client)和上千种多种服务, 在百度内叫做"baidu-rpc". 目前只开源C++版本。

ps:为啥选择brpc,因为算法想要真正在实际中运用,我们还是得要一个高性能实现,而brpc能帮助我们快速解决网络交互问题,让我们去实现算法逻辑。

在在线系统中,日志是非常重要的功能,能帮助我们分析、定位问题,下面会介绍如果让我们自己设计一个高性能的日志系统,我们应该怎么做。

日志

日志我们平时都用,如果自己来设计一个日志框架,需要从哪些角度考虑呢?

我们先来考虑我们使用日志的话,他应该有哪些最基本的功能?

场景:程序在运行过程中,首先发出要记录的信息,然后通过约定格式化这些信息,最后再将其输出到目的地,所以一个日志框架需要有的基本功能有:

  • 日志记录
  • 格式化
  • 输出地

日志记录我们可以看做是一个前端api,而输出地则是后端,两者之间经过一个格式化组件进行数据的规范、传输。另外在分布式系统中,日志的输出地只有一个,那就是本地磁盘。

在日志框架的整体设计上,可以抽象为一个多生产者、单消费者的模型。前端通过api不断写入日志,后端有一个消费者对日志进行输出,而目的就是本次磁盘。

如果输出地是磁盘,那就必须要有日志文件滚动功能,滚动的条件一般有两个:

1. 日志大小(每1G)

2. 时间(每隔1小时)

另外,如果我们要写磁盘,那io就是关键,下面介绍下深入介绍下Linux 文件 io。

Linux 标准io

要想了解fwrite,最好的方式就是进行调试,下面是动手环节,大家可以按照下面的步骤,自己动手实验的,便于理解,有任何问题都可以留言,尽量回答。

下面记录下如何在开发机器上调试glibc代码

因为在mac上开发,所以首先得有个Ubuntu镜像。

1. docker run -it --name="gpp" ubuntu /bin/bash

2. apt-get unpdate && apt-get install -y ubuntu-dev-tools vim

3. docker commit gpp zhuanxuhit/ubuntu:v1

此处安装 ubuntu-dev-tools 开发者工具。一劳永逸

参考文档 跟我一起学Docker——搭建编译环境篇

下一步是启动了,启动过程中,因为需要运行gdb,需要在启动时加上--privileged=true参数,具体可以看:

dockercontainer下gdb无法正常工作的解决办法

docker run --privileged=true -it -v ~/dev/share:/home/binss --name="gpp" ubuntu /bin/bash

下面是一段简单的代码:

开源项目brpc从入门到精通(二)

gcc -g3 -O0 -gdwarf-4 -ggdb test.c -o test

运行出core,我们通过ulimit -c unlimited在当前文件夹下产生core文件,具体可以看 Linux 下如何产生core文件(core dump设置)

发现是没有temp文件导致的,创建touch temp后继续运行。

gdb a.out

> l

> b 5

> r

> s

出现错误

_IO_new_fopen (filename=0x5555555547e6 "./temp", mode=0x5555555547e4 "r") at iofopen.c:88

88 iofopen.c: No such file or directory.

这是需要我们去下载glibc源文件

root@28dcf784e1be:/home/binss# ldd a.out

linux-vdso.so.1 (0x00007ffd7b3c1000)

libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f63d95b1000)

/lib64/ld-linux-x86-64.so.2 (0x00007f63d9ba4000)

依赖的是 libc.so.6

直接查看 /lib/x86_64-linux-gnu/libc.so.6

root@28dcf784e1be:/home/binss# ll /lib/x86_64-linux-gnu/libc.so.6

lrwxrwxrwx 1 root root 12 Apr 16 20:14 /lib/x86_64-linux-gnu/libc.so.6 -> libc-2.27.so*

执行 libc-2.27.so

接着我们下载libc的源代码,需要修改下source.list

具体的源可以查看:https://mirror.tuna.tsinghua.edu.cn/help/ubuntu/,注意打开deb-source,下载源代码。

开源项目brpc从入门到精通(二)

安装完代码后,我们就可以开始调试了。通过

(gdb) directory /home/binss/glibc-2.27/libio

设置好源代码搜索目录,下面开始调试。

通过gdb可以直接定位到fwrite的源码,源码如下,位于./libio/iofwrite.c。

设置gdb选项 set print pretty on

先到了iofwrite.c:31

开源项目brpc从入门到精通(二)

下面我们看下gdb如任调试宏定义,怎么在gdb中调试宏,可以参照https://sourceware.org/gdb/onlinedocs/gdb/Macros.html

gcc -g3 -O0 -gdwarf-2 test.c

上面我们怎么知道gdb调试的时候会去加载glibc的debug版本呢?

开源项目brpc从入门到精通(二)

通过设置 verbose on可以看到gdb会去自动加载符号进来。

最终 _IO_sputn 被化简为:IO_validate_vtable(const struct _IO_jump_t)-> __xsputn(fp, buf, request)

__xsputn 是 _IO_jump_t 中的指针

开源项目brpc从入门到精通(二)

(gdb) s

_IO_new_file_xsputn (f=0x555555756260, data=0x7fffffffe67b, n=12) at fileops.c:1220

1220 {

开源项目brpc从入门到精通(二)

整个调用栈

开源项目brpc从入门到精通(二)

将新申请到的内存设置到f->_IO_buf_base 中, 最终执行完后,fp中内存数据,我们将数据从用户空间拷贝到了glibc分配的空间中。

开源项目brpc从入门到精通(二)

上面我们可以看到,我们将数据是写入到了glibc的缓冲区中,下面通过fflush,将其写入到内核缓冲区中。调用函数fflush,gdb调试:

开源项目brpc从入门到精通(二)

现在调用链到了系统调用了

开源项目brpc从入门到精通(二)

系统调用部分,先上一张图:

开源项目brpc从入门到精通(二)

记得大学那块,自己做嵌入式开发,就是看好多Linux驱动程序编写。这块有机会以后专门开个专题来介绍的。

现在总结下目前的进展,我们此次调试的目的是想看下fwrite是怎么一步一步将数据写入磁盘的,我们发现要想写入磁盘,首先我们的数据会从用户缓冲区中被拷贝到glibc的缓冲区,然后glibc再进行系统调用,将数据写入到内核缓冲区,然后设备驱动程序再将数据从内核缓冲区写到设备缓冲区,整个过程可以看下图:

开源项目brpc从入门到精通(二)

图片来自文章:漫谈linux文件IO,文中很好的阐述了整个io过程,推荐阅读。

总结

本文介绍了程序中重要的日志功能,为了能实现高性能日志,我们去分析了底层写入磁盘到底发生了什么,发现其中一层层的数据拷贝,这些完全都是可以优化的,所以下一篇会去介绍目前高性能库的做法,欢迎持续关注。


分享到:


相關文章: