<div dir="ltr"><div>I haven't tried the C API yet. <br></div><div><br></div><div>A smaller trace of about 2.7GB took +5 hrs before I had to kill the process. <br></div><div><br></div><div>As for trace cutting, that sounds promising. How broken is it in babeltrace 2? I mean, can I use it to some extent or is it not functioning at all?</div><div><br></div><div>Thanks!<br></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font color="#888888">Shehab Y. Elsayed, MSc.<br>
PhD Student<br>The Edwards S. Rogers Sr. Dept. of Electrical and Computer Engineering<br>University of Toronto </font><font color="#888888"><a value="+20124498360"><span dir="ltr"></span></a><br>
E-mail: <a href="https://webmail.rice.edu/imp/message.php?mailbox=INBOX&index=11#" target="_blank">shehabyomn@gmail.com</a></font></div></div></div>
<br><div class="gmail_quote">On Tue, Jul 10, 2018 at 9:37 AM, Jonathan Rajotte-Julien <span dir="ltr"><<a href="mailto:jonathan.rajotte-julien@efficios.com" target="_blank">jonathan.rajotte-julien@efficios.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Shehab,<br>
<span class=""><br>
On Mon, Jul 09, 2018 at 06:48:05PM -0400, Shehab Elsayed wrote:<br>
> Hello All,<br>
> <br>
> I was wondering if anyone had any suggestions on how to speedup trace<br>
> processing. Right now I am using babeltrace in python to read the traces<br>
> and process them. Some of the traces I am dealing with reach up to 10GB.<br>
<br>
</span>Well Babeltrace also provide a C API. You might get some performance gains there.<br>
<br>
Depending of the data you extract you might be able to split the 10 GB trace<br>
into smaller chunk and parallelize your analysis. Babeltrace 2 will support<br>
trace cutting, it seems that it is broken for now. Babeltrace 1 does not support<br>
trace cutting.<br>
<br>
You might want to look at ways to reduce the size of your traces using tracing<br>
mechanism such as the snapshot feature and enabling/recording only pertinent<br>
event if it is not already the case.<br>
<br>
Could you share with us the time it take for analyzing your bigger trace?<br>
<br>
Cheers<br>
<span class=""><br>
> <br>
> I read the trace, extract the info I need and write them to a csv gzipped<br>
> file (all in python). I fill up a list first with all extracted info for<br>
> each tracked event and then write once after the script has gone through<br>
> all events in the trace.<br>
> <br>
> Thanks,<br>
> Shehab<br>
<br>
</span>> ______________________________<wbr>_________________<br>
> lttng-dev mailing list<br>
> <a href="mailto:lttng-dev@lists.lttng.org">lttng-dev@lists.lttng.org</a><br>
> <a href="https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev" rel="noreferrer" target="_blank">https://lists.lttng.org/cgi-<wbr>bin/mailman/listinfo/lttng-dev</a><br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
-- <br>
Jonathan Rajotte-Julien<br>
EfficiOS<br>
</font></span></blockquote></div><br></div>