<div dir="ltr">Thank you very much, Phil. I will give them a try and see if they help<br></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font color="#888888">Shehab Y. Elsayed, MSc.<br>
PhD Student<br>The Edwards S. Rogers Sr. Dept. of Electrical and Computer Engineering<br>University of Toronto </font><font color="#888888"><a value="+20124498360"><span dir="ltr"></span></a><br>
E-mail: <a href="https://webmail.rice.edu/imp/message.php?mailbox=INBOX&index=11#" target="_blank">shehabyomn@gmail.com</a></font></div></div></div>
<br><div class="gmail_quote">On Tue, Jul 10, 2018 at 6:51 PM, Philippe Proulx <span dir="ltr"><<a href="mailto:eeppeliteloop@gmail.com" target="_blank">eeppeliteloop@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Tue, Jul 10, 2018 at 11:33 AM Shehab Elsayed <<a href="mailto:shehabyomn@gmail.com">shehabyomn@gmail.com</a>> wrote:<br>
><br>
> I haven't tried the C API yet.<br>
><br>
> A smaller trace of about 2.7GB took +5 hrs before I had to kill the process.<br>
<br>
</span>Wow. The Python bindings are slow by nature, but that's a lot of time!<br>
<span class=""><br>
><br>
> As for trace cutting, that sounds promising. How broken is it in babeltrace 2? I mean, can I use it to some extent or is it not functioning at all?<br>
<br>
</span>It works in fact, but the master branch of Babeltrace 2 does not contain<br>
some important optimizations yet so it can be slow, which is already<br>
your issue, therefore I can't say if it will help.<br>
<br>
Once built, the command line would look like:<br>
<br>
    babeltrace /path/to/trace/dir --begin=20:32:17.182738475 \<br>
               --end=20:32:24.177283746 -octf -w/output/dir<br>
<br>
See babeltrace-convert(1) for more details.<br>
<br>
Try it and see if you can save time. Moreover I'm working on various<br>
optimizations, one of which targets faster trimming. This will be part<br>
of 2.0-rc1.<br>
<br>
Phil<br>
<div class="HOEnZb"><div class="h5"><br>
><br>
> Thanks!<br>
><br>
> Shehab Y. Elsayed, MSc.<br>
> PhD Student<br>
> The Edwards S. Rogers Sr. Dept. of Electrical and Computer Engineering<br>
> University of Toronto<br>
> E-mail: <a href="mailto:shehabyomn@gmail.com">shehabyomn@gmail.com</a><br>
><br>
> On Tue, Jul 10, 2018 at 9:37 AM, Jonathan Rajotte-Julien <<a href="mailto:jonathan.rajotte-julien@efficios.com">jonathan.rajotte-julien@<wbr>efficios.com</a>> wrote:<br>
>><br>
>> Hi Shehab,<br>
>><br>
>> On Mon, Jul 09, 2018 at 06:48:05PM -0400, Shehab Elsayed wrote:<br>
>> > Hello All,<br>
>> ><br>
>> > I was wondering if anyone had any suggestions on how to speedup trace<br>
>> > processing. Right now I am using babeltrace in python to read the traces<br>
>> > and process them. Some of the traces I am dealing with reach up to 10GB.<br>
>><br>
>> Well Babeltrace also provide a C API. You might get some performance gains there.<br>
>><br>
>> Depending of the data you extract you might be able to split the 10 GB trace<br>
>> into smaller chunk and parallelize your analysis. Babeltrace 2 will support<br>
>> trace cutting, it seems that it is broken for now. Babeltrace 1 does not support<br>
>> trace cutting.<br>
>><br>
>> You might want to look at ways to reduce the size of your traces using tracing<br>
>> mechanism such as the snapshot feature and enabling/recording only pertinent<br>
>> event if it is not already the case.<br>
>><br>
>> Could you share with us the time it take for analyzing your bigger trace?<br>
>><br>
>> Cheers<br>
>><br>
>> ><br>
>> > I read the trace, extract the info I need and write them to a csv gzipped<br>
>> > file (all in python). I fill up a list first with all extracted info for<br>
>> > each tracked event and then write once after the script has gone through<br>
>> > all events in the trace.<br>
>> ><br>
>> > Thanks,<br>
>> > Shehab<br>
>><br>
>> > ______________________________<wbr>_________________<br>
>> > lttng-dev mailing list<br>
>> > <a href="mailto:lttng-dev@lists.lttng.org">lttng-dev@lists.lttng.org</a><br>
>> > <a href="https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev" rel="noreferrer" target="_blank">https://lists.lttng.org/cgi-<wbr>bin/mailman/listinfo/lttng-dev</a><br>
>><br>
>><br>
>> --<br>
>> Jonathan Rajotte-Julien<br>
>> EfficiOS<br>
><br>
><br>
> ______________________________<wbr>_________________<br>
> lttng-dev mailing list<br>
> <a href="mailto:lttng-dev@lists.lttng.org">lttng-dev@lists.lttng.org</a><br>
> <a href="https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev" rel="noreferrer" target="_blank">https://lists.lttng.org/cgi-<wbr>bin/mailman/listinfo/lttng-dev</a><br>
</div></div></blockquote></div><br></div>