<div dir="ltr">Hi Mathieu,<br><br>Thanks a lot for the feedback. Please see below,<br><br>On Tue, Jul 30, 2019 at 11:15 PM Mathieu Desnoyers <<a href="mailto:mathieu.desnoyers@efficios.com">mathieu.desnoyers@efficios.com</a>> wrote:<br>><br>> ----- On Jul 30, 2019, at 9:34 AM, Junchang Wang <a href="mailto:junchangwang@gmail.com">junchangwang@gmail.com</a> wrote:<br>><br>> > On Mon, Jul 29, 2019 at 9:55 PM Mathieu Desnoyers<br>> > <<a href="mailto:mathieu.desnoyers@efficios.com">mathieu.desnoyers@efficios.com</a>> wrote:<br>> >><br>> >> ----- On Jul 29, 2019, at 9:35 AM, Junchang Wang <a href="mailto:junchangwang@gmail.com">junchangwang@gmail.com</a> wrote:<br>> >><br>> >> > Hi Mathieu and the list,<br>> >> ><br>> >> > I'm recently using userspace-rcu to build lock-free data structures. Thanks for<br>> >> > sharing this excellent project!<br>> >> ><br>> >> > In building a hash table, I am looking for an ordered singly linked list<br>> >> > that is lock-free. It seems such a list is missing in userspace-rcu. I<br>> >> > discussed this with Paul in the mailing list of perfbook, and he kindly<br>> >> > suggested me to submit my implementation to userspace-rcu. So here is the<br>> >> > RFC. Any comments and suggestions are warmly welcome.<br>> >><br>> >> One point worth mentioning: the rculfhash data structure (rcu lock-free hash<br>> >> table) already implements such list internally. You might want to have a look<br>> >> at it, and perhaps just lift out its implementation into a separate .c file<br>> >> and header file so we can expose its implementation publicly ?<br>> >><br>> >> Items are linked through the struct cds_lfht_node next field.<br>> >><br>> >> The struct cds_lfht_iter is used as a iterator on the list.<br>> >><br>> >> struct cds_lfht tbl_oder, tbl_chunk and tbl_mmap contain the<br>> >> linked lists heads for each memory allocation scheme.<br>> ><br>> > Hi Mathieu,<br>> ><br>> > Thanks for the note. I checked rculfhash today, and the list<br>> > implementation within rculfhash is indeed quite similar to the one I'm<br>> > working on. I will check to see if we can merge the two versions and<br>> > provide an independent rculflist.<br>><br>> Great!<br>><br>> ><br>> >><br>> >> I'm wondering why you need to re-implement a hash table though. What is<br>> >> missing from rculfhash to suit your needs ?<br>> >><br>> ><br>> > The major reason is that I want a hash table that can change its hash<br>> > function on-the-fly. Split-ordered list is not adequate because it can<br>> > only increase/decrease the number of buckets. Besides, I doubt the<br>> > reverse operation is always efficient on platforms where hardware<br>> > cannot help reverse bit strings. Hence I'm working on the new hash<br>> > table algorithm, which, of course, is built on top of the linked list<br>> > we are working on :-).<br>><br>> That makes a lot of sense. Re-hasing is indeed the main feature missing<br>> from rculfhash. I have ideas on how it could be introduced within the<br>> current split-ordered implementation with only small changes.<br>><br>> One possibility would be to create two lists (rather than one): the<br>> current list, and a second list that would be used when a re-hasing<br>> is performed. The old list would be used by readers while re-hashing<br>> is in progress, and add/del would take care of both lists when done<br>> concurrently with re-hashing. After re-hasing is complete, the old<br>> list would not be used anymore after a grace period has passed.<br>><br>> The cost of this approach is to have two next pointers per node (rather<br>> than one).<br><br>Agree. And we need to customize a linked list to allow each node to contain two next pointers, before the hash table algorithm can use the list.<br><br>><br>> An alternative would be to add a temporary layer of indirection when the<br>> re-hasing is performed. The "next" pointer would actually point to an<br>> intermediate object which contains the chaining information for both the<br>> old and the new lists. This would save the cost of the additional next<br>> pointer within each node, at the expense of doing extra temporary memory<br>> allocation when doing the re-hashing.<br>><br><br>Great suggestion! One benefit is that we may reuse a lock-free linked list without any modifications. If I understand correctly, the overall memory consumption with this approach is slightly larger than that of the previous one, because, in rehashing, each node has one intermediate node followed. Is that right?<br><br>> I'd also be curious to see benchmarks of the bit-reversal compared to the<br>> rest of the operations needed for lookup, addition, and removal in a<br>> lock-free hash table for the main architectures that matter today.<br>> What architectures do you care about ?<br>><br><br>Would be very happy to take a look at this and let you know the results soon. BTW, I was thinking that some architectures (e.g., x86) could have special instructions to help us accelerate the bit-reversal. Unfortunately, I searched on google today and can't find the exact instruction to do this. The most related instructions I found was at <a href="https://en.wikipedia.org/wiki/Bit_Manipulation_Instruction_Sets">https://en.wikipedia.org/wiki/Bit_Manipulation_Instruction_Sets</a> . Do you know the x86 instructions that can reverse bit strings? Thanks.<br><br>> I'm also curious to see what new hash table algorithm you have in mind!<br>><div><br></div><div>I will write down the algorithm and send it to you soon.</div><div><br></div><div><br></div><div>Thanks,</div><div>--Junchang</div><div><br>> Thanks,<br>><br>> Mathieu<br>><br>><br>> ><br>> > Thanks,<br>> > --Junchang<br>> ><br>> >> Thanks,<br>> >><br>> >> Mathieu<br>> >><br>> >><br>> >> ><br>> >> > This singly linked list is based on the following research paper:<br>> >> > - Maged M. Michael. High performance dynamic lock-free hash tables<br>> >> >   and list-based sets. In Proceedings of the fourteenth annual ACM<br>> >> >   symposium on Parallel algorithms and architectures, ACM Press,<br>> >> >   (2002), 73-82.<br>> >> ><br>> >> > And we made the following two major improvements:<br>> >> > (1) Insert, Delete, and Find operations are protected by RCU read_lock,<br>> >> >     such that the existence guarantees are provided by the RCU mechanism,<br>> >> >     and that no special memory management schemes (e.g., hazard pointers)<br>> >> >     is required anymore.<br>> >> > (2) The use of the RCU mechanism can naturally prevent the ABA problem,<br>> >> >     such that no flag field is required in this implementation. Hence,<br>> >> >     we save a variable of 8 bytes (typically sizeof(long)) for each node.<br>> >> ><br>> >> > In the past two weeks, I found some bugs in the first version of the<br>> >> > list in building a lock-free hash table on top it. So this is the second<br>> >> > version which fixes the known issues. Please review this version, if<br>> >> > possible. The major changes are as follows. Sorry for the inconvenience.<br>> >> > Any suggestions and comments are warmly welcome.<br>> >> ><br>> >> > v1 -> v2:<br>> >> >  - Functions insert(), delete(), and find() return 0 in success, and<br>> >> >    return -Exxx otherwise.<br>> >> >  - Fix a bug in function is_removed().<br>> >> ><br>> >> > Cheers,<br>> >> > --Junchang<br>> >> ><br>> >> > Junchang Wang (4):<br>> >> >  userspace-rcu: Add lock-free singly linked list rculflist<br>> >> >  userspace-rcu: Add sample code of rculflist<br>> >> >  userspace-rcu: Update Makefile.am to include rculflist into the<br>> >> >    project<br>> >> >  userspace-rcu: Add a brief description of rculflist in cds-api.md<br>> >> ><br>> >> > doc/cds-api.md                                     |   7 +<br>> >> > doc/examples/rculflist/Makefile                    |  24 ++<br>> >> > .../rculflist/Makefile.cds_lflist_delete_rcu       |  21 ++<br>> >> > .../rculflist/Makefile.cds_lflist_find_rcu         |  21 ++<br>> >> > .../rculflist/Makefile.cds_lflist_insert_rcu       |  21 ++<br>> >> > doc/examples/rculflist/cds_lflist_delete_rcu.c     | 101 ++++++++<br>> >> > doc/examples/rculflist/cds_lflist_find_rcu.c       |  96 +++++++<br>> >> > doc/examples/rculflist/cds_lflist_insert_rcu.c     |  69 +++++<br>> >> > include/Makefile.am                                |   1 +<br>> >> > include/urcu/cds.h                                 |   1 +<br>> >> > include/urcu/rculflist.h                           | 284 +++++++++++++++++++++<br>> >> > 11 files changed, 646 insertions(+)<br>> >> > create mode 100644 doc/examples/rculflist/Makefile<br>> >> > create mode 100644 doc/examples/rculflist/Makefile.cds_lflist_delete_rcu<br>> >> > create mode 100644 doc/examples/rculflist/Makefile.cds_lflist_find_rcu<br>> >> > create mode 100644 doc/examples/rculflist/Makefile.cds_lflist_insert_rcu<br>> >> > create mode 100644 doc/examples/rculflist/cds_lflist_delete_rcu.c<br>> >> > create mode 100644 doc/examples/rculflist/cds_lflist_find_rcu.c<br>> >> > create mode 100644 doc/examples/rculflist/cds_lflist_insert_rcu.c<br>> >> > create mode 100644 include/urcu/rculflist.h<br>> >> ><br>> >> > --<br>> >> > 1.8.3.1<br>> >> ><br>> >> > _______________________________________________<br>> >> > lttng-dev mailing list<br>> >> > <a href="mailto:lttng-dev@lists.lttng.org">lttng-dev@lists.lttng.org</a><br>> >> > <a href="https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev">https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev</a><br>> >><br>> >> --<br>> >> Mathieu Desnoyers<br>> >> EfficiOS Inc.<br>> >> <a href="http://www.efficios.com">http://www.efficios.com</a><br>> > _______________________________________________<br>> > lttng-dev mailing list<br>> > <a href="mailto:lttng-dev@lists.lttng.org">lttng-dev@lists.lttng.org</a><br>> > <a href="https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev">https://lists.lttng.org/cgi-bin/mailman/listinfo/lttng-dev</a><br>><br>> --<br>> Mathieu Desnoyers<br>> EfficiOS Inc.<br>> <a href="http://www.efficios.com">http://www.efficios.com</a></div></div>