Както вече писах в предния си пост в един проект избрахме да продължим кеширането с memcached, вместо да преминем на riak. Както писах тогава основния проблем при използването на memcached са connections и асинхронното записване на данните. За да решим проблема с connections направихме reasearch на нова за нас технология, с която да ги оптимизираме. Попаднахме на twemproxy, което е open source проект на Twitter за memcached proxy, което се инсталира на всеки web и прави 1 connection към memcached, а самия application се връзва локално към него, където вече проблема с connections се губи. Самото proxy се грижи за това да транспортира данните от уеб сървъра до самия memcached. Това освен, че намали мрежовия трафик от постоянно отваряне на TCP connections към memcached, но и оптимизира работата с кеша.
Информация за проекта има и тук в Dev блога на Twitter.
Самата конфигурация на proxy-то е доста опростена, като има възможност за балансиране на множество от memcached сървъри. В github има подробна документация.