xref: /unit/src/nxt_router.c (revision 117)
120Sigor@sysoev.ru 
220Sigor@sysoev.ru /*
320Sigor@sysoev.ru  * Copyright (C) Igor Sysoev
420Sigor@sysoev.ru  * Copyright (C) Valentin V. Bartenev
520Sigor@sysoev.ru  * Copyright (C) NGINX, Inc.
620Sigor@sysoev.ru  */
720Sigor@sysoev.ru 
853Sigor@sysoev.ru #include <nxt_router.h>
9115Sigor@sysoev.ru #include <nxt_conf.h>
1088Smax.romanov@nginx.com #include <nxt_application.h>
1120Sigor@sysoev.ru 
1220Sigor@sysoev.ru 
13115Sigor@sysoev.ru typedef struct {
14115Sigor@sysoev.ru     nxt_str_t  application_type;
15115Sigor@sysoev.ru     uint32_t   application_workers;
16115Sigor@sysoev.ru } nxt_router_listener_conf_t;
17115Sigor@sysoev.ru 
18115Sigor@sysoev.ru 
1953Sigor@sysoev.ru static nxt_router_temp_conf_t *nxt_router_temp_conf(nxt_task_t *task,
2053Sigor@sysoev.ru     nxt_router_t *router);
2153Sigor@sysoev.ru static void nxt_router_listen_sockets_sort(nxt_router_t *router,
2253Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf);
2353Sigor@sysoev.ru 
24115Sigor@sysoev.ru static nxt_int_t nxt_router_conf_create(nxt_task_t *task,
25115Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf, u_char *start, u_char *end);
2653Sigor@sysoev.ru static nxt_int_t nxt_router_listen_sockets_stub_create(nxt_task_t *task,
2753Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf);
2865Sigor@sysoev.ru static nxt_socket_conf_t *nxt_router_socket_conf(nxt_task_t *task, nxt_mp_t *mp,
2965Sigor@sysoev.ru     nxt_sockaddr_t *sa);
3053Sigor@sysoev.ru 
3153Sigor@sysoev.ru static nxt_int_t nxt_router_engines_create(nxt_task_t *task,
3253Sigor@sysoev.ru     nxt_router_t *router, nxt_router_temp_conf_t *tmcf,
3353Sigor@sysoev.ru     const nxt_event_interface_t *interface);
34115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_conf_create(nxt_router_temp_conf_t *tmcf,
35115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf);
36115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_conf_update(nxt_router_temp_conf_t *tmcf,
37115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf);
38115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_conf_delete(nxt_router_temp_conf_t *tmcf,
39115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf);
40115Sigor@sysoev.ru static void nxt_router_engine_socket_count(nxt_queue_t *sockets);
41115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_joints_create(nxt_mp_t *mp,
4265Sigor@sysoev.ru     nxt_router_engine_conf_t *recf, nxt_queue_t *sockets, nxt_array_t *array,
4365Sigor@sysoev.ru     nxt_work_handler_t handler);
44115Sigor@sysoev.ru static nxt_int_t nxt_router_engine_joints_delete(nxt_router_engine_conf_t *recf,
45115Sigor@sysoev.ru     nxt_queue_t *sockets);
4653Sigor@sysoev.ru 
4753Sigor@sysoev.ru static nxt_int_t nxt_router_threads_create(nxt_task_t *task, nxt_runtime_t *rt,
4853Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf);
4953Sigor@sysoev.ru static nxt_int_t nxt_router_thread_create(nxt_task_t *task, nxt_runtime_t *rt,
5053Sigor@sysoev.ru     nxt_event_engine_t *engine);
5153Sigor@sysoev.ru 
5253Sigor@sysoev.ru static void nxt_router_engines_post(nxt_router_temp_conf_t *tmcf);
5353Sigor@sysoev.ru static void nxt_router_engine_post(nxt_router_engine_conf_t *recf);
5453Sigor@sysoev.ru 
5553Sigor@sysoev.ru static void nxt_router_thread_start(void *data);
5653Sigor@sysoev.ru static void nxt_router_listen_socket_create(nxt_task_t *task, void *obj,
5753Sigor@sysoev.ru     void *data);
5853Sigor@sysoev.ru static void nxt_router_listen_socket_update(nxt_task_t *task, void *obj,
5953Sigor@sysoev.ru     void *data);
6053Sigor@sysoev.ru static void nxt_router_listen_socket_delete(nxt_task_t *task, void *obj,
6153Sigor@sysoev.ru     void *data);
6253Sigor@sysoev.ru static void nxt_router_listen_socket_close(nxt_task_t *task, void *obj,
6353Sigor@sysoev.ru     void *data);
6453Sigor@sysoev.ru static void nxt_router_listen_socket_release(nxt_task_t *task,
6553Sigor@sysoev.ru     nxt_socket_conf_joint_t *joint);
6653Sigor@sysoev.ru static void nxt_router_thread_exit_handler(nxt_task_t *task, void *obj,
6753Sigor@sysoev.ru     void *data);
6853Sigor@sysoev.ru static void nxt_router_conf_release(nxt_task_t *task,
6953Sigor@sysoev.ru     nxt_socket_conf_joint_t *joint);
7053Sigor@sysoev.ru 
7153Sigor@sysoev.ru static void nxt_router_conn_init(nxt_task_t *task, void *obj, void *data);
7253Sigor@sysoev.ru static void nxt_router_conn_http_header_parse(nxt_task_t *task, void *obj,
7353Sigor@sysoev.ru     void *data);
7488Smax.romanov@nginx.com static void nxt_router_process_http_request(nxt_task_t *task,
7588Smax.romanov@nginx.com     nxt_conn_t *c, nxt_app_parse_ctx_t *ap);
7688Smax.romanov@nginx.com static void nxt_router_conn_ready(nxt_task_t *task, void *obj, void *data);
7753Sigor@sysoev.ru static void nxt_router_conn_close(nxt_task_t *task, void *obj, void *data);
7853Sigor@sysoev.ru static void nxt_router_conn_free(nxt_task_t *task, void *obj, void *data);
7953Sigor@sysoev.ru static void nxt_router_conn_error(nxt_task_t *task, void *obj, void *data);
8053Sigor@sysoev.ru static void nxt_router_conn_timeout(nxt_task_t *task, void *obj, void *data);
8162Sigor@sysoev.ru static nxt_msec_t nxt_router_conn_timeout_value(nxt_conn_t *c, uintptr_t data);
8220Sigor@sysoev.ru 
8320Sigor@sysoev.ru 
8420Sigor@sysoev.ru nxt_int_t
8520Sigor@sysoev.ru nxt_router_start(nxt_task_t *task, nxt_runtime_t *rt)
8620Sigor@sysoev.ru {
87115Sigor@sysoev.ru     nxt_int_t     ret;
88115Sigor@sysoev.ru     nxt_router_t  *router;
8953Sigor@sysoev.ru 
9088Smax.romanov@nginx.com     ret = nxt_app_http_init(task, rt);
9188Smax.romanov@nginx.com     if (nxt_slow_path(ret != NXT_OK)) {
9288Smax.romanov@nginx.com         return ret;
9388Smax.romanov@nginx.com     }
9488Smax.romanov@nginx.com 
9553Sigor@sysoev.ru     router = nxt_zalloc(sizeof(nxt_router_t));
9653Sigor@sysoev.ru     if (nxt_slow_path(router == NULL)) {
9753Sigor@sysoev.ru         return NXT_ERROR;
9853Sigor@sysoev.ru     }
9953Sigor@sysoev.ru 
10053Sigor@sysoev.ru     nxt_queue_init(&router->engines);
10153Sigor@sysoev.ru     nxt_queue_init(&router->sockets);
10253Sigor@sysoev.ru 
103115Sigor@sysoev.ru     return NXT_OK;
104115Sigor@sysoev.ru }
105115Sigor@sysoev.ru 
106115Sigor@sysoev.ru 
107115Sigor@sysoev.ru nxt_int_t
108115Sigor@sysoev.ru nxt_router_new_conf(nxt_task_t *task, nxt_runtime_t *rt, nxt_router_t *router,
109115Sigor@sysoev.ru     u_char *start, u_char *end)
110115Sigor@sysoev.ru {
111115Sigor@sysoev.ru     nxt_int_t                    ret;
112115Sigor@sysoev.ru     nxt_router_temp_conf_t       *tmcf;
113115Sigor@sysoev.ru     const nxt_event_interface_t  *interface;
11453Sigor@sysoev.ru 
11553Sigor@sysoev.ru     tmcf = nxt_router_temp_conf(task, router);
11653Sigor@sysoev.ru     if (nxt_slow_path(tmcf == NULL)) {
11720Sigor@sysoev.ru         return NXT_ERROR;
11820Sigor@sysoev.ru     }
11920Sigor@sysoev.ru 
120115Sigor@sysoev.ru     ret = nxt_router_conf_create(task, tmcf, start, end);
12153Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
12253Sigor@sysoev.ru         return ret;
12353Sigor@sysoev.ru     }
12453Sigor@sysoev.ru 
12553Sigor@sysoev.ru     nxt_router_listen_sockets_sort(router, tmcf);
12653Sigor@sysoev.ru 
12753Sigor@sysoev.ru     ret = nxt_router_listen_sockets_stub_create(task, tmcf);
12853Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
12953Sigor@sysoev.ru         return ret;
13053Sigor@sysoev.ru     }
13153Sigor@sysoev.ru 
13253Sigor@sysoev.ru     interface = nxt_service_get(rt->services, "engine", NULL);
13353Sigor@sysoev.ru 
13453Sigor@sysoev.ru     ret = nxt_router_engines_create(task, router, tmcf, interface);
13553Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
13653Sigor@sysoev.ru         return ret;
13753Sigor@sysoev.ru     }
13853Sigor@sysoev.ru 
13953Sigor@sysoev.ru     ret = nxt_router_threads_create(task, rt, tmcf);
14053Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
14153Sigor@sysoev.ru         return ret;
14253Sigor@sysoev.ru     }
14353Sigor@sysoev.ru 
14453Sigor@sysoev.ru     nxt_router_engines_post(tmcf);
14553Sigor@sysoev.ru 
14653Sigor@sysoev.ru     nxt_queue_add(&router->sockets, &tmcf->updating);
14753Sigor@sysoev.ru     nxt_queue_add(&router->sockets, &tmcf->creating);
14853Sigor@sysoev.ru 
149115Sigor@sysoev.ru //    nxt_mp_destroy(tmcf->mem_pool);
150115Sigor@sysoev.ru 
15153Sigor@sysoev.ru     return NXT_OK;
15253Sigor@sysoev.ru }
15353Sigor@sysoev.ru 
15453Sigor@sysoev.ru 
15553Sigor@sysoev.ru static nxt_router_temp_conf_t *
15653Sigor@sysoev.ru nxt_router_temp_conf(nxt_task_t *task, nxt_router_t *router)
15753Sigor@sysoev.ru {
15865Sigor@sysoev.ru     nxt_mp_t                *mp, *tmp;
15953Sigor@sysoev.ru     nxt_router_conf_t       *rtcf;
16053Sigor@sysoev.ru     nxt_router_temp_conf_t  *tmcf;
16153Sigor@sysoev.ru 
16265Sigor@sysoev.ru     mp = nxt_mp_create(1024, 128, 256, 32);
16353Sigor@sysoev.ru     if (nxt_slow_path(mp == NULL)) {
16453Sigor@sysoev.ru         return NULL;
16553Sigor@sysoev.ru     }
16653Sigor@sysoev.ru 
16765Sigor@sysoev.ru     rtcf = nxt_mp_zget(mp, sizeof(nxt_router_conf_t));
16853Sigor@sysoev.ru     if (nxt_slow_path(rtcf == NULL)) {
16953Sigor@sysoev.ru         goto fail;
17053Sigor@sysoev.ru     }
17153Sigor@sysoev.ru 
17253Sigor@sysoev.ru     rtcf->mem_pool = mp;
17353Sigor@sysoev.ru     rtcf->router = router;
17453Sigor@sysoev.ru     rtcf->count = 1;
17553Sigor@sysoev.ru 
17665Sigor@sysoev.ru     tmp = nxt_mp_create(1024, 128, 256, 32);
17753Sigor@sysoev.ru     if (nxt_slow_path(tmp == NULL)) {
17853Sigor@sysoev.ru         goto fail;
17953Sigor@sysoev.ru     }
18053Sigor@sysoev.ru 
18165Sigor@sysoev.ru     tmcf = nxt_mp_zget(tmp, sizeof(nxt_router_temp_conf_t));
18253Sigor@sysoev.ru     if (nxt_slow_path(tmcf == NULL)) {
18353Sigor@sysoev.ru         goto temp_fail;
18453Sigor@sysoev.ru     }
18553Sigor@sysoev.ru 
18653Sigor@sysoev.ru     tmcf->mem_pool = tmp;
18753Sigor@sysoev.ru     tmcf->conf = rtcf;
18853Sigor@sysoev.ru 
18953Sigor@sysoev.ru     tmcf->engines = nxt_array_create(tmcf->mem_pool, 4,
19053Sigor@sysoev.ru                                      sizeof(nxt_router_engine_conf_t));
19153Sigor@sysoev.ru     if (nxt_slow_path(tmcf->engines == NULL)) {
19253Sigor@sysoev.ru         goto temp_fail;
19353Sigor@sysoev.ru     }
19453Sigor@sysoev.ru 
19553Sigor@sysoev.ru     nxt_queue_init(&tmcf->deleting);
19653Sigor@sysoev.ru     nxt_queue_init(&tmcf->keeping);
19753Sigor@sysoev.ru     nxt_queue_init(&tmcf->updating);
19853Sigor@sysoev.ru     nxt_queue_init(&tmcf->pending);
19953Sigor@sysoev.ru     nxt_queue_init(&tmcf->creating);
20053Sigor@sysoev.ru 
20153Sigor@sysoev.ru     return tmcf;
20253Sigor@sysoev.ru 
20353Sigor@sysoev.ru temp_fail:
20453Sigor@sysoev.ru 
20565Sigor@sysoev.ru     nxt_mp_destroy(tmp);
20653Sigor@sysoev.ru 
20753Sigor@sysoev.ru fail:
20853Sigor@sysoev.ru 
20965Sigor@sysoev.ru     nxt_mp_destroy(mp);
21053Sigor@sysoev.ru 
21153Sigor@sysoev.ru     return NULL;
21253Sigor@sysoev.ru }
21353Sigor@sysoev.ru 
21453Sigor@sysoev.ru 
215115Sigor@sysoev.ru static nxt_conf_map_t  nxt_router_conf[] = {
216115Sigor@sysoev.ru     {
217115Sigor@sysoev.ru         nxt_string("threads"),
218115Sigor@sysoev.ru         NXT_CONF_MAP_INT32,
219115Sigor@sysoev.ru         offsetof(nxt_router_conf_t, threads),
220115Sigor@sysoev.ru     },
221115Sigor@sysoev.ru 
222115Sigor@sysoev.ru     {
223115Sigor@sysoev.ru         nxt_null_string, 0, 0,
224115Sigor@sysoev.ru     },
225115Sigor@sysoev.ru };
226115Sigor@sysoev.ru 
227115Sigor@sysoev.ru 
228115Sigor@sysoev.ru static nxt_conf_map_t  nxt_router_listener_conf[] = {
229115Sigor@sysoev.ru     {
230115Sigor@sysoev.ru         nxt_string("_application_type"),
231115Sigor@sysoev.ru         NXT_CONF_MAP_STR,
232115Sigor@sysoev.ru         offsetof(nxt_router_listener_conf_t, application_type),
233115Sigor@sysoev.ru     },
234115Sigor@sysoev.ru 
235115Sigor@sysoev.ru     {
236115Sigor@sysoev.ru         nxt_string("_application_workers"),
237115Sigor@sysoev.ru         NXT_CONF_MAP_INT32,
238115Sigor@sysoev.ru         offsetof(nxt_router_listener_conf_t, application_workers),
239115Sigor@sysoev.ru     },
240115Sigor@sysoev.ru 
241115Sigor@sysoev.ru     {
242115Sigor@sysoev.ru         nxt_null_string, 0, 0,
243115Sigor@sysoev.ru     },
244115Sigor@sysoev.ru };
245115Sigor@sysoev.ru 
246115Sigor@sysoev.ru 
247115Sigor@sysoev.ru static nxt_conf_map_t  nxt_router_http_conf[] = {
248115Sigor@sysoev.ru     {
249115Sigor@sysoev.ru         nxt_string("header_buffer_size"),
250115Sigor@sysoev.ru         NXT_CONF_MAP_SIZE,
251115Sigor@sysoev.ru         offsetof(nxt_socket_conf_t, header_buffer_size),
252115Sigor@sysoev.ru     },
253115Sigor@sysoev.ru 
254115Sigor@sysoev.ru     {
255115Sigor@sysoev.ru         nxt_string("large_header_buffer_size"),
256115Sigor@sysoev.ru         NXT_CONF_MAP_SIZE,
257115Sigor@sysoev.ru         offsetof(nxt_socket_conf_t, large_header_buffer_size),
258115Sigor@sysoev.ru     },
259115Sigor@sysoev.ru 
260115Sigor@sysoev.ru     {
261115Sigor@sysoev.ru         nxt_string("header_read_timeout"),
262115Sigor@sysoev.ru         NXT_CONF_MAP_MSEC,
263115Sigor@sysoev.ru         offsetof(nxt_socket_conf_t, header_read_timeout),
264115Sigor@sysoev.ru     },
265115Sigor@sysoev.ru 
266115Sigor@sysoev.ru     {
267115Sigor@sysoev.ru         nxt_null_string, 0, 0,
268115Sigor@sysoev.ru     },
269115Sigor@sysoev.ru };
270115Sigor@sysoev.ru 
271115Sigor@sysoev.ru 
27253Sigor@sysoev.ru static nxt_int_t
273115Sigor@sysoev.ru nxt_router_conf_create(nxt_task_t *task, nxt_router_temp_conf_t *tmcf,
274115Sigor@sysoev.ru     u_char *start, u_char *end)
27553Sigor@sysoev.ru {
276115Sigor@sysoev.ru     nxt_mp_t                    *mp;
277115Sigor@sysoev.ru     uint32_t                    next;
278115Sigor@sysoev.ru     nxt_int_t                   ret;
279115Sigor@sysoev.ru     nxt_str_t                   name;
280115Sigor@sysoev.ru     nxt_sockaddr_t              *sa;
281115Sigor@sysoev.ru     nxt_conf_value_t            *conf, *listeners, *router, *http, *listener;
282115Sigor@sysoev.ru     nxt_socket_conf_t           *skcf;
283115Sigor@sysoev.ru     nxt_router_listener_conf_t  lscf;
284115Sigor@sysoev.ru 
285115Sigor@sysoev.ru     static nxt_str_t  router_path = nxt_string("/router");
286115Sigor@sysoev.ru     static nxt_str_t  http_path = nxt_string("/http");
287115Sigor@sysoev.ru     static nxt_str_t  listeners_path = nxt_string("/listeners");
288115Sigor@sysoev.ru 
289115Sigor@sysoev.ru     conf = nxt_conf_json_parse(tmcf->mem_pool, start, end);
290115Sigor@sysoev.ru     if (conf == NULL) {
291115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "configuration parsing error");
292115Sigor@sysoev.ru         return NXT_ERROR;
293115Sigor@sysoev.ru     }
294115Sigor@sysoev.ru 
295115Sigor@sysoev.ru     router = nxt_conf_get_path(conf, &router_path);
29653Sigor@sysoev.ru 
297115Sigor@sysoev.ru     if (router == NULL) {
298115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "no \"/router\" block");
299115Sigor@sysoev.ru         return NXT_ERROR;
300115Sigor@sysoev.ru     }
301115Sigor@sysoev.ru 
302115Sigor@sysoev.ru     ret = nxt_conf_map_object(router, nxt_router_conf, tmcf->conf);
303115Sigor@sysoev.ru     if (ret != NXT_OK) {
304115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "router map error");
305115Sigor@sysoev.ru         return NXT_ERROR;
306115Sigor@sysoev.ru     }
307115Sigor@sysoev.ru 
308*117Sigor@sysoev.ru     if (tmcf->conf->threads == 0) {
309*117Sigor@sysoev.ru         tmcf->conf->threads = nxt_ncpu;
310*117Sigor@sysoev.ru     }
311*117Sigor@sysoev.ru 
312115Sigor@sysoev.ru     http = nxt_conf_get_path(conf, &http_path);
313115Sigor@sysoev.ru 
314115Sigor@sysoev.ru     if (http == NULL) {
315115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "no \"/http\" block");
316115Sigor@sysoev.ru         return NXT_ERROR;
317115Sigor@sysoev.ru     }
318115Sigor@sysoev.ru 
319115Sigor@sysoev.ru     listeners = nxt_conf_get_path(conf, &listeners_path);
320115Sigor@sysoev.ru 
321115Sigor@sysoev.ru     if (listeners == NULL) {
322115Sigor@sysoev.ru         nxt_log(task, NXT_LOG_CRIT, "no \"/listeners\" block");
323115Sigor@sysoev.ru         return NXT_ERROR;
324115Sigor@sysoev.ru     }
32553Sigor@sysoev.ru 
32653Sigor@sysoev.ru     mp = tmcf->conf->mem_pool;
32753Sigor@sysoev.ru 
328115Sigor@sysoev.ru     next = 0;
329115Sigor@sysoev.ru 
330115Sigor@sysoev.ru     for ( ;; ) {
331115Sigor@sysoev.ru         listener = nxt_conf_next_object_member(listeners, &name, &next);
332115Sigor@sysoev.ru         if (listener == NULL) {
333115Sigor@sysoev.ru             break;
334115Sigor@sysoev.ru         }
33553Sigor@sysoev.ru 
336115Sigor@sysoev.ru         sa = nxt_sockaddr_parse(mp, &name);
337115Sigor@sysoev.ru         if (sa == NULL) {
338115Sigor@sysoev.ru             nxt_log(task, NXT_LOG_CRIT, "invalid listener \"%V\"", &name);
339115Sigor@sysoev.ru             return NXT_ERROR;
340115Sigor@sysoev.ru         }
341115Sigor@sysoev.ru 
342115Sigor@sysoev.ru         sa->type = SOCK_STREAM;
343115Sigor@sysoev.ru 
344115Sigor@sysoev.ru         nxt_debug(task, "router listener: \"%*s\"",
345115Sigor@sysoev.ru                   sa->length, nxt_sockaddr_start(sa));
34653Sigor@sysoev.ru 
347115Sigor@sysoev.ru         skcf = nxt_router_socket_conf(task, mp, sa);
348115Sigor@sysoev.ru         if (skcf == NULL) {
349115Sigor@sysoev.ru             return NXT_ERROR;
350115Sigor@sysoev.ru         }
35153Sigor@sysoev.ru 
352115Sigor@sysoev.ru         ret = nxt_conf_map_object(listener, nxt_router_listener_conf, &lscf);
353115Sigor@sysoev.ru         if (ret != NXT_OK) {
354115Sigor@sysoev.ru             nxt_log(task, NXT_LOG_CRIT, "listener map error");
355115Sigor@sysoev.ru             return NXT_ERROR;
356115Sigor@sysoev.ru         }
35753Sigor@sysoev.ru 
358115Sigor@sysoev.ru         nxt_debug(task, "router type: %V", &lscf.application_type);
359115Sigor@sysoev.ru         nxt_debug(task, "router workers: %D", lscf.application_workers);
36053Sigor@sysoev.ru 
361115Sigor@sysoev.ru         ret = nxt_conf_map_object(http, nxt_router_http_conf, skcf);
362115Sigor@sysoev.ru         if (ret != NXT_OK) {
363115Sigor@sysoev.ru             nxt_log(task, NXT_LOG_CRIT, "http map error");
364115Sigor@sysoev.ru             return NXT_ERROR;
365115Sigor@sysoev.ru         }
366115Sigor@sysoev.ru 
367115Sigor@sysoev.ru         skcf->listen.handler = nxt_router_conn_init;
368115Sigor@sysoev.ru         skcf->router_conf = tmcf->conf;
369115Sigor@sysoev.ru 
370115Sigor@sysoev.ru         nxt_queue_insert_tail(&tmcf->pending, &skcf->link);
371115Sigor@sysoev.ru     }
37253Sigor@sysoev.ru 
37353Sigor@sysoev.ru     return NXT_OK;
37453Sigor@sysoev.ru }
37553Sigor@sysoev.ru 
37653Sigor@sysoev.ru 
37753Sigor@sysoev.ru static nxt_socket_conf_t *
37865Sigor@sysoev.ru nxt_router_socket_conf(nxt_task_t *task, nxt_mp_t *mp, nxt_sockaddr_t *sa)
37953Sigor@sysoev.ru {
38053Sigor@sysoev.ru     nxt_socket_conf_t  *conf;
38153Sigor@sysoev.ru 
38265Sigor@sysoev.ru     conf = nxt_mp_zget(mp, sizeof(nxt_socket_conf_t));
38353Sigor@sysoev.ru     if (nxt_slow_path(conf == NULL)) {
38453Sigor@sysoev.ru         return NULL;
38553Sigor@sysoev.ru     }
38653Sigor@sysoev.ru 
387115Sigor@sysoev.ru     conf->sockaddr = sa;
388115Sigor@sysoev.ru 
38953Sigor@sysoev.ru     conf->listen.sockaddr = sa;
390103Sigor@sysoev.ru     conf->listen.socklen = sa->socklen;
391103Sigor@sysoev.ru     conf->listen.address_length = sa->length;
39253Sigor@sysoev.ru 
39353Sigor@sysoev.ru     conf->listen.socket = -1;
39453Sigor@sysoev.ru     conf->listen.backlog = NXT_LISTEN_BACKLOG;
39553Sigor@sysoev.ru     conf->listen.flags = NXT_NONBLOCK;
39653Sigor@sysoev.ru     conf->listen.read_after_accept = 1;
39753Sigor@sysoev.ru 
39853Sigor@sysoev.ru     return conf;
39953Sigor@sysoev.ru }
40053Sigor@sysoev.ru 
40153Sigor@sysoev.ru 
40253Sigor@sysoev.ru static void
40353Sigor@sysoev.ru nxt_router_listen_sockets_sort(nxt_router_t *router,
40453Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf)
40553Sigor@sysoev.ru {
40653Sigor@sysoev.ru     nxt_queue_link_t   *nqlk, *oqlk, *next;
40753Sigor@sysoev.ru     nxt_socket_conf_t  *nskcf, *oskcf;
40853Sigor@sysoev.ru 
40953Sigor@sysoev.ru     for (nqlk = nxt_queue_first(&tmcf->pending);
41053Sigor@sysoev.ru          nqlk != nxt_queue_tail(&tmcf->pending);
41153Sigor@sysoev.ru          nqlk = next)
41253Sigor@sysoev.ru     {
41353Sigor@sysoev.ru         next = nxt_queue_next(nqlk);
41453Sigor@sysoev.ru         nskcf = nxt_queue_link_data(nqlk, nxt_socket_conf_t, link);
41553Sigor@sysoev.ru 
41653Sigor@sysoev.ru         for (oqlk = nxt_queue_first(&router->sockets);
41753Sigor@sysoev.ru              oqlk != nxt_queue_tail(&router->sockets);
41853Sigor@sysoev.ru              oqlk = nxt_queue_next(oqlk))
41953Sigor@sysoev.ru         {
42053Sigor@sysoev.ru             oskcf = nxt_queue_link_data(oqlk, nxt_socket_conf_t, link);
42153Sigor@sysoev.ru 
422115Sigor@sysoev.ru             if (nxt_sockaddr_cmp(nskcf->sockaddr, oskcf->sockaddr)) {
423115Sigor@sysoev.ru                 nskcf->socket = oskcf->socket;
424115Sigor@sysoev.ru                 nskcf->listen.socket = oskcf->listen.socket;
425115Sigor@sysoev.ru 
42653Sigor@sysoev.ru                 nxt_queue_remove(oqlk);
42753Sigor@sysoev.ru                 nxt_queue_insert_tail(&tmcf->keeping, oqlk);
42853Sigor@sysoev.ru 
42953Sigor@sysoev.ru                 nxt_queue_remove(nqlk);
43053Sigor@sysoev.ru                 nxt_queue_insert_tail(&tmcf->updating, nqlk);
43153Sigor@sysoev.ru 
43253Sigor@sysoev.ru                 break;
43353Sigor@sysoev.ru             }
43453Sigor@sysoev.ru         }
43553Sigor@sysoev.ru     }
43653Sigor@sysoev.ru 
43753Sigor@sysoev.ru     nxt_queue_add(&tmcf->deleting, &router->sockets);
438115Sigor@sysoev.ru     nxt_queue_init(&router->sockets);
43953Sigor@sysoev.ru }
44053Sigor@sysoev.ru 
44153Sigor@sysoev.ru 
44253Sigor@sysoev.ru static nxt_int_t
44353Sigor@sysoev.ru nxt_router_listen_sockets_stub_create(nxt_task_t *task,
44453Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf)
44553Sigor@sysoev.ru {
446115Sigor@sysoev.ru     nxt_int_t            ret;
447115Sigor@sysoev.ru     nxt_socket_t         s;
448115Sigor@sysoev.ru     nxt_queue_link_t     *qlk, *nqlk;
449115Sigor@sysoev.ru     nxt_socket_conf_t    *skcf;
450115Sigor@sysoev.ru     nxt_router_socket_t  *rtsk;
45153Sigor@sysoev.ru 
45253Sigor@sysoev.ru     for (qlk = nxt_queue_first(&tmcf->pending);
45353Sigor@sysoev.ru          qlk != nxt_queue_tail(&tmcf->pending);
45453Sigor@sysoev.ru          qlk = nqlk)
45553Sigor@sysoev.ru     {
456115Sigor@sysoev.ru         rtsk = nxt_malloc(sizeof(nxt_router_socket_t));
457115Sigor@sysoev.ru         if (nxt_slow_path(rtsk == NULL)) {
45853Sigor@sysoev.ru             return NXT_ERROR;
45953Sigor@sysoev.ru         }
46053Sigor@sysoev.ru 
461115Sigor@sysoev.ru         rtsk->count = 0;
462115Sigor@sysoev.ru 
463115Sigor@sysoev.ru         skcf = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
464115Sigor@sysoev.ru         skcf->socket = rtsk;
465115Sigor@sysoev.ru 
466115Sigor@sysoev.ru         s = nxt_listen_socket_create0(task, skcf->sockaddr, NXT_NONBLOCK);
467115Sigor@sysoev.ru         if (nxt_slow_path(s == -1)) {
468115Sigor@sysoev.ru             return NXT_ERROR;
469115Sigor@sysoev.ru         }
470115Sigor@sysoev.ru 
471115Sigor@sysoev.ru         ret = nxt_listen_socket(task, s, NXT_LISTEN_BACKLOG);
472115Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
473115Sigor@sysoev.ru             return NXT_ERROR;
474115Sigor@sysoev.ru         }
475115Sigor@sysoev.ru 
476115Sigor@sysoev.ru         skcf->listen.socket = s;
477115Sigor@sysoev.ru 
478115Sigor@sysoev.ru         rtsk->fd = s;
479115Sigor@sysoev.ru 
48053Sigor@sysoev.ru         nqlk = nxt_queue_next(qlk);
48153Sigor@sysoev.ru         nxt_queue_remove(qlk);
48253Sigor@sysoev.ru         nxt_queue_insert_tail(&tmcf->creating, qlk);
48353Sigor@sysoev.ru     }
48453Sigor@sysoev.ru 
48553Sigor@sysoev.ru     return NXT_OK;
48653Sigor@sysoev.ru }
48753Sigor@sysoev.ru 
48853Sigor@sysoev.ru 
48953Sigor@sysoev.ru static nxt_int_t
49053Sigor@sysoev.ru nxt_router_engines_create(nxt_task_t *task, nxt_router_t *router,
49153Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf, const nxt_event_interface_t *interface)
49253Sigor@sysoev.ru {
49353Sigor@sysoev.ru     nxt_int_t                 ret;
49453Sigor@sysoev.ru     nxt_uint_t                n, threads;
49553Sigor@sysoev.ru     nxt_queue_link_t          *qlk;
49653Sigor@sysoev.ru     nxt_router_engine_conf_t  *recf;
49753Sigor@sysoev.ru 
49853Sigor@sysoev.ru     threads = tmcf->conf->threads;
49953Sigor@sysoev.ru 
50053Sigor@sysoev.ru     tmcf->engines = nxt_array_create(tmcf->mem_pool, threads,
50153Sigor@sysoev.ru                                      sizeof(nxt_router_engine_conf_t));
50253Sigor@sysoev.ru     if (nxt_slow_path(tmcf->engines == NULL)) {
50353Sigor@sysoev.ru         return NXT_ERROR;
50453Sigor@sysoev.ru     }
50553Sigor@sysoev.ru 
50653Sigor@sysoev.ru     n = 0;
50753Sigor@sysoev.ru 
50853Sigor@sysoev.ru     for (qlk = nxt_queue_first(&router->engines);
50953Sigor@sysoev.ru          qlk != nxt_queue_tail(&router->engines);
51053Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
51153Sigor@sysoev.ru     {
51253Sigor@sysoev.ru         recf = nxt_array_zero_add(tmcf->engines);
51353Sigor@sysoev.ru         if (nxt_slow_path(recf == NULL)) {
51453Sigor@sysoev.ru             return NXT_ERROR;
51553Sigor@sysoev.ru         }
51653Sigor@sysoev.ru 
517115Sigor@sysoev.ru         recf->engine = nxt_queue_link_data(qlk, nxt_event_engine_t, link0);
51853Sigor@sysoev.ru         // STUB
51953Sigor@sysoev.ru         recf->task = recf->engine->task;
52053Sigor@sysoev.ru 
52153Sigor@sysoev.ru         if (n < threads) {
522115Sigor@sysoev.ru             ret = nxt_router_engine_conf_update(tmcf, recf);
52353Sigor@sysoev.ru 
52453Sigor@sysoev.ru         } else {
525115Sigor@sysoev.ru             ret = nxt_router_engine_conf_delete(tmcf, recf);
52653Sigor@sysoev.ru         }
52753Sigor@sysoev.ru 
52853Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
52953Sigor@sysoev.ru             return ret;
53053Sigor@sysoev.ru         }
53153Sigor@sysoev.ru 
53253Sigor@sysoev.ru         n++;
53353Sigor@sysoev.ru     }
53453Sigor@sysoev.ru 
53553Sigor@sysoev.ru     tmcf->new_threads = n;
53653Sigor@sysoev.ru 
53753Sigor@sysoev.ru     while (n < threads) {
53853Sigor@sysoev.ru         recf = nxt_array_zero_add(tmcf->engines);
53953Sigor@sysoev.ru         if (nxt_slow_path(recf == NULL)) {
54053Sigor@sysoev.ru             return NXT_ERROR;
54153Sigor@sysoev.ru         }
54253Sigor@sysoev.ru 
54353Sigor@sysoev.ru         recf->engine = nxt_event_engine_create(task, interface, NULL, 0, 0);
54453Sigor@sysoev.ru         if (nxt_slow_path(recf->engine == NULL)) {
54553Sigor@sysoev.ru             return NXT_ERROR;
54653Sigor@sysoev.ru         }
54753Sigor@sysoev.ru         // STUB
54853Sigor@sysoev.ru         recf->task = recf->engine->task;
54953Sigor@sysoev.ru 
550115Sigor@sysoev.ru         ret = nxt_router_engine_conf_create(tmcf, recf);
55153Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
55253Sigor@sysoev.ru             return ret;
55353Sigor@sysoev.ru         }
55453Sigor@sysoev.ru 
555115Sigor@sysoev.ru         nxt_queue_insert_tail(&router->engines, &recf->engine->link0);
556115Sigor@sysoev.ru 
55753Sigor@sysoev.ru         n++;
55853Sigor@sysoev.ru     }
55953Sigor@sysoev.ru 
56053Sigor@sysoev.ru     return NXT_OK;
56153Sigor@sysoev.ru }
56253Sigor@sysoev.ru 
56353Sigor@sysoev.ru 
56453Sigor@sysoev.ru static nxt_int_t
565115Sigor@sysoev.ru nxt_router_engine_conf_create(nxt_router_temp_conf_t *tmcf,
566115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf)
56753Sigor@sysoev.ru {
568115Sigor@sysoev.ru     nxt_mp_t               *mp;
569115Sigor@sysoev.ru     nxt_int_t              ret;
570115Sigor@sysoev.ru     nxt_thread_spinlock_t  *lock;
57153Sigor@sysoev.ru 
57253Sigor@sysoev.ru     recf->creating = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
57353Sigor@sysoev.ru     if (nxt_slow_path(recf->creating == NULL)) {
57453Sigor@sysoev.ru         return NXT_ERROR;
57553Sigor@sysoev.ru     }
57653Sigor@sysoev.ru 
577115Sigor@sysoev.ru     mp = tmcf->conf->mem_pool;
578115Sigor@sysoev.ru 
579115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->creating,
580115Sigor@sysoev.ru                             recf->creating, nxt_router_listen_socket_create);
581115Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
582115Sigor@sysoev.ru         return ret;
583115Sigor@sysoev.ru     }
584115Sigor@sysoev.ru 
585115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->updating,
58653Sigor@sysoev.ru                             recf->creating, nxt_router_listen_socket_create);
58753Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
58853Sigor@sysoev.ru         return ret;
58953Sigor@sysoev.ru     }
59053Sigor@sysoev.ru 
591115Sigor@sysoev.ru     lock = &tmcf->conf->router->lock;
592115Sigor@sysoev.ru 
593115Sigor@sysoev.ru     nxt_thread_spin_lock(lock);
594115Sigor@sysoev.ru 
595115Sigor@sysoev.ru     nxt_router_engine_socket_count(&tmcf->creating);
596115Sigor@sysoev.ru     nxt_router_engine_socket_count(&tmcf->updating);
597115Sigor@sysoev.ru 
598115Sigor@sysoev.ru     nxt_thread_spin_unlock(lock);
599115Sigor@sysoev.ru 
600115Sigor@sysoev.ru     return ret;
60153Sigor@sysoev.ru }
60253Sigor@sysoev.ru 
60353Sigor@sysoev.ru 
60453Sigor@sysoev.ru static nxt_int_t
605115Sigor@sysoev.ru nxt_router_engine_conf_update(nxt_router_temp_conf_t *tmcf,
606115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf)
60753Sigor@sysoev.ru {
608115Sigor@sysoev.ru     nxt_mp_t               *mp;
609115Sigor@sysoev.ru     nxt_int_t              ret;
610115Sigor@sysoev.ru     nxt_thread_spinlock_t  *lock;
61153Sigor@sysoev.ru 
61253Sigor@sysoev.ru     recf->creating = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
61353Sigor@sysoev.ru     if (nxt_slow_path(recf->creating == NULL)) {
61453Sigor@sysoev.ru         return NXT_ERROR;
61553Sigor@sysoev.ru     }
61653Sigor@sysoev.ru 
617115Sigor@sysoev.ru     mp = tmcf->conf->mem_pool;
618115Sigor@sysoev.ru 
619115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->creating,
62053Sigor@sysoev.ru                             recf->creating, nxt_router_listen_socket_create);
62153Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
62253Sigor@sysoev.ru         return ret;
62353Sigor@sysoev.ru     }
62453Sigor@sysoev.ru 
62553Sigor@sysoev.ru     recf->updating = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
62653Sigor@sysoev.ru     if (nxt_slow_path(recf->updating == NULL)) {
62753Sigor@sysoev.ru         return NXT_ERROR;
62853Sigor@sysoev.ru     }
62953Sigor@sysoev.ru 
630115Sigor@sysoev.ru     ret = nxt_router_engine_joints_create(mp, recf, &tmcf->updating,
63153Sigor@sysoev.ru                             recf->updating, nxt_router_listen_socket_update);
63253Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
63353Sigor@sysoev.ru         return ret;
63453Sigor@sysoev.ru     }
63553Sigor@sysoev.ru 
63653Sigor@sysoev.ru     recf->deleting = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
63753Sigor@sysoev.ru     if (nxt_slow_path(recf->deleting == NULL)) {
63853Sigor@sysoev.ru         return NXT_ERROR;
63953Sigor@sysoev.ru     }
64053Sigor@sysoev.ru 
641115Sigor@sysoev.ru     ret = nxt_router_engine_joints_delete(recf, &tmcf->deleting);
642115Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
643115Sigor@sysoev.ru         return ret;
644115Sigor@sysoev.ru     }
645115Sigor@sysoev.ru 
646115Sigor@sysoev.ru     lock = &tmcf->conf->router->lock;
647115Sigor@sysoev.ru 
648115Sigor@sysoev.ru     nxt_thread_spin_lock(lock);
649115Sigor@sysoev.ru 
650115Sigor@sysoev.ru     nxt_router_engine_socket_count(&tmcf->creating);
651115Sigor@sysoev.ru 
652115Sigor@sysoev.ru     nxt_thread_spin_unlock(lock);
653115Sigor@sysoev.ru 
654115Sigor@sysoev.ru     return ret;
65553Sigor@sysoev.ru }
65653Sigor@sysoev.ru 
65753Sigor@sysoev.ru 
65853Sigor@sysoev.ru static nxt_int_t
659115Sigor@sysoev.ru nxt_router_engine_conf_delete(nxt_router_temp_conf_t *tmcf,
660115Sigor@sysoev.ru     nxt_router_engine_conf_t *recf)
66153Sigor@sysoev.ru {
66253Sigor@sysoev.ru     nxt_int_t  ret;
66353Sigor@sysoev.ru 
66453Sigor@sysoev.ru     recf->deleting = nxt_array_create(tmcf->mem_pool, 4, sizeof(nxt_work_t));
66553Sigor@sysoev.ru     if (nxt_slow_path(recf->deleting == NULL)) {
66653Sigor@sysoev.ru         return NXT_ERROR;
66753Sigor@sysoev.ru     }
66853Sigor@sysoev.ru 
669115Sigor@sysoev.ru     ret = nxt_router_engine_joints_delete(recf, &tmcf->updating);
67053Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
67153Sigor@sysoev.ru         return ret;
67253Sigor@sysoev.ru     }
67353Sigor@sysoev.ru 
674115Sigor@sysoev.ru     return nxt_router_engine_joints_delete(recf, &tmcf->deleting);
67553Sigor@sysoev.ru }
67653Sigor@sysoev.ru 
67753Sigor@sysoev.ru 
67853Sigor@sysoev.ru static nxt_int_t
679115Sigor@sysoev.ru nxt_router_engine_joints_create(nxt_mp_t *mp, nxt_router_engine_conf_t *recf,
680115Sigor@sysoev.ru     nxt_queue_t *sockets, nxt_array_t *array,
68153Sigor@sysoev.ru     nxt_work_handler_t handler)
68253Sigor@sysoev.ru {
68353Sigor@sysoev.ru     nxt_work_t               *work;
68453Sigor@sysoev.ru     nxt_queue_link_t         *qlk;
68553Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint;
68653Sigor@sysoev.ru 
68753Sigor@sysoev.ru     for (qlk = nxt_queue_first(sockets);
68853Sigor@sysoev.ru          qlk != nxt_queue_tail(sockets);
68953Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
69053Sigor@sysoev.ru     {
69153Sigor@sysoev.ru         work = nxt_array_add(array);
69253Sigor@sysoev.ru         if (nxt_slow_path(work == NULL)) {
69353Sigor@sysoev.ru             return NXT_ERROR;
69453Sigor@sysoev.ru         }
69553Sigor@sysoev.ru 
69653Sigor@sysoev.ru         work->next = NULL;
69753Sigor@sysoev.ru         work->handler = handler;
69853Sigor@sysoev.ru         work->task = &recf->task;
69953Sigor@sysoev.ru         work->obj = recf->engine;
70053Sigor@sysoev.ru 
70165Sigor@sysoev.ru         joint = nxt_mp_alloc(mp, sizeof(nxt_socket_conf_joint_t));
70253Sigor@sysoev.ru         if (nxt_slow_path(joint == NULL)) {
70353Sigor@sysoev.ru             return NXT_ERROR;
70453Sigor@sysoev.ru         }
70553Sigor@sysoev.ru 
70653Sigor@sysoev.ru         work->data = joint;
70753Sigor@sysoev.ru 
70853Sigor@sysoev.ru         joint->count = 1;
70953Sigor@sysoev.ru         joint->socket_conf = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
71088Smax.romanov@nginx.com         joint->engine = recf->engine;
711115Sigor@sysoev.ru 
712115Sigor@sysoev.ru         nxt_queue_insert_tail(&joint->engine->joints, &joint->link);
71353Sigor@sysoev.ru     }
71453Sigor@sysoev.ru 
71520Sigor@sysoev.ru     return NXT_OK;
71620Sigor@sysoev.ru }
71720Sigor@sysoev.ru 
71820Sigor@sysoev.ru 
719115Sigor@sysoev.ru static void
720115Sigor@sysoev.ru nxt_router_engine_socket_count(nxt_queue_t *sockets)
721115Sigor@sysoev.ru {
722115Sigor@sysoev.ru     nxt_queue_link_t   *qlk;
723115Sigor@sysoev.ru     nxt_socket_conf_t  *skcf;
724115Sigor@sysoev.ru 
725115Sigor@sysoev.ru     for (qlk = nxt_queue_first(sockets);
726115Sigor@sysoev.ru          qlk != nxt_queue_tail(sockets);
727115Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
728115Sigor@sysoev.ru     {
729115Sigor@sysoev.ru         skcf = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
730115Sigor@sysoev.ru         skcf->socket->count++;
731115Sigor@sysoev.ru     }
732115Sigor@sysoev.ru }
733115Sigor@sysoev.ru 
734115Sigor@sysoev.ru 
73520Sigor@sysoev.ru static nxt_int_t
736115Sigor@sysoev.ru nxt_router_engine_joints_delete(nxt_router_engine_conf_t *recf,
737115Sigor@sysoev.ru     nxt_queue_t *sockets)
73820Sigor@sysoev.ru {
73953Sigor@sysoev.ru     nxt_work_t        *work;
74053Sigor@sysoev.ru     nxt_queue_link_t  *qlk;
74120Sigor@sysoev.ru 
74253Sigor@sysoev.ru     for (qlk = nxt_queue_first(sockets);
74353Sigor@sysoev.ru          qlk != nxt_queue_tail(sockets);
74453Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
74553Sigor@sysoev.ru     {
746115Sigor@sysoev.ru         work = nxt_array_add(recf->deleting);
74753Sigor@sysoev.ru         if (nxt_slow_path(work == NULL)) {
74853Sigor@sysoev.ru             return NXT_ERROR;
74953Sigor@sysoev.ru         }
75020Sigor@sysoev.ru 
75153Sigor@sysoev.ru         work->next = NULL;
75253Sigor@sysoev.ru         work->handler = nxt_router_listen_socket_delete;
75353Sigor@sysoev.ru         work->task = &recf->task;
75453Sigor@sysoev.ru         work->obj = recf->engine;
75553Sigor@sysoev.ru         work->data = nxt_queue_link_data(qlk, nxt_socket_conf_t, link);
75620Sigor@sysoev.ru     }
75720Sigor@sysoev.ru 
75853Sigor@sysoev.ru     return NXT_OK;
75953Sigor@sysoev.ru }
76020Sigor@sysoev.ru 
76120Sigor@sysoev.ru 
76253Sigor@sysoev.ru static nxt_int_t
76353Sigor@sysoev.ru nxt_router_threads_create(nxt_task_t *task, nxt_runtime_t *rt,
76453Sigor@sysoev.ru     nxt_router_temp_conf_t *tmcf)
76553Sigor@sysoev.ru {
76653Sigor@sysoev.ru     nxt_int_t                 ret;
76753Sigor@sysoev.ru     nxt_uint_t                i, threads;
76853Sigor@sysoev.ru     nxt_router_engine_conf_t  *recf;
76920Sigor@sysoev.ru 
77053Sigor@sysoev.ru     recf = tmcf->engines->elts;
77153Sigor@sysoev.ru     threads = tmcf->conf->threads;
77220Sigor@sysoev.ru 
77353Sigor@sysoev.ru     for (i = tmcf->new_threads; i < threads; i++) {
77453Sigor@sysoev.ru         ret = nxt_router_thread_create(task, rt, recf[i].engine);
77553Sigor@sysoev.ru         if (nxt_slow_path(ret != NXT_OK)) {
77653Sigor@sysoev.ru             return ret;
77753Sigor@sysoev.ru         }
77820Sigor@sysoev.ru     }
77920Sigor@sysoev.ru 
78020Sigor@sysoev.ru     return NXT_OK;
78120Sigor@sysoev.ru }
78253Sigor@sysoev.ru 
78353Sigor@sysoev.ru 
78453Sigor@sysoev.ru static nxt_int_t
78553Sigor@sysoev.ru nxt_router_thread_create(nxt_task_t *task, nxt_runtime_t *rt,
78653Sigor@sysoev.ru     nxt_event_engine_t *engine)
78753Sigor@sysoev.ru {
78888Smax.romanov@nginx.com     nxt_mp_t             *mp;
78953Sigor@sysoev.ru     nxt_int_t            ret;
79088Smax.romanov@nginx.com     nxt_port_t           *port;
79188Smax.romanov@nginx.com     nxt_process_t        *process;
79253Sigor@sysoev.ru     nxt_thread_link_t    *link;
79353Sigor@sysoev.ru     nxt_thread_handle_t  handle;
79453Sigor@sysoev.ru 
79553Sigor@sysoev.ru     link = nxt_zalloc(sizeof(nxt_thread_link_t));
79653Sigor@sysoev.ru 
79753Sigor@sysoev.ru     if (nxt_slow_path(link == NULL)) {
79853Sigor@sysoev.ru         return NXT_ERROR;
79953Sigor@sysoev.ru     }
80053Sigor@sysoev.ru 
80153Sigor@sysoev.ru     link->start = nxt_router_thread_start;
80253Sigor@sysoev.ru     link->engine = engine;
80353Sigor@sysoev.ru     link->work.handler = nxt_router_thread_exit_handler;
80453Sigor@sysoev.ru     link->work.task = task;
80553Sigor@sysoev.ru     link->work.data = link;
80653Sigor@sysoev.ru 
80753Sigor@sysoev.ru     nxt_queue_insert_tail(&rt->engines, &engine->link);
80853Sigor@sysoev.ru 
80988Smax.romanov@nginx.com     process = nxt_runtime_process_find(rt, nxt_pid);
81088Smax.romanov@nginx.com     if (nxt_slow_path(process == NULL)) {
81188Smax.romanov@nginx.com         return NXT_ERROR;
81288Smax.romanov@nginx.com     }
81388Smax.romanov@nginx.com 
81488Smax.romanov@nginx.com     port = nxt_process_port_new(process);
81588Smax.romanov@nginx.com     if (nxt_slow_path(port == NULL)) {
81688Smax.romanov@nginx.com         return NXT_ERROR;
81788Smax.romanov@nginx.com     }
81888Smax.romanov@nginx.com 
81988Smax.romanov@nginx.com     ret = nxt_port_socket_init(task, port, 0);
82088Smax.romanov@nginx.com     if (nxt_slow_path(ret != NXT_OK)) {
82188Smax.romanov@nginx.com         return ret;
82288Smax.romanov@nginx.com     }
82388Smax.romanov@nginx.com 
82488Smax.romanov@nginx.com     mp = nxt_mp_create(1024, 128, 256, 32);
82588Smax.romanov@nginx.com     if (nxt_slow_path(mp == NULL)) {
82688Smax.romanov@nginx.com         return NXT_ERROR;
82788Smax.romanov@nginx.com     }
82888Smax.romanov@nginx.com 
82988Smax.romanov@nginx.com     port->mem_pool = mp;
83088Smax.romanov@nginx.com     port->engine = 0;
83188Smax.romanov@nginx.com     port->type = NXT_PROCESS_ROUTER;
83288Smax.romanov@nginx.com 
83388Smax.romanov@nginx.com     engine->port = port;
83488Smax.romanov@nginx.com 
83588Smax.romanov@nginx.com     nxt_runtime_port_add(rt, port);
83688Smax.romanov@nginx.com 
83753Sigor@sysoev.ru     ret = nxt_thread_create(&handle, link);
83853Sigor@sysoev.ru 
83953Sigor@sysoev.ru     if (nxt_slow_path(ret != NXT_OK)) {
84053Sigor@sysoev.ru         nxt_queue_remove(&engine->link);
84153Sigor@sysoev.ru     }
84253Sigor@sysoev.ru 
84353Sigor@sysoev.ru     return ret;
84453Sigor@sysoev.ru }
84553Sigor@sysoev.ru 
84653Sigor@sysoev.ru 
84753Sigor@sysoev.ru static void
84853Sigor@sysoev.ru nxt_router_engines_post(nxt_router_temp_conf_t *tmcf)
84953Sigor@sysoev.ru {
85053Sigor@sysoev.ru     nxt_uint_t                n;
85153Sigor@sysoev.ru     nxt_router_engine_conf_t  *recf;
85253Sigor@sysoev.ru 
85353Sigor@sysoev.ru     recf = tmcf->engines->elts;
85453Sigor@sysoev.ru 
85553Sigor@sysoev.ru     for (n = tmcf->engines->nelts; n != 0; n--) {
85653Sigor@sysoev.ru         nxt_router_engine_post(recf);
85753Sigor@sysoev.ru         recf++;
85853Sigor@sysoev.ru     }
85953Sigor@sysoev.ru }
86053Sigor@sysoev.ru 
86153Sigor@sysoev.ru 
86253Sigor@sysoev.ru static void
86353Sigor@sysoev.ru nxt_router_engine_post(nxt_router_engine_conf_t *recf)
86453Sigor@sysoev.ru {
86553Sigor@sysoev.ru     nxt_uint_t  n;
86653Sigor@sysoev.ru     nxt_work_t  *work;
86753Sigor@sysoev.ru 
868115Sigor@sysoev.ru     if (recf->creating != NULL) {
869115Sigor@sysoev.ru         work = recf->creating->elts;
870115Sigor@sysoev.ru 
871115Sigor@sysoev.ru         for (n = recf->creating->nelts; n != 0; n--) {
872115Sigor@sysoev.ru             nxt_event_engine_post(recf->engine, work);
873115Sigor@sysoev.ru             work++;
874115Sigor@sysoev.ru         }
875115Sigor@sysoev.ru     }
876115Sigor@sysoev.ru 
877115Sigor@sysoev.ru     if (recf->updating != NULL) {
878115Sigor@sysoev.ru         work = recf->updating->elts;
87953Sigor@sysoev.ru 
880115Sigor@sysoev.ru         for (n = recf->updating->nelts; n != 0; n--) {
881115Sigor@sysoev.ru             nxt_event_engine_post(recf->engine, work);
882115Sigor@sysoev.ru             work++;
883115Sigor@sysoev.ru         }
884115Sigor@sysoev.ru     }
885115Sigor@sysoev.ru 
886115Sigor@sysoev.ru     if (recf->deleting != NULL) {
887115Sigor@sysoev.ru         work = recf->deleting->elts;
888115Sigor@sysoev.ru 
889115Sigor@sysoev.ru         for (n = recf->deleting->nelts; n != 0; n--) {
890115Sigor@sysoev.ru             nxt_event_engine_post(recf->engine, work);
891115Sigor@sysoev.ru             work++;
892115Sigor@sysoev.ru         }
89353Sigor@sysoev.ru     }
89453Sigor@sysoev.ru }
89553Sigor@sysoev.ru 
89653Sigor@sysoev.ru 
89753Sigor@sysoev.ru static void
89888Smax.romanov@nginx.com nxt_router_data_handler(nxt_task_t *task, nxt_port_recv_msg_t *msg);
89988Smax.romanov@nginx.com 
90088Smax.romanov@nginx.com nxt_port_handler_t  nxt_router_process_port_handlers[] = {
90188Smax.romanov@nginx.com     NULL,
90288Smax.romanov@nginx.com     nxt_port_new_port_handler,
90388Smax.romanov@nginx.com     nxt_port_change_log_file_handler,
90488Smax.romanov@nginx.com     nxt_port_mmap_handler,
90588Smax.romanov@nginx.com     nxt_router_data_handler,
90688Smax.romanov@nginx.com };
90788Smax.romanov@nginx.com 
90888Smax.romanov@nginx.com 
90988Smax.romanov@nginx.com static void
91053Sigor@sysoev.ru nxt_router_thread_start(void *data)
91153Sigor@sysoev.ru {
91288Smax.romanov@nginx.com     nxt_task_t          *task;
91353Sigor@sysoev.ru     nxt_thread_t        *thread;
91453Sigor@sysoev.ru     nxt_thread_link_t   *link;
91553Sigor@sysoev.ru     nxt_event_engine_t  *engine;
91653Sigor@sysoev.ru 
91753Sigor@sysoev.ru     link = data;
91853Sigor@sysoev.ru     engine = link->engine;
91988Smax.romanov@nginx.com     task = &engine->task;
92053Sigor@sysoev.ru 
92153Sigor@sysoev.ru     thread = nxt_thread();
92253Sigor@sysoev.ru 
92353Sigor@sysoev.ru     /* STUB */
92453Sigor@sysoev.ru     thread->runtime = engine->task.thread->runtime;
92553Sigor@sysoev.ru 
92653Sigor@sysoev.ru     engine->task.thread = thread;
92753Sigor@sysoev.ru     engine->task.log = thread->log;
92853Sigor@sysoev.ru     thread->engine = engine;
92963Sigor@sysoev.ru     thread->task = &engine->task;
93053Sigor@sysoev.ru     thread->fiber = &engine->fibers->fiber;
93153Sigor@sysoev.ru 
93288Smax.romanov@nginx.com     engine->port->socket.task = task;
93388Smax.romanov@nginx.com     nxt_port_create(task, engine->port, nxt_router_process_port_handlers);
93488Smax.romanov@nginx.com 
93563Sigor@sysoev.ru     engine->mem_pool = nxt_mp_create(4096, 128, 1024, 64);
93653Sigor@sysoev.ru 
93753Sigor@sysoev.ru     nxt_event_engine_start(engine);
93853Sigor@sysoev.ru }
93953Sigor@sysoev.ru 
94053Sigor@sysoev.ru 
94153Sigor@sysoev.ru static void
94253Sigor@sysoev.ru nxt_router_listen_socket_create(nxt_task_t *task, void *obj, void *data)
94353Sigor@sysoev.ru {
94453Sigor@sysoev.ru     nxt_listen_event_t       *listen;
94553Sigor@sysoev.ru     nxt_listen_socket_t      *ls;
94653Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint;
94753Sigor@sysoev.ru 
94853Sigor@sysoev.ru     joint = data;
94953Sigor@sysoev.ru 
95053Sigor@sysoev.ru     ls = &joint->socket_conf->listen;
95153Sigor@sysoev.ru 
95253Sigor@sysoev.ru     listen = nxt_listen_event(task, ls);
95353Sigor@sysoev.ru     if (nxt_slow_path(listen == NULL)) {
95453Sigor@sysoev.ru         nxt_router_listen_socket_release(task, joint);
95553Sigor@sysoev.ru         return;
95653Sigor@sysoev.ru     }
95753Sigor@sysoev.ru 
95853Sigor@sysoev.ru     listen->socket.data = joint;
95953Sigor@sysoev.ru }
96053Sigor@sysoev.ru 
96153Sigor@sysoev.ru 
96253Sigor@sysoev.ru nxt_inline nxt_listen_event_t *
96353Sigor@sysoev.ru nxt_router_listen_event(nxt_queue_t *listen_connections,
96453Sigor@sysoev.ru     nxt_socket_conf_t *skcf)
96553Sigor@sysoev.ru {
966115Sigor@sysoev.ru     nxt_socket_t        fd;
967115Sigor@sysoev.ru     nxt_queue_link_t    *qlk;
96853Sigor@sysoev.ru     nxt_listen_event_t  *listen;
96953Sigor@sysoev.ru 
970115Sigor@sysoev.ru     fd = skcf->socket->fd;
97153Sigor@sysoev.ru 
972115Sigor@sysoev.ru     for (qlk = nxt_queue_first(listen_connections);
973115Sigor@sysoev.ru          qlk != nxt_queue_tail(listen_connections);
974115Sigor@sysoev.ru          qlk = nxt_queue_next(qlk))
97553Sigor@sysoev.ru     {
976115Sigor@sysoev.ru         listen = nxt_queue_link_data(qlk, nxt_listen_event_t, link);
97753Sigor@sysoev.ru 
978115Sigor@sysoev.ru         if (fd == listen->socket.fd) {
97953Sigor@sysoev.ru             return listen;
98053Sigor@sysoev.ru         }
98153Sigor@sysoev.ru     }
98253Sigor@sysoev.ru 
98353Sigor@sysoev.ru     return NULL;
98453Sigor@sysoev.ru }
98553Sigor@sysoev.ru 
98653Sigor@sysoev.ru 
98753Sigor@sysoev.ru static void
98853Sigor@sysoev.ru nxt_router_listen_socket_update(nxt_task_t *task, void *obj, void *data)
98953Sigor@sysoev.ru {
99053Sigor@sysoev.ru     nxt_event_engine_t       *engine;
99153Sigor@sysoev.ru     nxt_listen_event_t       *listen;
99253Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint, *old;
99353Sigor@sysoev.ru 
99453Sigor@sysoev.ru     engine = obj;
99553Sigor@sysoev.ru     joint = data;
99653Sigor@sysoev.ru 
99753Sigor@sysoev.ru     listen = nxt_router_listen_event(&engine->listen_connections,
99853Sigor@sysoev.ru                                      joint->socket_conf);
99953Sigor@sysoev.ru 
100053Sigor@sysoev.ru     old = listen->socket.data;
100153Sigor@sysoev.ru     listen->socket.data = joint;
100253Sigor@sysoev.ru 
100353Sigor@sysoev.ru     nxt_router_conf_release(task, old);
100453Sigor@sysoev.ru }
100553Sigor@sysoev.ru 
100653Sigor@sysoev.ru 
100753Sigor@sysoev.ru static void
100853Sigor@sysoev.ru nxt_router_listen_socket_delete(nxt_task_t *task, void *obj, void *data)
100953Sigor@sysoev.ru {
101053Sigor@sysoev.ru     nxt_socket_conf_t   *skcf;
101153Sigor@sysoev.ru     nxt_listen_event_t  *listen;
101253Sigor@sysoev.ru     nxt_event_engine_t  *engine;
101353Sigor@sysoev.ru 
101453Sigor@sysoev.ru     engine = obj;
101553Sigor@sysoev.ru     skcf = data;
101653Sigor@sysoev.ru 
101753Sigor@sysoev.ru     listen = nxt_router_listen_event(&engine->listen_connections, skcf);
101853Sigor@sysoev.ru 
101953Sigor@sysoev.ru     nxt_fd_event_delete(engine, &listen->socket);
102053Sigor@sysoev.ru 
102153Sigor@sysoev.ru     listen->timer.handler = nxt_router_listen_socket_close;
102253Sigor@sysoev.ru     listen->timer.work_queue = &engine->fast_work_queue;
102353Sigor@sysoev.ru 
102453Sigor@sysoev.ru     nxt_timer_add(engine, &listen->timer, 0);
102553Sigor@sysoev.ru }
102653Sigor@sysoev.ru 
102753Sigor@sysoev.ru 
102853Sigor@sysoev.ru static void
102953Sigor@sysoev.ru nxt_router_listen_socket_close(nxt_task_t *task, void *obj, void *data)
103053Sigor@sysoev.ru {
103153Sigor@sysoev.ru     nxt_timer_t              *timer;
103253Sigor@sysoev.ru     nxt_listen_event_t       *listen;
103353Sigor@sysoev.ru     nxt_socket_conf_joint_t  *joint;
103453Sigor@sysoev.ru 
103553Sigor@sysoev.ru     timer = obj;
103653Sigor@sysoev.ru     listen = nxt_timer_data(timer, nxt_listen_event_t, timer);
103753Sigor@sysoev.ru     joint = listen->socket.data;
103853Sigor@sysoev.ru 
103953Sigor@sysoev.ru     nxt_queue_remove(&listen->link);
104053Sigor@sysoev.ru     nxt_free(listen);
104153Sigor@sysoev.ru 
104253Sigor@sysoev.ru     nxt_router_listen_socket_release(task, joint);
104353Sigor@sysoev.ru }
104453Sigor@sysoev.ru 
104553Sigor@sysoev.ru 
104653Sigor@sysoev.ru static void
104753Sigor@sysoev.ru nxt_router_listen_socket_release(nxt_task_t *task,
104853Sigor@sysoev.ru     nxt_socket_conf_joint_t *joint)
104953Sigor@sysoev.ru {
1050115Sigor@sysoev.ru     nxt_router_socket_t    *rtsk;
105153Sigor@sysoev.ru     nxt_thread_spinlock_t  *lock;
105253Sigor@sysoev.ru 
1053115Sigor@sysoev.ru     rtsk = joint->socket_conf->socket;
105453Sigor@sysoev.ru     lock = &joint->socket_conf->router_conf->router->lock;
105553Sigor@sysoev.ru 
105653Sigor@sysoev.ru     nxt_thread_spin_lock(lock);
105753Sigor@sysoev.ru 
1058115Sigor@sysoev.ru     if (--rtsk->count != 0) {
1059115Sigor@sysoev.ru         rtsk = NULL;
106053Sigor@sysoev.ru     }
106153Sigor@sysoev.ru 
106253Sigor@sysoev.ru     nxt_thread_spin_unlock(lock);
1063