10Sigor@sysoev.ru 
20Sigor@sysoev.ru /*
30Sigor@sysoev.ru  * Copyright (C) Igor Sysoev
40Sigor@sysoev.ru  * Copyright (C) NGINX, Inc.
50Sigor@sysoev.ru  */
60Sigor@sysoev.ru 
70Sigor@sysoev.ru #include <nxt_main.h>
80Sigor@sysoev.ru 
90Sigor@sysoev.ru 
100Sigor@sysoev.ru #if (NXT_THREADS)
110Sigor@sysoev.ru 
120Sigor@sysoev.ru typedef struct {
130Sigor@sysoev.ru     nxt_job_t           job;
140Sigor@sysoev.ru     nxt_buf_t           *out;
150Sigor@sysoev.ru     size_t              sent;
160Sigor@sysoev.ru     size_t              limit;
170Sigor@sysoev.ru     nxt_work_handler_t  ready_handler;
180Sigor@sysoev.ru } nxt_job_sendfile_t;
190Sigor@sysoev.ru 
200Sigor@sysoev.ru 
211Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_start(nxt_task_t *task, void *obj,
220Sigor@sysoev.ru     void *data);
231Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_handler(nxt_task_t *task, void *obj,
240Sigor@sysoev.ru     void *data);
251Sigor@sysoev.ru static void nxt_event_conn_job_sendfile_return(nxt_task_t *task, void *obj,
260Sigor@sysoev.ru     void *data);
271Sigor@sysoev.ru static nxt_buf_t *nxt_event_conn_job_sendfile_completion(nxt_task_t *task,
280Sigor@sysoev.ru     nxt_event_conn_t *c, nxt_buf_t *b);
290Sigor@sysoev.ru 
300Sigor@sysoev.ru 
310Sigor@sysoev.ru void
321Sigor@sysoev.ru nxt_event_conn_job_sendfile(nxt_task_t *task, nxt_event_conn_t *c)
330Sigor@sysoev.ru {
3412Sigor@sysoev.ru     nxt_fd_event_disable(task->thread->engine, &c->socket);
350Sigor@sysoev.ru 
360Sigor@sysoev.ru     /* A work item data is not used in nxt_event_conn_job_sendfile_start(). */
371Sigor@sysoev.ru     nxt_event_conn_job_sendfile_start(task, c, NULL);
380Sigor@sysoev.ru }
390Sigor@sysoev.ru 
400Sigor@sysoev.ru 
410Sigor@sysoev.ru static void
421Sigor@sysoev.ru nxt_event_conn_job_sendfile_start(nxt_task_t *task, void *obj, void *data)
430Sigor@sysoev.ru {
440Sigor@sysoev.ru     nxt_iobuf_t             b;
450Sigor@sysoev.ru     nxt_event_conn_t        *c;
460Sigor@sysoev.ru     nxt_job_sendfile_t      *jbs;
470Sigor@sysoev.ru     nxt_sendbuf_coalesce_t  sb;
480Sigor@sysoev.ru 
490Sigor@sysoev.ru     c = obj;
500Sigor@sysoev.ru 
511Sigor@sysoev.ru     nxt_debug(task, "event conn sendfile fd:%d", c->socket.fd);
520Sigor@sysoev.ru 
530Sigor@sysoev.ru     jbs = nxt_job_create(c->mem_pool, sizeof(nxt_job_sendfile_t));
540Sigor@sysoev.ru 
550Sigor@sysoev.ru     if (nxt_slow_path(jbs == NULL)) {
561Sigor@sysoev.ru         c->write_state->error_handler(task, c, NULL);
570Sigor@sysoev.ru         return;
580Sigor@sysoev.ru     }
590Sigor@sysoev.ru 
600Sigor@sysoev.ru     c->socket.write_handler = nxt_event_conn_job_sendfile_start;
610Sigor@sysoev.ru     c->socket.error_handler = c->write_state->error_handler;
620Sigor@sysoev.ru 
630Sigor@sysoev.ru     jbs->job.data = c;
640Sigor@sysoev.ru     nxt_job_set_name(&jbs->job, "job sendfile");
650Sigor@sysoev.ru 
660Sigor@sysoev.ru     jbs->limit = nxt_event_conn_write_limit(c);
670Sigor@sysoev.ru 
680Sigor@sysoev.ru     if (jbs->limit != 0) {
690Sigor@sysoev.ru 
700Sigor@sysoev.ru         sb.buf = c->write;
710Sigor@sysoev.ru         sb.iobuf = &b;
720Sigor@sysoev.ru         sb.nmax = 1;
730Sigor@sysoev.ru         sb.sync = 0;
740Sigor@sysoev.ru         sb.size = 0;
750Sigor@sysoev.ru         sb.limit = jbs->limit;
760Sigor@sysoev.ru 
771Sigor@sysoev.ru         if (nxt_sendbuf_mem_coalesce(c->socket.task, &sb) != 0 || !sb.sync) {
780Sigor@sysoev.ru 
790Sigor@sysoev.ru             jbs->job.thread_pool = c->u.thread_pool;
800Sigor@sysoev.ru             jbs->job.log = c->socket.log;
810Sigor@sysoev.ru             jbs->out = c->write;
820Sigor@sysoev.ru             c->write = NULL;
830Sigor@sysoev.ru             jbs->ready_handler = nxt_event_conn_job_sendfile_return;
840Sigor@sysoev.ru 
850Sigor@sysoev.ru             c->blocked = 1;
860Sigor@sysoev.ru 
871Sigor@sysoev.ru             nxt_job_start(task, &jbs->job, nxt_event_conn_job_sendfile_handler);
880Sigor@sysoev.ru             return;
890Sigor@sysoev.ru         }
900Sigor@sysoev.ru     }
910Sigor@sysoev.ru 
921Sigor@sysoev.ru     nxt_event_conn_job_sendfile_return(task, jbs, c);
930Sigor@sysoev.ru }
940Sigor@sysoev.ru 
950Sigor@sysoev.ru 
960Sigor@sysoev.ru static void
971Sigor@sysoev.ru nxt_event_conn_job_sendfile_handler(nxt_task_t *task, void *obj, void *data)
980Sigor@sysoev.ru {
990Sigor@sysoev.ru     ssize_t             ret;
1000Sigor@sysoev.ru     nxt_buf_t           *b;
1010Sigor@sysoev.ru     nxt_bool_t          first;
1020Sigor@sysoev.ru     nxt_event_conn_t    *c;
1030Sigor@sysoev.ru     nxt_job_sendfile_t  *jbs;
1040Sigor@sysoev.ru 
1050Sigor@sysoev.ru     jbs = obj;
1060Sigor@sysoev.ru     c = data;
1070Sigor@sysoev.ru 
1081Sigor@sysoev.ru     nxt_debug(task, "event conn job sendfile fd:%d", c->socket.fd);
1090Sigor@sysoev.ru 
1100Sigor@sysoev.ru     first = c->socket.write_ready;
1110Sigor@sysoev.ru     b = jbs->out;
1120Sigor@sysoev.ru 
1130Sigor@sysoev.ru     do {
1140Sigor@sysoev.ru         ret = c->io->sendbuf(c, b, jbs->limit);
1150Sigor@sysoev.ru 
1160Sigor@sysoev.ru         if (ret == NXT_AGAIN) {
1170Sigor@sysoev.ru             break;
1180Sigor@sysoev.ru         }
1190Sigor@sysoev.ru 
1200Sigor@sysoev.ru         if (nxt_slow_path(ret == NXT_ERROR)) {
1210Sigor@sysoev.ru             goto done;
1220Sigor@sysoev.ru         }
1230Sigor@sysoev.ru 
1240Sigor@sysoev.ru         jbs->sent += ret;
1250Sigor@sysoev.ru         jbs->limit -= ret;
1260Sigor@sysoev.ru 
1270Sigor@sysoev.ru         b = nxt_sendbuf_update(b, ret);
1280Sigor@sysoev.ru 
1290Sigor@sysoev.ru         if (b == NULL) {
1300Sigor@sysoev.ru             goto done;
1310Sigor@sysoev.ru         }
1320Sigor@sysoev.ru 
1330Sigor@sysoev.ru         if (jbs->limit == 0) {
1340Sigor@sysoev.ru 
1350Sigor@sysoev.ru             if (c->rate == NULL) {
1360Sigor@sysoev.ru                 jbs->limit = c->max_chunk;
1370Sigor@sysoev.ru                 goto fast;
1380Sigor@sysoev.ru             }
1390Sigor@sysoev.ru 
1400Sigor@sysoev.ru             goto done;
1410Sigor@sysoev.ru         }
1420Sigor@sysoev.ru 
1430Sigor@sysoev.ru     } while (c->socket.write_ready);
1440Sigor@sysoev.ru 
1451Sigor@sysoev.ru     if (first && task->thread->thread_pool->work_queue.head != NULL) {
1460Sigor@sysoev.ru         goto fast;
1470Sigor@sysoev.ru     }
1480Sigor@sysoev.ru 
1490Sigor@sysoev.ru done:
1500Sigor@sysoev.ru 
1511Sigor@sysoev.ru     nxt_job_return(task, &jbs->job, jbs->ready_handler);
1520Sigor@sysoev.ru     return;
1530Sigor@sysoev.ru 
1540Sigor@sysoev.ru fast:
1550Sigor@sysoev.ru 
1564Sigor@sysoev.ru     nxt_work_set(&jbs->job.work, nxt_event_conn_job_sendfile_handler,
1574Sigor@sysoev.ru                  jbs->job.task, jbs, c);
1584Sigor@sysoev.ru 
1594Sigor@sysoev.ru     nxt_thread_pool_post(task->thread->thread_pool, &jbs->job.work);
1600Sigor@sysoev.ru }
1610Sigor@sysoev.ru 
1620Sigor@sysoev.ru 
1630Sigor@sysoev.ru static void
1641Sigor@sysoev.ru nxt_event_conn_job_sendfile_return(nxt_task_t *task, void *obj, void *data)
1650Sigor@sysoev.ru {
1660Sigor@sysoev.ru     size_t              sent;
1670Sigor@sysoev.ru     nxt_buf_t           *b;
1680Sigor@sysoev.ru     nxt_bool_t          done;
1690Sigor@sysoev.ru     nxt_event_conn_t    *c;
1700Sigor@sysoev.ru     nxt_job_sendfile_t  *jbs;
1710Sigor@sysoev.ru 
1720Sigor@sysoev.ru     jbs = obj;
1730Sigor@sysoev.ru     c = data;
1740Sigor@sysoev.ru 
1750Sigor@sysoev.ru     c->blocked = 0;
1760Sigor@sysoev.ru 
1770Sigor@sysoev.ru     sent = jbs->sent;
1780Sigor@sysoev.ru     c->sent += sent;
1790Sigor@sysoev.ru 
1801Sigor@sysoev.ru     nxt_debug(task, "event conn sendfile sent:%z", sent);
1810Sigor@sysoev.ru 
1820Sigor@sysoev.ru     b = jbs->out;
1830Sigor@sysoev.ru 
1840Sigor@sysoev.ru     /* The job must be destroyed before connection error handler. */
1850Sigor@sysoev.ru     nxt_job_destroy(jbs);
1860Sigor@sysoev.ru 
1870Sigor@sysoev.ru     if (c->write_state->process_buffers) {
1881Sigor@sysoev.ru         b = nxt_event_conn_job_sendfile_completion(task, c, b);
1890Sigor@sysoev.ru 
1900Sigor@sysoev.ru         done = (b == NULL);
1910Sigor@sysoev.ru 
1920Sigor@sysoev.ru         /* Add data which might be added after sendfile job has started. */
1930Sigor@sysoev.ru         nxt_buf_chain_add(&b, c->write);
1940Sigor@sysoev.ru         c->write = b;
1950Sigor@sysoev.ru 
1960Sigor@sysoev.ru         if (done) {
1970Sigor@sysoev.ru             /* All data has been sent. */
1980Sigor@sysoev.ru 
1990Sigor@sysoev.ru             if (b != NULL) {
2000Sigor@sysoev.ru                 /* But new data has been added. */
2011Sigor@sysoev.ru                 nxt_event_conn_job_sendfile_start(task, c, NULL);
2020Sigor@sysoev.ru             }
2030Sigor@sysoev.ru 
2040Sigor@sysoev.ru             return;
2050Sigor@sysoev.ru         }
2060Sigor@sysoev.ru     }
2070Sigor@sysoev.ru 
2080Sigor@sysoev.ru     if (sent != 0 && c->write_state->autoreset_timer) {
2097Sigor@sysoev.ru         nxt_timer_disable(task->thread->engine, &c->write_timer);
2100Sigor@sysoev.ru     }
2110Sigor@sysoev.ru 
2120Sigor@sysoev.ru     if (c->socket.error == 0
2131Sigor@sysoev.ru         && !nxt_event_conn_write_delayed(task->thread->engine, c, sent))
2140Sigor@sysoev.ru     {
2151Sigor@sysoev.ru         nxt_event_conn_timer(task->thread->engine, c, c->write_state,
2161Sigor@sysoev.ru                              &c->write_timer);
2170Sigor@sysoev.ru 
21812Sigor@sysoev.ru         nxt_fd_event_oneshot_write(task->thread->engine, &c->socket);
2190Sigor@sysoev.ru     }
2200Sigor@sysoev.ru 
2210Sigor@sysoev.ru     if (sent != 0) {
222*13Sigor@sysoev.ru         nxt_work_queue_add(c->write_work_queue, c->write_state->ready_handler,
223*13Sigor@sysoev.ru                            task, c, c->socket.data);
2240Sigor@sysoev.ru         /*
2250Sigor@sysoev.ru          * Fall through if first operations were
2260Sigor@sysoev.ru          * successful but the last one failed.
2270Sigor@sysoev.ru          */
2280Sigor@sysoev.ru     }
2290Sigor@sysoev.ru 
2300Sigor@sysoev.ru     if (nxt_slow_path(c->socket.error != 0)) {
231*13Sigor@sysoev.ru         nxt_work_queue_add(c->write_work_queue, c->write_state->error_handler,
232*13Sigor@sysoev.ru                            task, c, c->socket.data);
2330Sigor@sysoev.ru     }
2340Sigor@sysoev.ru }
2350Sigor@sysoev.ru 
2360Sigor@sysoev.ru 
2370Sigor@sysoev.ru static nxt_buf_t *
2381Sigor@sysoev.ru nxt_event_conn_job_sendfile_completion(nxt_task_t *task, nxt_event_conn_t *c,
2390Sigor@sysoev.ru     nxt_buf_t *b)
2400Sigor@sysoev.ru {
2410Sigor@sysoev.ru     while (b != NULL) {
2420Sigor@sysoev.ru 
2430Sigor@sysoev.ru         nxt_prefetch(b->next);
2440Sigor@sysoev.ru 
2450Sigor@sysoev.ru         if (nxt_buf_is_mem(b) && b->mem.pos != b->mem.free) {
2460Sigor@sysoev.ru             break;
2470Sigor@sysoev.ru 
2480Sigor@sysoev.ru         } else if (nxt_buf_is_file(b) && b->file_pos != b->file_end) {
2490Sigor@sysoev.ru             break;
2500Sigor@sysoev.ru         }
2510Sigor@sysoev.ru 
2524Sigor@sysoev.ru         nxt_work_queue_add(c->write_work_queue,
2534Sigor@sysoev.ru                            b->completion_handler, task, b, b->parent);
2540Sigor@sysoev.ru 
2550Sigor@sysoev.ru         b = b->next;
2560Sigor@sysoev.ru     }
2570Sigor@sysoev.ru 
2580Sigor@sysoev.ru     return b;
2590Sigor@sysoev.ru }
2600Sigor@sysoev.ru 
2610Sigor@sysoev.ru #endif
262