ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/rt/rc3.c
(Generate patch)

Comparing ray/src/rt/rc3.c (file contents):
Revision 2.5 by greg, Tue Jun 12 01:06:59 2012 UTC vs.
Revision 2.16 by greg, Fri Jun 22 21:58:45 2012 UTC

# Line 6 | Line 6 | static const char RCSid[] = "$Id$";
6   * Controlling process for multiple children
7   */
8  
9 + #include <signal.h>
10   #include "rcontrib.h"
10 #include "platform.h"
11 #include "rtprocess.h"
11   #include "selcall.h"
12  
13 + #define MAXIQ           (int)(PIPE_BUF/(sizeof(FVECT)*2))
14 +
15   /* Modifier contribution queue (results waiting to be output) */
16   typedef struct s_binq {
17 <        int             ndx;            /* index for this entry */
18 <        int             nadded;         /* accumulated so far */
17 >        RNUMBER         ndx;            /* index for this entry */
18 >        RNUMBER         nadded;         /* accumulated so far */
19          struct s_binq   *next;          /* next in queue */
20          MODCONT         *mca[1];        /* contrib. array (extends struct) */
21   } BINQ;
# Line 22 | Line 23 | typedef struct s_binq {
23   static BINQ     *out_bq = NULL;         /* output bin queue */
24   static BINQ     *free_bq = NULL;        /* free queue entries */
25  
26 < static SUBPROC  kida[MAXPROCESS];       /* child processes */
27 < static FILE     *inq_fp[MAXPROCESS];    /* input streams */
26 > static struct {
27 >        RNUMBER r1;                     /* assigned ray starting index */
28 >        SUBPROC pr;                     /* PID, i/o descriptors */
29 >        FILE    *infp;                  /* file pointer to read from process */
30 >        int     nr;                     /* number of rays to sum (0 if free) */
31 > } kida[MAXPROCESS];             /* our child processes */
32  
33  
34   /* Get new bin queue entry */
# Line 37 | Line 42 | new_binq()
42                  bp = free_bq;
43                  free_bq = bp->next;
44                  bp->next = NULL;
45 <                bp->nadded = 1;
45 >                bp->nadded = 0;
46                  return(bp);
47          }
48                                          /* else allocate fresh */
# Line 54 | Line 59 | new_binq()
59                  /* memset(bp->mca[i]->cbin, 0, sizeof(DCOLOR)*mp->nbins); */
60          }
61          bp->ndx = 0;
62 <        bp->nadded = 1;
62 >        bp->nadded = 0;
63          bp->next = NULL;
64          return(bp);
65   memerr:
# Line 90 | Line 95 | free_binq(BINQ *bp)
95  
96  
97   /* Add modifier values to accumulation record in queue and clear */
98 < void
98 > static void
99   queue_modifiers()
100   {
101          MODCONT *mpin, *mpout;
# Line 142 | Line 147 | queue_output(BINQ *bp)
147                  }
148                  return;
149          }
150 <        b_last = NULL;                  /* else insert in output queue */
150 >        b_last = NULL;                  /* insert in output queue */
151          for (b_cur = out_bq; b_cur != NULL && b_cur->ndx < bp->ndx;
152                                  b_cur = b_cur->next)
153                  b_last = b_cur;
# Line 180 | Line 185 | queue_ready()
185          int     nready = 0;
186          BINQ    *bp;
187  
183        if (accumulate <= 0)            /* just accumulating? */
184                return(0);
185
188          for (bp = out_bq; bp != NULL && bp->nadded >= accumulate &&
189                                  bp->ndx == lastdone+nready*accumulate+1;
190                                  bp = bp->next)
# Line 199 | Line 201 | output_catchup(int nmax)
201          int     nout = 0;
202          BINQ    *bp;
203          int     i;
204 <
203 <        if (accumulate <= 0)            /* just accumulating? */
204 <                return(0);
205 <                                        /* else output ready results */
204 >                                        /* output ready results */
205          while (out_bq != NULL && out_bq->nadded >= accumulate
206                                  && out_bq->ndx == lastdone+1) {
207                  if ((nmax > 0) & (nout >= nmax))
# Line 231 | Line 230 | put_zero_record(int ndx)
230          for (i = nmods; i--; )
231                  memset(bp->mca[i]->cbin, 0, sizeof(DCOLOR)*bp->mca[i]->nbins);
232          bp->ndx = ndx;
233 +        bp->nadded = 1;
234          queue_output(bp);
235          output_catchup(0);
236   }
237  
238  
239 + /* Get results from child process and add to queue */
240 + static void
241 + queue_results(int k)
242 + {
243 +        BINQ    *bq = new_binq();       /* get results holder */
244 +        int     j;
245 +
246 +        bq->ndx = kida[k].r1;
247 +        bq->nadded = kida[k].nr;
248 +                                        /* read from child */
249 +        for (j = 0; j < nmods; j++)
250 +                if (fread(bq->mca[j]->cbin, sizeof(DCOLOR), bq->mca[j]->nbins,
251 +                                        kida[k].infp) != bq->mca[j]->nbins)
252 +                        error(SYSTEM, "read error from render process");
253 +                        
254 +        queue_output(bq);               /* put results in output queue */
255 +        kida[k].nr = 0;                 /* mark child as available */
256 + }
257 +
258 +
259   /* callback to set output spec to NULL (stdout) */
260   static int
261   set_stdout(const LUENT *le, void *p)
# Line 249 | Line 269 | set_stdout(const LUENT *le, void *p)
269   int
270   in_rchild()
271   {
272 < #ifdef _WIN32
273 <        error(WARNING, "multiprocessing unsupported -- running solo");
274 <        nproc = 1;
255 <        return(1);
256 < #else
257 <                                        /* try to fork ourselves */
258 <        while (nchild < nproc) {
259 <                int     p0[2], p1[2];
260 <                int     pid;
261 <                                        /* prepare i/o pipes */
272 >        int     rval;
273 >
274 >        while (nchild < nproc) {        /* fork until target reached */
275                  errno = 0;
276 <                if (pipe(p0) < 0 || pipe(p1) < 0)
277 <                        error(SYSTEM, "pipe() call failed!");
278 <                pid = fork();           /* fork parent process */
279 <                if (pid == 0) {         /* if in child, set up & return true */
267 <                        close(p0[1]); close(p1[0]);
276 >                rval = open_process(&kida[nchild].pr, NULL);
277 >                if (rval < 0)
278 >                        error(SYSTEM, "open_process() call failed");
279 >                if (rval == 0) {        /* if in child, set up & return true */
280                          lu_doall(&modconttab, set_stdout, NULL);
281                          lu_done(&ofiletab);
282                          while (nchild--) {      /* don't share other pipes */
283 <                                close(kida[nchild].w);
284 <                                fclose(inq_fp[nchild]);
283 >                                close(kida[nchild].pr.w);
284 >                                fclose(kida[nchild].infp);
285                          }
274                        dup2(p0[0], 0); close(p0[0]);
275                        dup2(p1[1], 1); close(p1[1]);
286                          inpfmt = (sizeof(RREAL)==sizeof(double)) ? 'd' : 'f';
287                          outfmt = 'd';
288                          header = 0;
279                        waitflush = xres = 1;
289                          yres = 0;
290                          raysleft = 0;
291 <                        account = accumulate = 1;
292 <                        return(1);      /* child return value */
291 >                        if (accumulate == 1) {
292 >                                waitflush = xres = 1;
293 >                                account = accumulate = 1;
294 >                        } else {        /* parent controls accumulation */
295 >                                waitflush = xres = 0;
296 >                                account = accumulate = 0;
297 >                        }
298 >                        return(1);      /* return "true" in child */
299                  }
300 <                if (pid < 0)
301 <                        error(SYSTEM, "fork() call failed!");
302 <                                        /* connect parent's pipes */
303 <                close(p0[0]); close(p1[1]);
304 <                kida[nchild].r = p1[0];
290 <                kida[nchild].w = p0[1];
291 <                kida[nchild].pid = pid;
292 <                kida[nchild].running = -1;
293 <                inq_fp[nchild] = fdopen(p1[0], "rb");
294 <                if (inq_fp[nchild] == NULL)
300 >                if (rval != PIPE_BUF)
301 >                        error(CONSISTENCY, "bad value from open_process()");
302 >                                        /* connect to child's output */
303 >                kida[nchild].infp = fdopen(kida[nchild].pr.r, "rb");
304 >                if (kida[nchild].infp == NULL)
305                          error(SYSTEM, "out of memory in in_rchild()");
306   #ifdef getc_unlocked
307 <                flockfile(inq_fp[nchild]);      /* avoid mutex overhead */
307 >                flockfile(kida[nchild].infp);   /* avoid mutex overhead */
308   #endif
309 <                ++nchild;
309 >                kida[nchild++].nr = 0;  /* mark as available */
310          }
311 <        return(0);                      /* parent return value */
302 < #endif
311 >        return(0);                      /* return "false" in parent */
312   }
313  
314  
315   /* Close child processes */
316   void
317 < end_children()
317 > end_children(int immed)
318   {
319          int     status;
320          
321          while (nchild > 0) {
322                  nchild--;
323 <                kida[nchild].r = -1;    /* close(-1) error is ignored */
324 <                if ((status = close_process(&kida[nchild])) > 0) {
323 > #ifdef SIGKILL
324 >                if (immed)              /* error mode -- quick exit */
325 >                        kill(kida[nchild].pr.pid, SIGKILL);
326 > #endif
327 >                if ((status = close_process(&kida[nchild].pr)) > 0 && !immed) {
328                          sprintf(errmsg,
329                                  "rendering process returned bad status (%d)",
330                                          status);
331                          error(WARNING, errmsg);
332                  }
333 <                fclose(inq_fp[nchild]); /* performs actual close() */
333 >                fclose(kida[nchild].infp);
334          }
335   }
336  
# Line 330 | Line 342 | next_child_nq(int flushing)
342          static struct timeval   polling;
343          struct timeval          *pmode;
344          fd_set                  readset, errset;
345 <        int                     i, j, n, nr, nqr;
345 >        int                     i, n, nr, nqr;
346  
347          if (!flushing)                  /* see if there's one free */
348                  for (i = nchild; i--; )
349 <                        if (kida[i].running < 0)
349 >                        if (!kida[i].nr)
350                                  return(i);
351  
352          nqr = queue_ready();            /* choose blocking mode or polling */
# Line 352 | Line 364 | tryagain:                              /* catch up with output? */
364          FD_ZERO(&readset); FD_ZERO(&errset);
365          n = nr = 0;
366          for (i = nchild; i--; ) {
367 <                if (kida[i].running > 0) {
368 <                        FD_SET(kida[i].r, &readset);
367 >                if (kida[i].nr) {
368 >                        FD_SET(kida[i].pr.r, &readset);
369                          ++nr;
370                  }
371 <                FD_SET(kida[i].r, &errset);
372 <                if (kida[i].r >= n)
373 <                        n = kida[i].r + 1;
371 >                FD_SET(kida[i].pr.r, &errset);
372 >                if (kida[i].pr.r >= n)
373 >                        n = kida[i].pr.r + 1;
374          }
375          if (!nr)                        /* nothing to wait for? */
376                  return(-1);
# Line 375 | Line 387 | tryagain:                              /* catch up with output? */
387                  FD_ZERO(&errset);
388          n = -1;                         /* read results from child(ren) */
389          for (i = nchild; i--; ) {
390 <                BINQ    *bq;
379 <                if (FD_ISSET(kida[i].r, &errset))
390 >                if (FD_ISSET(kida[i].pr.r, &errset))
391                          error(USER, "rendering process died");
392 <                if (!FD_ISSET(kida[i].r, &readset))
393 <                        continue;
383 <                bq = new_binq();        /* get results holder */
384 <                bq->ndx = kida[i].running;
385 <                                        /* read from child */
386 <                for (j = 0; j < nmods; j++) {
387 <                        nr = bq->mca[j]->nbins;
388 <                        if (fread(bq->mca[j]->cbin, sizeof(DCOLOR), nr,
389 <                                                        inq_fp[i]) != nr)
390 <                                error(SYSTEM, "read error from render process");
391 <                }
392 <                queue_output(bq);       /* add results to output queue */
393 <                kida[i].running = -1;   /* mark child as available */
394 <                n = i;
392 >                if (FD_ISSET(kida[i].pr.r, &readset))
393 >                        queue_results(n = i);
394          }
395          return(n);                      /* first available child */
396   }
# Line 402 | Line 401 | void
401   parental_loop()
402   {
403          static int      ignore_warning_given = 0;
404 <        FVECT           orgdir[2];
405 <        double          d;
406 <        int             i;
404 >        int             qlimit = (accumulate == 1) ? 1 : MAXIQ-1;
405 >        int             ninq = 0;
406 >        FVECT           orgdir[2*MAXIQ];
407 >        int             i, n;
408                                          /* load rays from stdin & process */
409   #ifdef getc_unlocked
410          flockfile(stdin);               /* avoid lock/unlock overhead */
411   #endif
412 <        while (getvec(orgdir[0]) == 0 && getvec(orgdir[1]) == 0) {
413 <                d = normalize(orgdir[1]);
414 <                                                        /* asking for flush? */
415 <                if ((d == 0.0) & (accumulate != 1)) {
416 <                        if (!ignore_warning_given++)
417 <                                error(WARNING,
412 >        while (getvec(orgdir[2*ninq]) == 0 && getvec(orgdir[2*ninq+1]) == 0) {
413 >                if (orgdir[2*ninq+1][0] == 0.0 &&       /* asking for flush? */
414 >                                (orgdir[2*ninq+1][1] == 0.0) &
415 >                                (orgdir[2*ninq+1][2] == 0.0)) {
416 >                        if (accumulate != 1) {
417 >                                if (!ignore_warning_given++)
418 >                                        error(WARNING,
419                                  "dummy ray(s) ignored during accumulation\n");
420 <                        continue;
421 <                }
421 <                if ((d == 0.0) | (lastray+1 < lastray)) {
420 >                                continue;
421 >                        }
422                          while (next_child_nq(1) >= 0)
423                                  ;                       /* clear the queue */
424                          lastdone = lastray = 0;
425                }
426                if (d == 0.0) {
425                          if ((yres <= 0) | (xres <= 0))
426                                  waitflush = 1;          /* flush next */
427                          put_zero_record(++lastray);
428 <                } else {                                /* else assign ray */
428 >                } else if (++ninq >= qlimit ||
429 >                            lastray/accumulate != (lastray+ninq)/accumulate) {
430                          i = next_child_nq(0);           /* manages output */
431 <                        if (writebuf(kida[i].w, (char *)orgdir,
432 <                                        sizeof(orgdir)) != sizeof(orgdir))
431 >                        n = ninq;
432 >                        if (accumulate != 1)            /* request flush? */
433 >                                memset(orgdir[2*n++], 0, sizeof(FVECT)*2);
434 >                        n *= sizeof(FVECT)*2;           /* send assignment */
435 >                        if (writebuf(kida[i].pr.w, (char *)orgdir, n) != n)
436                                  error(SYSTEM, "pipe write error");
437 <                        kida[i].running = ++lastray;    /* busy now */
437 >                        kida[i].r1 = lastray+1;
438 >                        lastray += kida[i].nr = ninq;   /* mark as busy */
439 >                        ninq = 0;
440 >                        if (lastray < lastdone) {       /* RNUMBER wrapped? */
441 >                                while (next_child_nq(1) >= 0)
442 >                                        ;
443 >                                lastdone = lastray = 0;
444 >                        }
445                  }
446                  if (raysleft && !--raysleft)
447                          break;                          /* preemptive EOI */
448          }
449          while (next_child_nq(1) >= 0)           /* empty results queue */
450                  ;
451 <                                                /* output accumulated record */
452 <        if (accumulate <= 0 || account < accumulate) {
453 <                end_children();                 /* frees up file descriptors */
445 <                if (account < accumulate) {
446 <                        error(WARNING, "partial accumulation in final record");
447 <                        accumulate -= account;
448 <                }
449 <                for (i = 0; i < nmods; i++)
450 <                        mod_output(out_bq->mca[i]);
451 <                end_record();
452 <                free_binq(out_bq);
451 >        if (account < accumulate) {
452 >                error(WARNING, "partial accumulation in final record");
453 >                free_binq(out_bq);              /* XXX just ignore it */
454                  out_bq = NULL;
455          }
456 +        free_binq(NULL);                        /* clean up */
457 +        lu_done(&ofiletab);
458          if (raysleft)
459                  error(USER, "unexpected EOF on input");
460 <        free_binq(NULL);                        /* clean up */
460 > }
461 >
462 >
463 > /* Wait for the next available child by monitoring "to" pipes */
464 > static int
465 > next_child_ready()
466 > {
467 >        fd_set                  writeset, errset;
468 >        int                     i, n;
469 >
470 >        for (i = nchild; i--; )         /* see if there's one free first */
471 >                if (!kida[i].nr)
472 >                        return(i);
473 >                                        /* prepare select() call */
474 >        FD_ZERO(&writeset); FD_ZERO(&errset);
475 >        n = 0;
476 >        for (i = nchild; i--; ) {
477 >                FD_SET(kida[i].pr.w, &writeset);
478 >                FD_SET(kida[i].pr.r, &errset);
479 >                if (kida[i].pr.w >= n)
480 >                        n = kida[i].pr.w + 1;
481 >                if (kida[i].pr.r >= n)
482 >                        n = kida[i].pr.r + 1;
483 >        }
484 >        errno = 0;
485 >        n = select(n, NULL, &writeset, &errset, NULL);
486 >        if (n < 0)
487 >                error(SYSTEM, "select() error in next_child_ready()");
488 >        n = -1;                         /* identify waiting child */
489 >        for (i = nchild; i--; ) {
490 >                if (FD_ISSET(kida[i].pr.r, &errset))
491 >                        error(USER, "rendering process died");
492 >                if (FD_ISSET(kida[i].pr.w, &writeset))
493 >                        kida[n = i].nr = 0;
494 >        }
495 >        return(n);                      /* first available child */
496 > }
497 >
498 >
499 > /* Modified parental loop for full accumulation mode (-c 0) */
500 > void
501 > feeder_loop()
502 > {
503 >        static int      ignore_warning_given = 0;
504 >        int             ninq = 0;
505 >        FVECT           orgdir[2*MAXIQ];
506 >        int             i, n;
507 >                                        /* load rays from stdin & process */
508 > #ifdef getc_unlocked
509 >        flockfile(stdin);               /* avoid lock/unlock overhead */
510 > #endif
511 >        while (getvec(orgdir[2*ninq]) == 0 && getvec(orgdir[2*ninq+1]) == 0) {
512 >                if (orgdir[2*ninq+1][0] == 0.0 &&       /* asking for flush? */
513 >                                (orgdir[2*ninq+1][1] == 0.0) &
514 >                                (orgdir[2*ninq+1][2] == 0.0)) {
515 >                        if (!ignore_warning_given++)
516 >                                error(WARNING,
517 >                                "dummy ray(s) ignored during accumulation\n");
518 >                        continue;
519 >                }
520 >                if (++ninq >= MAXIQ) {
521 >                        i = next_child_ready();         /* get eager child */
522 >                        n = sizeof(FVECT)*2 * ninq;     /* give assignment */
523 >                        if (writebuf(kida[i].pr.w, (char *)orgdir, n) != n)
524 >                                error(SYSTEM, "pipe write error");
525 >                        kida[i].r1 = lastray+1;
526 >                        lastray += kida[i].nr = ninq;
527 >                        ninq = 0;
528 >                        if (lastray < lastdone)         /* RNUMBER wrapped? */
529 >                                lastdone = lastray = 0;
530 >                }
531 >                if (raysleft && !--raysleft)
532 >                        break;                          /* preemptive EOI */
533 >        }
534 >        if (ninq) {                             /* polish off input */
535 >                i = next_child_ready();
536 >                n = sizeof(FVECT)*2 * ninq;
537 >                if (writebuf(kida[i].pr.w, (char *)orgdir, n) != n)
538 >                        error(SYSTEM, "pipe write error");
539 >                kida[i].r1 = lastray+1;
540 >                lastray += kida[i].nr = ninq;
541 >                ninq = 0;
542 >        }
543 >        memset(orgdir, 0, sizeof(FVECT)*2);     /* get results */
544 >        for (i = nchild; i--; ) {
545 >                writebuf(kida[i].pr.w, (char *)orgdir, sizeof(FVECT)*2);
546 >                queue_results(i);
547 >        }
548 >        if (recover)                            /* and from before? */
549 >                queue_modifiers();
550 >        end_children(0);                        /* free up file descriptors */
551 >        for (i = 0; i < nmods; i++)
552 >                mod_output(out_bq->mca[i]);     /* output accumulated record */
553 >        end_record();
554 >        free_binq(out_bq);                      /* clean up */
555 >        out_bq = NULL;
556 >        free_binq(NULL);
557          lu_done(&ofiletab);
558 +        if (raysleft)
559 +                error(USER, "unexpected EOF on input");
560   }

Diff Legend

Removed lines
+ Added lines
< Changed lines
> Changed lines