ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/util/rcomb.c
(Generate patch)

Comparing ray/src/util/rcomb.c (file contents):
Revision 2.19 by greg, Mon Jun 3 18:55:51 2024 UTC vs.
Revision 2.22 by greg, Tue Jun 4 22:05:23 2024 UTC

# Line 6 | Line 6 | static const char RCSid[] = "$Id$";
6   *
7   * Multi-processing mode under Unix creates children that each work
8   * on one input row at a time, fed by the original process.  Final conversion
9 < * and output to stdout is sorted by first child while its siblings send it
9 > * and output to stdout is sorted by last child while its siblings send it
10   * their record calculations.
11   */
12  
# Line 62 | Line 62 | SUBPROC                *cproc = NULL;                  /* child process array */
62   int             nchildren = 0;                  /* # of child processes */
63   int             inchild = -1;                   /* our child ID (-1: parent) */
64  
65 < static int      checksymbolic(ROPMAT *rop);
65 > extern int      checksymbolic(ROPMAT *rop);
66  
67 < static int
67 > int
68   split_input(ROPMAT *rop)
69   {
70          if (rop->rmp == &rop->imx && !(rop->rmp = rmx_copy(&rop->imx))) {
# Line 76 | Line 76 | split_input(ROPMAT *rop)
76   }
77  
78   /* Check/set transform based on a reference input file */
79 < static int
79 > int
80   checkreffile(ROPMAT *rop)
81   {
82          static const char       *curRF = NULL;
# Line 139 | Line 139 | checkreffile(ROPMAT *rop)
139   }
140  
141   /* Compute conversion row from spectrum to one channel of RGB */
142 < static void
142 > void
143   rgbrow(ROPMAT *rop, int r, int p)
144   {
145          const int       nc = rop->imx.ncomp;
# Line 156 | Line 156 | rgbrow(ROPMAT *rop, int r, int p)
156   }
157  
158   /* Compute conversion row from spectrum to one channel of XYZ */
159 < static void
159 > void
160   xyzrow(ROPMAT *rop, int r, int p)
161   {
162          const int       nc = rop->imx.ncomp;
# Line 173 | Line 173 | xyzrow(ROPMAT *rop, int r, int p)
173   }
174  
175   /* Use the spectral sensitivity function to compute matrix coefficients */
176 < static void
176 > void
177   sensrow(ROPMAT *rop, int r, double (*sf)(SCOLOR sc, int ncs, const float wlpt[4]))
178   {
179          const int       nc = rop->imx.ncomp;
# Line 188 | Line 188 | sensrow(ROPMAT *rop, int r, double (*sf)(SCOLOR sc, in
188   }
189  
190   /* Check/set symbolic transform */
191 < static int
191 > int
192   checksymbolic(ROPMAT *rop)
193   {
194          const int       nc = rop->imx.ncomp;
# Line 302 | Line 302 | checksymbolic(ROPMAT *rop)
302          return(1);
303   }
304  
305 < static int
305 > int
306   get_component_xfm(ROPMAT *rop)
307   {
308          int     i, j;
# Line 385 | Line 385 | get_component_xfm(ROPMAT *rop)
385          return(1);
386   }
387  
388 < static int
388 > int
389   apply_op(RMATRIX *dst, const RMATRIX *src, const RUNARYOP *ro)
390   {
391          if (ro->clen > 0) {
# Line 404 | Line 404 | apply_op(RMATRIX *dst, const RMATRIX *src, const RUNAR
404          return(1);
405   }
406  
407 < static int
407 > int
408   open_input(ROPMAT *rop)
409   {
410          int     outtype;
# Line 426 | Line 426 | open_input(ROPMAT *rop)
426   }
427  
428   /* Return nominal wavelength associated with input component (return nm) */
429 < static double
429 > double
430   l_wavelength(char *nam)
431   {
432          double  comp = argument(1);
# Line 450 | Line 450 | l_wavelength(char *nam)
450   }
451  
452   /* Return ith input with optional channel selector */
453 < static double
453 > double
454   l_chanin(char *nam)
455   {
456          double  inp = argument(1);
# Line 475 | Line 475 | l_chanin(char *nam)
475          return(mop[mi].rmp->mtx[cur_col*in_ncomp + chan]);
476   }
477  
478 < static int
478 > int
479   initialize(RMATRIX *imp)
480   {
481          int     i;
# Line 522 | Line 522 | initialize(RMATRIX *imp)
522          return(1);
523   }
524  
525 < static void
525 > void
526   output_headinfo(FILE *fp)
527   {
528          int     i;
# Line 545 | Line 545 | output_headinfo(FILE *fp)
545          }
546   }
547  
548 < static void
549 < reset_inputs(void)
550 < {
551 <        int     i = nmats;
552 <
553 <        fpurge(stdin);          /* discard previous matrix input */
554 <        while (i--) {
555 <                if (mop[i].infp != stdin)
556 <                        fclose(mop[i].infp);    /* ! pclose() */
557 <                mop[i].infp = stdin;
558 <                mop[i].imx.dtype = DTdouble;
559 <                mop[i].imx.pflags &= ~RMF_SWAPIN;
560 <        }
561 < }
562 <
563 < static int
548 > int
549   spawned_children(int np)
550   {
566        size_t  recsize = 0;
551          int     i, rv;
552  
553   #if defined(_WIN32) || defined(_WIN64)
# Line 579 | Line 563 | spawned_children(int np)
563                  mop[i].imx.nrows = 1;
564                  if (!rmx_prepare(&mop[i].imx))
565                          goto memerror;
582                recsize += rmx_array_size(&mop[i].imx);
566                  if (mop[i].rmp != &mop[i].imx) {
567                          mop[i].rmp->nrows = 1;
568                          if (!rmx_prepare(mop[i].rmp))
569                                  goto memerror;
570                  }
571          }
572 <                                /* prep output row buffer */
572 >                                /* prep output row buffer(s) */
573          if (mcat || mop[nmats].preop.clen > 0) {
574                  if (!split_input(&mop[nmats]))  /* need separate buffer */
575                          return(0);
576                  if (mop[nmats].preop.clen > 0)
577                          mop[nmats].rmp->ncomp = mop[nmats].preop.clen /
578                                                  mop[nmats].imx.ncomp;
596                mop[nmats].rmp->nrows = 1;
597                if (!mcat | !mcat_last && !rmx_prepare(mop[nmats].rmp))
598                        goto memerror;
579          }
580          mop[nmats].imx.nrows = 1;
581          if (!rmx_prepare(&mop[nmats].imx))
582                  goto memerror;
583 +        if (mop[nmats].rmp != &mop[nmats].imx) {
584 +                mop[nmats].rmp->nrows = 1;
585 +                if (!rmx_prepare(mop[nmats].rmp))
586 +                        goto memerror;
587 +        }
588          if (np <= 1) {          /* single process return */
589   #ifdef getc_unlocked
590                  for (i = 0; i < nmats; i++)
# Line 609 | Line 594 | spawned_children(int np)
594                  return(0);
595          }
596          fflush(stdout);         /* flush header & spawn children */
597 <        nchildren = np+1;
597 >        nchildren = np + 1;     /* extra child to sequence output */
598          cproc = (SUBPROC *)malloc(sizeof(SUBPROC)*nchildren);
599          if (!cproc)
600                  goto memerror;
601 <                                /* first child becomes stdout filter */
602 <        cproc[0].flags = PF_FILT_OUT;
603 <        cproc[0].w = fileno(stdout);
604 <        cproc[0].r = 0;
620 <        cproc[0].pid = -1;
621 <        rv = open_process(&cproc[i], NULL);
622 <        if (rv < 0) {
623 <                perror("fork");
624 <                exit(1);
625 <        }
626 <        if (rv == 0) {          /* loop if first child */
627 <                inchild = 0;
628 <                reset_inputs();
629 <                output_loop();
630 <                _exit(0);
631 <        }
632 <                                /* start other children */
633 <        for (i = 1; (i < nchildren) & (rv > 0); i++) {
634 <                cproc[i].flags = 0;
635 <                cproc[i].w = 1;
636 <                cproc[i].r = 0;
637 <                cproc[i].pid = -1;
601 >        for (i = nchildren; i--; ) cproc[i] = sp_inactive;
602 >        cproc[nchildren-1].flags |= PF_FILT_OUT;
603 >                                /* start each child */
604 >        for (i = 0; i < nchildren; i++) {
605                  rv = open_process(&cproc[i], NULL);
606 +                if (rv <= 0) break;
607          }
608          if (rv < 0) {
609                  perror("fork");
610                  close_processes(cproc, i);
611                  exit(1);
612          }
613 <        if (rv > 0)             /* parent return? */
614 <                return(1);
613 >        if (rv) {               /* are we the parent? */
614 >                i = nchildren-1;        /* last child is sole reader */
615 >                while (i-- > 0) {
616 >                        close(cproc[i].r);
617 >                        cproc[i].r = -1;
618 >                }
619 >                return(1);      /* parent return value */
620 >        }
621          inchild = i;            /* our child index */
622 <        while (--i > 0)         /* don't share siblings' pipes */
622 >        while (i-- > 0)         /* only parent writes siblings */
623                  close(cproc[i].w);
624 <        reset_inputs();
624 >
625 >        if (inchild == nchildren-1)
626 >                return(-1);     /* output process return value */
627 >
628 >        i = inchild;            /* won't read from siblings */
629 >        while (i-- > 0)
630 >                close(cproc[i].r);
631 >        i = nmats;              /* redirect input matrix streams */
632 >        while (i-- > 0) {
633 >                if (mop[i].infp != stdin)
634 >                        fclose(mop[i].infp);    /* ! pclose() */
635 >                mop[i].infp = stdin;
636 >                mop[i].imx.dtype = DTrmx_native;
637 >                mop[i].imx.pflags &= ~RMF_SWAPIN;
638 >        }
639 >        fpurge(stdin);          /* discard any previous matrix input */
640   #ifdef getc_unlocked
641          flockfile(stdin);
642   #endif
643 <        return(0);              /* child return */
643 >        mop[nmats].rmp->dtype = DTrmx_native;
644 >        return(0);              /* worker child return value */
645   memerror:
646          fputs("Out of memory in spawned_children()\n", stderr);
647          exit(1);
648   }
649  
650 < static int
650 > int
651   parent_loop(void)
652   {
653          int     i;
654  
655 <        rmx_reset(&mop[nmats].imx);             /* not doing output side */
656 <        if (mop[nmats].rmp != &mop[nmats].imx)
657 <                rmx_reset(mop[nmats].rmp);
655 >        rmx_reset(&mop[nmats].imx);             /* not touching output side */
656 >        if (mop[nmats].rmp != &mop[nmats].imx) {
657 >                rmx_free(mop[nmats].rmp);
658 >                mop[nmats].rmp = &mop[nmats].imx;
659 >        }
660   #ifdef getc_unlocked
661 <        for (i = 0; i < nmats; i++)
661 >        for (i = 0; i < nmats; i++)             /* we handle matrix inputs */
662                  flockfile(mop[i].infp);
663   #endif
664                                                  /* load & send rows to kids */
665          for (cur_row = 0; (in_nrows <= 0) | (cur_row < in_nrows); cur_row++) {
666 <            int wfd = cproc[1 + cur_row%(nchildren-1)].w;
666 >            int         wfd = cproc[cur_row % (nchildren-1)].w;
667              for (i = 0; i < nmats; i++)
668                  if (!rmx_load_row(mop[i].imx.mtx, &mop[i].imx, mop[i].infp)) {
669                          if (cur_row > in_nrows) /* unknown #input rows? */
670                                  break;
671 <                        fprintf(stderr, "%s: read error at row %d\n",
671 >                        fprintf(stderr, "%s: parent read error at row %d\n",
672                                          mop[i].inspec, cur_row);
673                          return(0);
674                  }
# Line 688 | Line 680 | parent_loop(void)
680                          return(0);
681          }
682          i = close_processes(cproc, nchildren);
683 <        free(cproc); cproc = NULL;
683 >        free(cproc); cproc = NULL; nchildren = 0;
684          if (i < 0) {
685 <                fputs("Warning: missing child in parent_loop()\n", stderr);
685 >                fputs("Warning: lost child in parent_loop()\n", stderr);
686                  return(1);
687          }
688          if (i > 0) {
689                  fprintf(stderr, "Child exited with status %d\n", i);
690                  return(0);
691          }
692 <        return(1);
692 >        return(1);                              /* return success! */
693   memerror:
694          fputs("Out of memory in parent_loop()\n", stderr);
695          exit(1);
696   }
697  
698 < static int
698 > int
699   combine_input(void)
700   {
701 <        const int       row0 = (inchild > 0)*(inchild-1);
702 <        const int       rstep = nchildren + !nchildren;
701 >        const int       row0 = (inchild >= 0)*inchild;
702 >        const int       rstep = nchildren ? nchildren-1 : 1;
703          ROPMAT          *res = &mop[nmats];
704          int             set_r, set_c;
705          RMATRIX         *tmp = NULL;
# Line 783 | Line 775 | combine_input(void)
775                          return(0);
776              }
777              rmx_free(mres); mres = NULL;
786            if (inchild > 0) {          /* children share stdout */
787                i = getc(stdin);        /* signals it's our turn */
788                if (i != EOF) ungetc(i, stdin);
789            }
778              if (!rmx_write_data(res->rmp->mtx, res->rmp->ncomp,
779                                  res->rmp->ncols, res->rmp->dtype, stdout))
780                  return(0);
781 <            if (inchild > 0 && fflush(stdout) == EOF)
781 >            if (inchild >= 0 && fflush(stdout) == EOF)
782                  return(0);
783          }
784 <        return(inchild > 0 || fflush(stdout) != EOF);
784 >        return(inchild >= 0 || fflush(stdout) != EOF);
785   memerror:
786          fputs("Out of buffer space in combine_input()\n", stderr);
787          return(0);
# Line 802 | Line 790 | multerror:
790          return(0);
791   }
792  
793 < static int
793 > int
794 > output_loop(void)
795 > {
796 >        const size_t    row_size = rmx_array_size(mop[nmats].rmp);
797 >        int             i = nmats;
798 >        int             cur_child = 0;
799 >
800 >        if (mop[nmats].rmp != &mop[nmats].imx)          /* output is split? */
801 >                rmx_reset(&mop[nmats].imx);
802 >        while (i-- > 0) {                               /* close input matrices */
803 >                fclose(mop[i].infp);            /* ! pclose() */
804 >                mop[i].infp = NULL;
805 >                rmx_reset(&mop[i].imx);
806 >                if (mop[i].rmp != &mop[i].imx) {
807 >                        rmx_free(mop[i].rmp);
808 >                        mop[i].rmp = &mop[i].imx;
809 >                }
810 >        }
811 > #ifdef getc_unlocked
812 >        flockfile(stdout);                              /* we own this, now */
813 > #endif
814 >        for ( ; ; ) {                                   /* loop until no more */
815 >                ssize_t         rv;
816 >                rv = readbuf(cproc[cur_child].r, mop[nmats].rmp->mtx, row_size);
817 >                if (!rv)                                /* out of rows? */
818 >                        break;
819 >                if (rv != row_size) {
820 >                        fputs("Read error in output loop\n", stderr);
821 >                        return(0);
822 >                }                                       /* do final conversion */
823 >                if (!rmx_write_data(mop[nmats].rmp->mtx, mop[nmats].rmp->ncomp,
824 >                                mop[nmats].rmp->ncols, mop[nmats].rmp->dtype, stdout)) {
825 >                        fputs("Conversion/write error in output loop\n", stderr);
826 >                        return(0);
827 >                }
828 >                cur_child++;
829 >                cur_child *= (cur_child < inchild);
830 >        }
831 >        return(fflush(stdout) != EOF);
832 > }
833 >
834 > int
835   get_factors(double da[], int n, char *av[])
836   {
837          int     ac;
# Line 812 | Line 841 | get_factors(double da[], int n, char *av[])
841          return(ac);
842   }
843  
844 < static void
844 > void
845   resize_inparr(int n2alloc)
846   {
847          int     i;
# Line 1015 | Line 1044 | main(int argc, char *argv[])
1044                  return(1);
1045          }
1046          doptimize(1);                   /* optimize definitions */
1047 <        if (spawned_children(nproc))    /* running in parent process? */
1047 >        i = spawned_children(nproc);    /* create multiple processes if requested */
1048 >        if (i > 0)                      /* running in parent process? */
1049                  return(parent_loop() ? 0 : 1);
1050 <                                        /* process & write rows */
1050 >        if (i < 0)                      /* running in output process? */
1051 >                return(output_loop() ? 0 : 1);
1052 >                                        /* else we are a worker process */
1053          return(combine_input() ? 0 : 1);
1054   stdin_error:
1055          fprintf(stderr, "%s: %s used for more than one input\n",

Diff Legend

Removed lines
+ Added lines
< Changed lines
> Changed lines