ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/radiance/ray/src/util/rcollate.c
(Generate patch)

Comparing ray/src/util/rcollate.c (file contents):
Revision 2.6 by greg, Mon Nov 18 18:07:16 2013 UTC vs.
Revision 2.22 by greg, Fri Mar 4 00:21:21 2016 UTC

# Line 11 | Line 11 | static const char RCSid[] = "$Id$";
11   #include "platform.h"
12   #include "rtio.h"
13   #include "resolu.h"
14 < #ifndef _WIN32
14 > #ifdef _WIN32
15 > #undef ftello
16 > #define ftello  ftell
17 > #undef ssize_t
18 > #define ssize_t size_t
19 > #else
20   #include <sys/mman.h>
21   #endif
22  
18 – #ifdef getc_unlocked            /* avoid horrendous overhead of flockfile */
19 – #undef getc
20 – #undef putc
21 – #define getc    getc_unlocked
22 – #define putc    putc_unlocked
23 – #endif
24 –
23   typedef struct {
24          void    *base;          /* pointer to base memory */
25          size_t  len;            /* allocated memory length */
# Line 52 | Line 50 | free_load(MEMLOAD *mp)
50          mp->len = 0;
51   }
52  
53 + /* load memory from an input stream, starting from current position */
54 + static int
55 + load_stream(MEMLOAD *mp, FILE *fp)
56 + {
57 +        size_t  alloced = 0;
58 +        char    buf[8192];
59 +        size_t  nr;
60 +
61 +        if (mp == NULL)
62 +                return(-1);
63 +        mp->base = NULL;
64 +        mp->len = 0;
65 +        mp->mapped = 0;
66 +        if (fp == NULL)
67 +                return(-1);
68 +        while ((nr = fread(buf, 1, sizeof(buf), fp)) > 0) {
69 +                if (!alloced)
70 +                        mp->base = malloc(alloced = nr);
71 +                else if (mp->len+nr > alloced)
72 +                        mp->base = realloc(mp->base,
73 +                                alloced = alloced*(2+(nr==sizeof(buf)))/2+nr);
74 +                if (mp->base == NULL)
75 +                        return(-1);
76 +                memcpy((char *)mp->base + mp->len, buf, nr);
77 +                mp->len += nr;
78 +        }
79 +        if (ferror(fp)) {
80 +                free_load(mp);
81 +                return(-1);
82 +        }
83 +        if (alloced > mp->len*5/4)      /* don't waste too much space */
84 +                mp->base = realloc(mp->base, mp->len);
85 +        return(mp->len > 0);
86 + }
87 +
88   /* load a file into memory */
89   static int
90   load_file(MEMLOAD *mp, FILE *fp)
# Line 59 | Line 92 | load_file(MEMLOAD *mp, FILE *fp)
92          int     fd;
93          off_t   skip, flen;
94  
95 + #ifdef _WIN32                           /* too difficult to fix this */
96 +        return load_stream(mp, fp);
97 + #endif
98          if (mp == NULL)
99                  return(-1);
100          mp->base = NULL;
# Line 94 | Line 130 | load_file(MEMLOAD *mp, FILE *fp)
130          return(1);
131   }
132  
97 – /* load memory from an input stream, starting from current position */
98 – static int
99 – load_stream(MEMLOAD *mp, FILE *fp)
100 – {
101 –        char    buf[8192];
102 –        size_t  nr;
103 –
104 –        if (mp == NULL)
105 –                return(-1);
106 –        mp->base = NULL;
107 –        mp->len = 0;
108 –        mp->mapped = 0;
109 –        if (fp == NULL)
110 –                return(-1);
111 –        while ((nr = fread(buf, 1, sizeof(buf), fp)) > 0) {
112 –                if (!mp->len)
113 –                        mp->base = malloc(nr);
114 –                else
115 –                        mp->base = realloc(mp->base, mp->len+nr);
116 –                if (mp->base == NULL)
117 –                        return(-1);
118 –                memcpy((char *)mp->base + mp->len, buf, nr);
119 –                mp->len += nr;
120 –        }
121 –        if (ferror(fp)) {
122 –                free_load(mp);
123 –                return(-1);
124 –        }
125 –        return(mp->len > 0);
126 – }
127 –
133   /* free a record index */
134   #define free_records(rp)        free(rp)
135  
# Line 228 | Line 233 | output_stream(FILE *fp)
233  
234          if (fp == NULL)
235                  return(0);
236 <        fflush(stdout);                 /* assumes nothing in input buffer */
237 <        while ((n = read(fileno(fp), buf, sizeof(buf))) > 0)
236 >        fflush(stdout);
237 >        while ((n = fread(buf, 1, sizeof(buf), fp)) > 0)
238                  if (write(fileno(stdout), buf, n) != n)
239                          return(0);
240 <        return(n >= 0);
240 >        return(!ferror(fp));
241   }
242  
243   /* get next word from stream, leaving stream on EOL or start of next word */
# Line 258 | Line 263 | fget_word(char buf[256], FILE *fp)
263          return(buf);
264   }
265  
266 < char            *fmtid = "ascii";               /* format id */
267 < int             record_width = 3;               /* words/record (<0 binary) */
266 > char            *fmtid = NULL;                  /* format id */
267 > int             comp_size = 0;                  /* binary bytes/channel */
268 > int             n_comp = 0;                     /* components/record */
269   int             ni_columns = 0;                 /* number of input columns */
270   int             ni_rows = 0;                    /* number of input rows */
271   int             no_columns = 0;                 /* number of output columns */
272   int             no_rows = 0;                    /* number of output rows */
273 + int             transpose = 0;                  /* transpose rows & cols? */
274 + int             i_header = 1;                   /* input header? */
275 + int             o_header = 1;                   /* output header? */
276  
277 + /* check settings and assign defaults */
278 + static int
279 + check_sizes()
280 + {
281 +        if (fmtid == NULL) {
282 +                fmtid = "ascii";
283 +        } else if (!comp_size) {
284 +                if (!strcmp(fmtid, "float"))
285 +                        comp_size = sizeof(float);
286 +                else if (!strcmp(fmtid, "double"))
287 +                        comp_size = sizeof(double);
288 +                else if (!strcmp(fmtid, "byte"))
289 +                        comp_size = 1;
290 +                else if (strcmp(fmtid, "ascii")) {
291 +                        fprintf(stderr, "Unsupported format: %s\n", fmtid);
292 +                        return(0);
293 +                }
294 +        }
295 +        if (transpose && (no_rows <= 0) & (no_columns <= 0)) {
296 +                if (ni_rows > 0) no_columns = ni_rows;
297 +                if (ni_columns > 0) no_rows = ni_columns;
298 +        } else if ((no_rows <= 0) & (no_columns > 0) &&
299 +                        !((ni_rows*ni_columns) % no_columns))
300 +                no_rows = ni_rows*ni_columns/no_columns;
301 +        if (n_comp <= 0)
302 +                n_comp = 3;
303 +        return(1);
304 + }
305 +
306   /* output transposed ASCII or binary data from memory */
307   static int
308   do_transpose(const MEMLOAD *mp)
# Line 279 | Line 317 | do_transpose(const MEMLOAD *mp)
317          if (ni_columns <= 0)
318                  ni_columns = no_rows;
319                                                  /* get # records (& index) */
320 <        if (record_width > 0) {
321 <                if ((rp = index_records(mp, record_width)) == NULL)
320 >        if (!comp_size) {
321 >                if ((rp = index_records(mp, n_comp)) == NULL)
322                          return(0);
323                  if (ni_columns <= 0)
324                          ni_columns = count_columns(rp);
325                  nrecords = rp->nrecs;
326          } else if ((ni_rows > 0) & (ni_columns > 0)) {
327                  nrecords = ni_rows*ni_columns;
328 <                if (nrecords > mp->len / -record_width) {
328 >                if (nrecords > mp->len/(n_comp*comp_size)) {
329                          fprintf(stderr,
330                              "Input too small for specified size and type\n");
331                          return(0);
332                  }
333          } else
334 <                nrecords = mp->len / -record_width;
334 >                nrecords = mp->len/(n_comp*comp_size);
335                                                  /* check sizes */
336          if ((ni_rows <= 0) & (ni_columns > 0))
337                  ni_rows = nrecords/ni_columns;
# Line 315 | Line 353 | do_transpose(const MEMLOAD *mp)
353                          putc(tabEOL[j >= no_columns-1], stdout);
354                  } else {                        /* binary output */
355                          fwrite((char *)mp->base +
356 <                                        -record_width*(j*ni_columns + i),
357 <                                        -record_width, 1, stdout);
356 >                                        (n_comp*comp_size)*(j*ni_columns + i),
357 >                                        n_comp*comp_size, 1, stdout);
358                  }
359              if (ferror(stdout)) {
360                  fprintf(stderr, "Error writing to stdout\n");
# Line 339 | Line 377 | do_resize(FILE *fp)
377          int     columns2go = no_columns;
378          char    word[256];
379                                                  /* sanity checks */
380 <        if (record_width <= 0) {
381 <                fprintf(stderr, "Bad call to do_resize (record_width = %d)\n",
344 <                                record_width);
345 <                return(0);
346 <        }
380 >        if (comp_size || (no_columns == ni_columns) & (no_rows == ni_rows))
381 >                return(output_stream(fp));      /* no-op -- just copy */
382          if (no_columns <= 0) {
383                  fprintf(stderr, "Missing -oc specification\n");
384                  return(0);
# Line 359 | Line 394 | do_resize(FILE *fp)
394          do {                                    /* reshape records */
395                  int     n;
396  
397 <                for (n = record_width; n--; ) {
397 >                for (n = n_comp; n--; ) {
398                          if (fget_word(word, fp) == NULL) {
399 <                                if (records2go > 0 || n < record_width-1)
399 >                                if (records2go > 0 || n < n_comp-1)
400                                          break;
401                                  goto done;      /* normal EOD */
402                          }
# Line 396 | Line 431 | done:
431   static int
432   headline(char *s, void *p)
433   {
434 <        char    fmt[32];
434 >        static char     fmt[32];
435 >        int             n;
436  
437          if (formatval(fmt, s)) {
438 +                if (fmtid == NULL) {
439 +                        fmtid = fmt;
440 +                        return(0);
441 +                }
442                  if (!strcmp(fmt, fmtid))
443                          return(0);
444                  fprintf(stderr, "Input format '%s' != '%s'\n", fmt, fmtid);
445                  return(-1);
446          }
447 <        fputs(s, stdout);                       /* copy header info. */
447 >        if (!strncmp(s, "NROWS=", 6)) {
448 >                n = atoi(s+6);
449 >                if ((ni_rows > 0) & (n != ni_rows)) {
450 >                        fputs("Incorrect input row count\n", stderr);
451 >                        return(-1);
452 >                }
453 >                ni_rows = n;
454 >                return(0);
455 >        }
456 >        if (!strncmp(s, "NCOLS=", 6)) {
457 >                n = atoi(s+6);
458 >                if ((ni_columns > 0) & (n != ni_columns)) {
459 >                        fputs("Incorrect input column count\n", stderr);
460 >                        return(-1);
461 >                }
462 >                ni_columns = n;
463 >                return(0);
464 >        }
465 >        if (!strncmp(s, "NCOMP=", 6)) {
466 >                n = atoi(s+6);
467 >                if ((n_comp > 0) & (n != n_comp)) {
468 >                        fputs("Incorrect number of components\n", stderr);
469 >                        return(-1);
470 >                }
471 >                n_comp = n;
472 >                return(0);
473 >        }
474 >        if (o_header)
475 >                fputs(s, stdout);               /* copy header info. */
476          return(0);
477   }
478  
# Line 412 | Line 480 | headline(char *s, void *p)
480   int
481   main(int argc, char *argv[])
482   {
483 <        int     do_header = 1;                  /* header i/o? */
416 <        int     transpose = 0;                  /* transpose rows & cols? */
417 <        int     i;
483 >        int     a;
484  
485 <        for (i = 1; i < argc && argv[i][0] == '-'; i++)
486 <                switch (argv[i][1]) {
485 >        for (a = 1; a < argc && argv[a][0] == '-'; a++)
486 >                switch (argv[a][1]) {
487                  case 'i':                       /* input */
488 <                        if (argv[i][2] == 'c')  /* columns */
489 <                                ni_columns = atoi(argv[++i]);
490 <                        else if (argv[i][2] == 'r')
491 <                                ni_rows = atoi(argv[++i]);
488 >                        if (argv[a][2] == 'c')  /* columns */
489 >                                ni_columns = atoi(argv[++a]);
490 >                        else if (argv[a][2] == 'r')
491 >                                ni_rows = atoi(argv[++a]);
492                          else
493                                  goto userr;
494                          break;
495                  case 'o':                       /* output */
496 <                        if (argv[i][2] == 'c')  /* columns */
497 <                                no_columns = atoi(argv[++i]);
498 <                        else if (argv[i][2] == 'r')
499 <                                no_rows = atoi(argv[++i]);
496 >                        if (argv[a][2] == 'c')  /* columns */
497 >                                no_columns = atoi(argv[++a]);
498 >                        else if (argv[a][2] == 'r')
499 >                                no_rows = atoi(argv[++a]);
500                          else
501                                  goto userr;
502                          break;
503 <                case 'h':                       /* header on/off */
504 <                        do_header = !do_header;
503 >                case 'h':                       /* turn off header */
504 >                        switch (argv[a][2]) {
505 >                        case 'i':
506 >                                i_header = 0;
507 >                                break;
508 >                        case 'o':
509 >                                o_header = 0;
510 >                                break;
511 >                        case '\0':
512 >                                i_header = o_header = 0;
513 >                                break;
514 >                        default:
515 >                                goto userr;
516 >                        }
517                          break;
518                  case 't':                       /* transpose on/off */
519                          transpose = !transpose;
520                          break;
521                  case 'f':                       /* format */
522 <                        switch (argv[i][2]) {
522 >                        switch (argv[a][2]) {
523                          case 'a':               /* ASCII */
524                          case 'A':
525                                  fmtid = "ascii";
526 <                                record_width = 1;
526 >                                comp_size = 0;
527                                  break;
528                          case 'f':               /* float */
529                          case 'F':
530                                  fmtid = "float";
531 <                                record_width = -(int)sizeof(float);
531 >                                comp_size = sizeof(float);
532                                  break;
533                          case 'd':               /* double */
534                          case 'D':
535                                  fmtid = "double";
536 <                                record_width = -(int)sizeof(double);
536 >                                comp_size = sizeof(double);
537                                  break;
538                          case 'b':               /* binary (bytes) */
539                          case 'B':
540                                  fmtid = "byte";
541 <                                record_width = -1;
541 >                                comp_size = 1;
542                                  break;
543                          default:
544                                  goto userr;
545                          }
546 <                        if (argv[i][3]) {
547 <                                if (!isdigit(argv[i][3]))
546 >                        if (argv[a][3]) {
547 >                                if (!isdigit(argv[a][3]))
548                                          goto userr;
549 <                                record_width *= atoi(argv[i]+3);
550 <                        }
549 >                                n_comp = atoi(argv[a]+3);
550 >                        } else
551 >                                n_comp = 1;
552                          break;
553                  case 'w':                       /* warnings on/off */
554                          warnings = !warnings;
# Line 477 | Line 556 | main(int argc, char *argv[])
556                  default:
557                          goto userr;
558                  }
559 <        if (!record_width)
559 >        if (a < argc-1)                         /* arg count OK? */
560                  goto userr;
482 –        if (i < argc-1)                         /* arg count OK? */
483 –                goto userr;
561                                                  /* open input file? */
562 <        if (i == argc-1 && freopen(argv[i], "r", stdin) == NULL) {
563 <                fprintf(stderr, "%s: cannot open for reading\n", argv[i]);
562 >        if (a == argc-1 && freopen(argv[a], "r", stdin) == NULL) {
563 >                fprintf(stderr, "%s: cannot open for reading\n", argv[a]);
564                  return(1);
565          }
566 <        if (record_width < 0) {
566 >        if (comp_size) {
567                  SET_FILE_BINARY(stdin);
568                  SET_FILE_BINARY(stdout);
569          }
570                                                  /* check for no-op */
571 <        if (!transpose && (record_width < 0 ||
572 <                        (no_columns == ni_columns) & (no_rows == ni_rows))) {
571 >        if (!transpose & (i_header == o_header) &&
572 >                        (no_columns == ni_columns) & (no_rows == ni_rows)) {
573                  if (warnings)
574                          fprintf(stderr, "%s: no-op -- copying input verbatim\n",
575                                  argv[0]);
# Line 500 | Line 577 | main(int argc, char *argv[])
577                          return(1);
578                  return(0);
579          }
580 <        if (do_header) {                        /* read/write header */
581 <                if (getheader(stdin, &headline, NULL) < 0)
580 >        if (i_header) {                         /* read header */
581 >                if (getheader(stdin, headline, NULL) < 0)
582                          return(1);
583 <                printargs(argc, argv, stdout);
583 >                if (!check_sizes())
584 >                        return(1);
585 >                if (comp_size) {                /* a little late... */
586 >                        SET_FILE_BINARY(stdin);
587 >                        SET_FILE_BINARY(stdout);
588 >                }
589 >        } else if (!check_sizes())
590 >                return(1);
591 >        if (o_header) {                         /* write header */
592 >                printargs(a, argv, stdout);
593 >                if (no_rows > 0)
594 >                        printf("NROWS=%d\n", no_rows);
595 >                if (no_columns > 0)
596 >                        printf("NCOLS=%d\n", no_columns);
597 >                printf("NCOMP=%d\n", n_comp);
598                  fputformat(fmtid, stdout);
599                  fputc('\n', stdout);            /* finish new header */
600          }
601          if (transpose) {                        /* transposing rows & columns? */
602 <                MEMLOAD myMem;                  /* need to load into memory */
603 <                if (i == argc-1) {
602 >                MEMLOAD myMem;                  /* need to map into memory */
603 >                if (a == argc-1) {
604                          if (load_file(&myMem, stdin) <= 0) {
605                                  fprintf(stderr, "%s: error loading file into memory\n",
606 <                                                argv[i]);
606 >                                                argv[a]);
607                                  return(1);
608                          }
609                  } else if (load_stream(&myMem, stdin) <= 0) {
# Line 522 | Line 613 | main(int argc, char *argv[])
613                  }
614                  if (!do_transpose(&myMem))
615                          return(1);
616 <                /* free_load(&myMem); */
617 <        } else if (!do_resize(stdin))           /* just reshaping input */
616 >                /* free_load(&myMem);   about to exit, so don't bother */
617 >        } else if (!do_resize(stdin))           /* reshaping input */
618                  return(1);
619          return(0);
620   userr:
621          fprintf(stderr,
622 < "Usage: %s [-h][-w][-f[afdb][N]][-t][-ic in_col][-ir in_row][-oc out_col][-or out_row] [input.dat]\n",
622 > "Usage: %s [-h[io]][-w][-f[afdb][N]][-t][-ic in_col][-ir in_row][-oc out_col][-or out_row] [input.dat]\n",
623                          argv[0]);
624          return(1);
625   }

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines