ViewVC Help
View File | Revision Log | Show Annotations | Download File | Root Listing
root/Development/ray/src/util/rcollate.c
(Generate patch)

Comparing ray/src/util/rcollate.c (file contents):
Revision 2.3 by greg, Thu Sep 5 18:47:12 2013 UTC vs.
Revision 2.21 by greg, Tue Jun 16 20:35:56 2015 UTC

# Line 6 | Line 6 | static const char RCSid[] = "$Id$";
6   */
7  
8   #include <stdlib.h>
9 – #include <unistd.h>
9   #include <string.h>
10   #include <ctype.h>
11   #include "platform.h"
12   #include "rtio.h"
13   #include "resolu.h"
14 < #ifndef _WIN32
14 > #ifdef _WIN32
15 > #undef ftello
16 > #define ftello  ftell
17 > #undef ssize_t
18 > #define ssize_t size_t
19 > #else
20   #include <sys/mman.h>
21   #endif
22  
# Line 35 | Line 39 | typedef struct {
39          char    *rec[1];        /* record array (extends struct) */
40   } RECINDEX;
41  
42 + int             warnings = 1;   /* report warnings? */
43 +
44   /* free loaded file */
45   static void
46   free_load(MEMLOAD *mp)
# Line 51 | Line 57 | free_load(MEMLOAD *mp)
57          mp->len = 0;
58   }
59  
60 + /* load memory from an input stream, starting from current position */
61 + static int
62 + load_stream(MEMLOAD *mp, FILE *fp)
63 + {
64 +        size_t  alloced = 0;
65 +        char    buf[8192];
66 +        size_t  nr;
67 +
68 +        if (mp == NULL)
69 +                return(-1);
70 +        mp->base = NULL;
71 +        mp->len = 0;
72 +        mp->mapped = 0;
73 +        if (fp == NULL)
74 +                return(-1);
75 +        while ((nr = fread(buf, 1, sizeof(buf), fp)) > 0) {
76 +                if (!alloced)
77 +                        mp->base = malloc(alloced = nr);
78 +                else if (mp->len+nr > alloced)
79 +                        mp->base = realloc(mp->base,
80 +                                alloced = alloced*(2+(nr==sizeof(buf)))/2+nr);
81 +                if (mp->base == NULL)
82 +                        return(-1);
83 +                memcpy((char *)mp->base + mp->len, buf, nr);
84 +                mp->len += nr;
85 +        }
86 +        if (ferror(fp)) {
87 +                free_load(mp);
88 +                return(-1);
89 +        }
90 +        if (alloced > mp->len*5/4)      /* don't waste too much space */
91 +                mp->base = realloc(mp->base, mp->len);
92 +        return(mp->len > 0);
93 + }
94 +
95   /* load a file into memory */
96   static int
97   load_file(MEMLOAD *mp, FILE *fp)
# Line 58 | Line 99 | load_file(MEMLOAD *mp, FILE *fp)
99          int     fd;
100          off_t   skip, flen;
101  
102 + #ifdef _WIN32                           /* too difficult to fix this */
103 +        return load_stream(mp, fp);
104 + #endif
105          if (mp == NULL)
106                  return(-1);
107          mp->base = NULL;
# Line 93 | Line 137 | load_file(MEMLOAD *mp, FILE *fp)
137          return(1);
138   }
139  
96 – /* load memory from an input stream, starting from current position */
97 – static int
98 – load_stream(MEMLOAD *mp, FILE *fp)
99 – {
100 –        char    buf[8192];
101 –        size_t  nr;
102 –
103 –        if (mp == NULL)
104 –                return(-1);
105 –        mp->base = NULL;
106 –        mp->len = 0;
107 –        mp->mapped = 0;
108 –        if (fp == NULL)
109 –                return(-1);
110 –        while ((nr = fread(buf, 1, sizeof(buf), fp)) > 0) {
111 –                if (!mp->len)
112 –                        mp->base = malloc(nr);
113 –                else
114 –                        mp->base = realloc(mp->base, mp->len+nr);
115 –                if (mp->base == NULL)
116 –                        return(-1);
117 –                memcpy((char *)mp->base + mp->len, buf, nr);
118 –                mp->len += nr;
119 –        }
120 –        if (ferror(fp)) {
121 –                free_load(mp);
122 –                return(-1);
123 –        }
124 –        return(mp->len > 0);
125 – }
126 –
140   /* free a record index */
141   #define free_records(rp)        free(rp)
142  
# Line 227 | Line 240 | output_stream(FILE *fp)
240  
241          if (fp == NULL)
242                  return(0);
243 <        fflush(stdout);                 /* assumes nothing in input buffer */
244 <        while ((n = read(fileno(fp), buf, sizeof(buf))) > 0)
243 >        fflush(stdout);
244 >        while ((n = fread(buf, 1, sizeof(buf), fp)) > 0)
245                  if (write(fileno(stdout), buf, n) != n)
246                          return(0);
247 <        return(n >= 0);
247 >        return(!ferror(fp));
248   }
249  
250   /* get next word from stream, leaving stream on EOL or start of next word */
# Line 257 | Line 270 | fget_word(char buf[256], FILE *fp)
270          return(buf);
271   }
272  
273 < char            *fmtid = "ascii";               /* format id */
274 < int             record_width = 3;               /* words/record (<0 binary) */
273 > char            *fmtid = NULL;                  /* format id */
274 > int             comp_size = 0;                  /* binary bytes/channel */
275 > int             n_comp = 0;                     /* components/record */
276   int             ni_columns = 0;                 /* number of input columns */
277   int             ni_rows = 0;                    /* number of input rows */
278   int             no_columns = 0;                 /* number of output columns */
279   int             no_rows = 0;                    /* number of output rows */
280 + int             transpose = 0;                  /* transpose rows & cols? */
281 + int             i_header = 1;                   /* input header? */
282 + int             o_header = 1;                   /* output header? */
283  
284 + /* check settings and assign defaults */
285 + static int
286 + check_sizes()
287 + {
288 +        if (fmtid == NULL) {
289 +                fmtid = "ascii";
290 +        } else if (!comp_size) {
291 +                if (!strcmp(fmtid, "float"))
292 +                        comp_size = sizeof(float);
293 +                else if (!strcmp(fmtid, "double"))
294 +                        comp_size = sizeof(double);
295 +                else if (!strcmp(fmtid, "byte"))
296 +                        comp_size = 1;
297 +                else if (strcmp(fmtid, "ascii")) {
298 +                        fprintf(stderr, "Unsupported format: %s\n", fmtid);
299 +                        return(0);
300 +                }
301 +        }
302 +        if (transpose && (no_rows <= 0) & (no_columns <= 0)) {
303 +                if (ni_rows > 0) no_columns = ni_rows;
304 +                if (ni_columns > 0) no_rows = ni_columns;
305 +        } else if ((no_rows <= 0) & (no_columns > 0) &&
306 +                        !((ni_rows*ni_columns) % no_columns))
307 +                no_rows = ni_rows*ni_columns/no_columns;
308 +        if (n_comp <= 0)
309 +                n_comp = 3;
310 +        return(1);
311 + }
312 +
313   /* output transposed ASCII or binary data from memory */
314   static int
315   do_transpose(const MEMLOAD *mp)
# Line 272 | Line 318 | do_transpose(const MEMLOAD *mp)
318          RECINDEX                *rp = NULL;
319          long                    nrecords;
320          int                     i, j;
321 +                                                /* propogate sizes */
322 +        if (ni_rows <= 0)
323 +                ni_rows = no_columns;
324 +        if (ni_columns <= 0)
325 +                ni_columns = no_rows;
326                                                  /* get # records (& index) */
327 <        if (record_width > 0) {
328 <                if ((rp = index_records(mp, record_width)) == NULL)
327 >        if (!comp_size) {
328 >                if ((rp = index_records(mp, n_comp)) == NULL)
329                          return(0);
330                  if (ni_columns <= 0)
331                          ni_columns = count_columns(rp);
332                  nrecords = rp->nrecs;
333          } else if ((ni_rows > 0) & (ni_columns > 0)) {
334                  nrecords = ni_rows*ni_columns;
335 <                if (nrecords > mp->len / -record_width) {
335 >                if (nrecords > mp->len/(n_comp*comp_size)) {
336                          fprintf(stderr,
337                              "Input too small for specified size and type\n");
338                          return(0);
339                  }
340          } else
341 <                nrecords = mp->len / -record_width;
341 >                nrecords = mp->len/(n_comp*comp_size);
342                                                  /* check sizes */
292 –        if (ni_rows <= 0)
293 –                ni_rows = no_columns;
294 –        if (ni_columns <= 0)
295 –                ni_columns = no_rows;
343          if ((ni_rows <= 0) & (ni_columns > 0))
344                  ni_rows = nrecords/ni_columns;
345          if ((ni_columns <= 0) & (ni_rows > 0))
# Line 313 | Line 360 | do_transpose(const MEMLOAD *mp)
360                          putc(tabEOL[j >= no_columns-1], stdout);
361                  } else {                        /* binary output */
362                          fwrite((char *)mp->base +
363 <                                        -record_width*(j*ni_columns + i),
364 <                                        -record_width, 1, stdout);
363 >                                        (n_comp*comp_size)*(j*ni_columns + i),
364 >                                        n_comp*comp_size, 1, stdout);
365                  }
366              if (ferror(stdout)) {
367                  fprintf(stderr, "Error writing to stdout\n");
# Line 337 | Line 384 | do_resize(FILE *fp)
384          int     columns2go = no_columns;
385          char    word[256];
386                                                  /* sanity checks */
387 <        if (record_width <= 0) {
388 <                fprintf(stderr, "Bad call to do_resize (record_width = %d)\n",
342 <                                record_width);
343 <                return(0);
344 <        }
387 >        if (comp_size || (no_columns == ni_columns) & (no_rows == ni_rows))
388 >                return(output_stream(fp));      /* no-op -- just copy */
389          if (no_columns <= 0) {
390                  fprintf(stderr, "Missing -oc specification\n");
391                  return(0);
# Line 357 | Line 401 | do_resize(FILE *fp)
401          do {                                    /* reshape records */
402                  int     n;
403  
404 <                for (n = record_width; n--; ) {
404 >                for (n = n_comp; n--; ) {
405                          if (fget_word(word, fp) == NULL) {
406 <                                if (records2go > 0 || n < record_width-1)
406 >                                if (records2go > 0 || n < n_comp-1)
407                                          break;
408                                  goto done;      /* normal EOD */
409                          }
# Line 383 | Line 427 | do_resize(FILE *fp)
427                          putc('\t', stdout);
428          } while (--records2go);                 /* expected EOD? */
429   done:
430 <        if (columns2go != no_columns)
430 >        if (warnings && columns2go != no_columns)
431                  fprintf(stderr, "Warning -- incomplete final row\n");
432 <        if (fget_word(word, fp) != NULL)
433 <                fprintf(stderr, "Warning -- data beyond expected EOF\n");
432 >        if (warnings && fget_word(word, fp) != NULL)
433 >                fprintf(stderr, "Warning -- characters beyond expected EOD\n");
434          return(1);
435   }
436  
# Line 394 | Line 438 | done:
438   static int
439   headline(char *s, void *p)
440   {
441 <        char    fmt[32];
441 >        static char     fmt[32];
442 >        int             n;
443  
444          if (formatval(fmt, s)) {
445 +                if (fmtid == NULL) {
446 +                        fmtid = fmt;
447 +                        return(0);
448 +                }
449                  if (!strcmp(fmt, fmtid))
450                          return(0);
451                  fprintf(stderr, "Input format '%s' != '%s'\n", fmt, fmtid);
452                  return(-1);
453          }
454 <        fputs(s, stdout);                       /* copy header info. */
454 >        if (!strncmp(s, "NROWS=", 6)) {
455 >                n = atoi(s+6);
456 >                if ((ni_rows > 0) & (n != ni_rows)) {
457 >                        fputs("Incorrect input row count\n", stderr);
458 >                        return(-1);
459 >                }
460 >                ni_rows = n;
461 >                return(0);
462 >        }
463 >        if (!strncmp(s, "NCOLS=", 6)) {
464 >                n = atoi(s+6);
465 >                if ((ni_columns > 0) & (n != ni_columns)) {
466 >                        fputs("Incorrect input column count\n", stderr);
467 >                        return(-1);
468 >                }
469 >                ni_columns = n;
470 >                return(0);
471 >        }
472 >        if (!strncmp(s, "NCOMP=", 6)) {
473 >                n = atoi(s+6);
474 >                if ((n_comp > 0) & (n != n_comp)) {
475 >                        fputs("Incorrect number of components\n", stderr);
476 >                        return(-1);
477 >                }
478 >                n_comp = n;
479 >                return(0);
480 >        }
481 >        if (o_header)
482 >                fputs(s, stdout);               /* copy header info. */
483          return(0);
484   }
485  
# Line 410 | Line 487 | headline(char *s, void *p)
487   int
488   main(int argc, char *argv[])
489   {
490 <        int     do_header = 1;                  /* header i/o? */
414 <        int     transpose = 0;                  /* transpose rows & cols? */
415 <        int     i;
490 >        int     a;
491  
492 <        for (i = 1; i < argc && argv[i][0] == '-'; i++)
493 <                switch (argv[i][1]) {
492 >        for (a = 1; a < argc && argv[a][0] == '-'; a++)
493 >                switch (argv[a][1]) {
494                  case 'i':                       /* input */
495 <                        if (argv[i][2] == 'c')  /* columns */
496 <                                ni_columns = atoi(argv[++i]);
497 <                        else if (argv[i][2] == 'r')
498 <                                ni_rows = atoi(argv[++i]);
495 >                        if (argv[a][2] == 'c')  /* columns */
496 >                                ni_columns = atoi(argv[++a]);
497 >                        else if (argv[a][2] == 'r')
498 >                                ni_rows = atoi(argv[++a]);
499                          else
500                                  goto userr;
501                          break;
502                  case 'o':                       /* output */
503 <                        if (argv[i][2] == 'c')  /* columns */
504 <                                no_columns = atoi(argv[++i]);
505 <                        else if (argv[i][2] == 'r')
506 <                                no_rows = atoi(argv[++i]);
503 >                        if (argv[a][2] == 'c')  /* columns */
504 >                                no_columns = atoi(argv[++a]);
505 >                        else if (argv[a][2] == 'r')
506 >                                no_rows = atoi(argv[++a]);
507                          else
508                                  goto userr;
509                          break;
510 <                case 'h':                       /* header on/off */
511 <                        do_header = !do_header;
510 >                case 'h':                       /* turn off header */
511 >                        switch (argv[a][2]) {
512 >                        case 'i':
513 >                                i_header = 0;
514 >                                break;
515 >                        case 'o':
516 >                                o_header = 0;
517 >                                break;
518 >                        case '\0':
519 >                                i_header = o_header = 0;
520 >                                break;
521 >                        default:
522 >                                goto userr;
523 >                        }
524                          break;
525                  case 't':                       /* transpose on/off */
526                          transpose = !transpose;
527                          break;
528                  case 'f':                       /* format */
529 <                        switch (argv[i][2]) {
529 >                        switch (argv[a][2]) {
530                          case 'a':               /* ASCII */
531                          case 'A':
532                                  fmtid = "ascii";
533 <                                record_width = 1;
533 >                                comp_size = 0;
534                                  break;
535                          case 'f':               /* float */
536                          case 'F':
537                                  fmtid = "float";
538 <                                record_width = -(int)sizeof(float);
538 >                                comp_size = sizeof(float);
539                                  break;
540                          case 'd':               /* double */
541                          case 'D':
542                                  fmtid = "double";
543 <                                record_width = -(int)sizeof(double);
543 >                                comp_size = sizeof(double);
544                                  break;
545                          case 'b':               /* binary (bytes) */
546                          case 'B':
547                                  fmtid = "byte";
548 <                                record_width = -1;
548 >                                comp_size = 1;
549                                  break;
550                          default:
551                                  goto userr;
552                          }
553 <                        if (argv[i][3]) {
554 <                                if (!isdigit(argv[i][3]))
553 >                        if (argv[a][3]) {
554 >                                if (!isdigit(argv[a][3]))
555                                          goto userr;
556 <                                record_width *= atoi(argv[i]+3);
557 <                        }
556 >                                n_comp = atoi(argv[a]+3);
557 >                        } else
558 >                                n_comp = 1;
559                          break;
560 +                case 'w':                       /* warnings on/off */
561 +                        warnings = !warnings;
562 +                        break;
563                  default:
564                          goto userr;
565                  }
566 <        if (!record_width)
566 >        if (a < argc-1)                         /* arg count OK? */
567                  goto userr;
477 –        if (i < argc-1)                         /* arg count OK? */
478 –                goto userr;
568                                                  /* open input file? */
569 <        if (i == argc-1 && freopen(argv[i], "r", stdin) == NULL) {
570 <                fprintf(stderr, "%s: cannot open for reading\n", argv[i]);
569 >        if (a == argc-1 && freopen(argv[a], "r", stdin) == NULL) {
570 >                fprintf(stderr, "%s: cannot open for reading\n", argv[a]);
571                  return(1);
572          }
573 <        if (record_width < 0) {
573 >        if (comp_size) {
574                  SET_FILE_BINARY(stdin);
575                  SET_FILE_BINARY(stdout);
576          }
577                                                  /* check for no-op */
578 <        if (!transpose && (record_width < 0 ||
579 <                        (no_columns == ni_columns) & (no_rows == ni_rows))) {
580 <                fprintf(stderr, "%s: no-op -- copying input verbatim\n",
578 >        if (!transpose & (i_header == o_header) &&
579 >                        (no_columns == ni_columns) & (no_rows == ni_rows)) {
580 >                if (warnings)
581 >                        fprintf(stderr, "%s: no-op -- copying input verbatim\n",
582                                  argv[0]);
583                  if (!output_stream(stdin))
584                          return(1);
585                  return(0);
586          }
587 <        if (do_header) {                        /* read/write header */
588 <                if (getheader(stdin, &headline, NULL) < 0)
587 >        if (i_header) {                         /* read header */
588 >                if (getheader(stdin, headline, NULL) < 0)
589                          return(1);
590 <                printargs(argc, argv, stdout);
590 >                if (!check_sizes())
591 >                        return(1);
592 >                if (comp_size) {                /* a little late... */
593 >                        SET_FILE_BINARY(stdin);
594 >                        SET_FILE_BINARY(stdout);
595 >                }
596 >        } else if (!check_sizes())
597 >                return(1);
598 >        if (o_header) {                         /* write header */
599 >                printargs(a, argv, stdout);
600 >                if (no_rows > 0)
601 >                        printf("NROWS=%d\n", no_rows);
602 >                if (no_columns > 0)
603 >                        printf("NCOLS=%d\n", no_columns);
604 >                printf("NCOMP=%d\n", n_comp);
605                  fputformat(fmtid, stdout);
606                  fputc('\n', stdout);            /* finish new header */
607          }
608          if (transpose) {                        /* transposing rows & columns? */
609 <                MEMLOAD myMem;                  /* need to load into memory */
610 <                if (i == argc-1) {
609 >                MEMLOAD myMem;                  /* need to map into memory */
610 >                if (a == argc-1) {
611                          if (load_file(&myMem, stdin) <= 0) {
612                                  fprintf(stderr, "%s: error loading file into memory\n",
613 <                                                argv[i]);
613 >                                                argv[a]);
614                                  return(1);
615                          }
616                  } else if (load_stream(&myMem, stdin) <= 0) {
# Line 516 | Line 620 | main(int argc, char *argv[])
620                  }
621                  if (!do_transpose(&myMem))
622                          return(1);
623 <                /* free_load(&myMem); */
624 <        } else if (!do_resize(stdin))           /* just reshaping input */
623 >                /* free_load(&myMem);   about to exit, so don't bother */
624 >        } else if (!do_resize(stdin))           /* reshaping input */
625                  return(1);
626          return(0);
627   userr:
628          fprintf(stderr,
629 < "Usage: %s [-h][-f[afdb][N]][-t][-ic in_col][-ir in_row][-oc out_col][-or out_row] [input.dat]\n",
629 > "Usage: %s [-h[io]][-w][-f[afdb][N]][-t][-ic in_col][-ir in_row][-oc out_col][-or out_row] [input.dat]\n",
630                          argv[0]);
631          return(1);
632   }

Diff Legend

– Removed lines
+ Added lines
< Changed lines
> Changed lines